·您的位置: 首页 » 纯粹博客

MySQL 读写时差导致的重复处理问题

faisun | 2006-05-22

现需对表 table 中 status=0  的列进行处理。 run.php 中程序如下:

 <?
    include("global.php");
    $query=$db->query("select * from table where status=0 limit 20");
    while($result=$db->fetch_array($query)){
        $db->query("update table set status=1 where id=$result[id]");
        // 处理 $result,这个过程需要费时约 1 秒
        // 所以,下面采用 sleep() 代替

        sleep(1);
    }
?>

run.php 由 ajax 不断刷新,直到把全部的数据处理完为止。

为了加快速度,我开了两个 ajax 的窗口。运行前有 1000 条符合条件的数据需要处理。理论上,两个窗口一共刷新 50 次,就可以全部处理完。

然而,两个窗口一共刷新的次数远不止 50 次,数据处理的次数也远不止 1000 条。
也就是说,很多数据被重复处理了。

为什么会这样呢。处理数据前,我不是把 status 先改为 1 了吗?

于是我把 table 复制为 table1 ,并把 status=0 的数据删到只剩 10 条。
编写以下程序:

<?
    include("global.php");
    $query=$db->query("select * from table1 where status=0");
    while($result=$db->fetch_array($query)){
        $db->query("update table set status=1");
        print_r($result);
    }
?>

程序中,取出第一条数据的时候,就已经把 所有的 status 改为 1 了。 print_r() 的结果,还是 10 条数据。也是就说,数据在 mysql_query() 的时候,就已经定下来了。即使后来数据有所更改,但并不影响本次查询的结果。

所以在第一个程序中,由于处理过程较久,开两个或以上处理的窗口时,MySQL 返回的结果很多是一样的,造成了数据的重复处理。

解决的方法是,采用两次循环,把数据库更新和费时较久的后期数据处理分开,减少数据库的读写时差:

<?
    include("global.php");
    $query=$db->query("select * from table where status=0 limit 20");
    $where = '0';
    $result_arr = array();
    while($result=$db->fetch_array($query)){
        $result_arr[] = $result;
        $where .= " or id=$result[id]";
    }
    if($where) $db->query("update table set status=1 where $where");

    foreach($result_arr as $result){
        // 处理 $result,这个过程需要费时约 1 秒
        // 所以,下面采用 sleep() 代替

        sleep(1);
    }
?>

AJAX+PHP: 小心 session 锁定

faisun | 2006-05-22
最近做一个功能,在管理后台一个 frame 里有 ajax 在不断刷新 run.php 文件,而 run.php 的执行一次的时间可能要十几秒钟。

然而却出现了很奇怪的问题:

管理后台中点击其他的页面,要很久才加载完;停止 ajax 的刷新,其他页面的加载速度恢复正常。似乎服务器的资源被 ajax 的刷新占光了。然而, run.php 的运行耗费的资源是没那么严重的;而且,网站的前台页面,加载却一切正常。

分析了良久,才发现这样的问题:原来 run.php 和其他的管理页面一样,都用了 session 来维持登录。 run.php 的返回需要十几秒,虽然它占用的资源不多,但是 session 却被它“锁定”了(可能是锁定了相应 session 记录文件),其他的页面需要等待它返回,才能继续运作。

解决的方法便是, run.php 不要用 session。因为 run.php 和其他的页面一样都是 include 同一个文件的,所以我把整个后台改为采用 cookie 模式。

站点改用纯静态生成技术

faisun | 2006-05-19
小站
http://www.softpure.com/

原本是伪静态的,路径格式如下:
http://www.softpure.com/htm/show_details/57/1134845699.htm

现在改成了纯静态的,路径格式改为如:
http://www.softpure.com/html/show_details/57.htm

浏览速度快了很多,我这里浏览快了差不多一倍.
blog 和 论坛 那里是动态的,可以对比一下速度.

目前原本的路径格式仍然可以正常解释.
其实改后的页面中,还有一些是伪静态的,像酷站那里的重定向页面,不想生成那么多的HTML文件了.单目前来说就已经生成 1.3 万个文件,共近 200M 了.

以前有些人问我是用哪个模板做的, 那时候的页面全是伪静态的, 还用模板吗?
现在生成纯静态也没有用哪个模板,全是自己开发的,我会逐渐完善它.

有兴趣的朋友可以一起探讨.(纯技术上的交流.叫我给源码的,不算.)

实现 win2003 下 mysql 数据库每天自动备份

faisun | 2006-04-28

终于让服务器每天早上备份一次 MySQL 数据库并自动打包,同时删除 5 天前的备份文件. 分享如下.

1. 环境: windows server 2003 + Apache 2.0 + PHP5 + MySQL 4.0.26 .
PHP不需要 exec() 或 system() 等特殊权限;备份过程中数据库不需要重启. 

2. 假设 PHP 安装目录为 D:/php ,MySQL 安装目录为 D:/mysql.

3. 在 D:/php 下建立目录 WinRAR, 把你 winrar 安装目录下的 WinRAR.exe 和 RARReg.KEY 复制到 D:/php/WinRAR .

4. D:/php 下建立文件 mysql_backup.php:

<?

/*/////////////////////////
#FileName: mysql_backup.php
#Author: faisun
#Website: http://www.softpure.com
////////////////////////*/

//保存目录,路径要用反斜杠.您需要手动建立它.

$store_folder = 'D:\databse_backup';

//用户名和密码
//该帐号须有操作[所有]的数据库及FILE的权限
//否则有些数据库不能备份.

$db_username = "root";
$db_password = "";

$time=time();

$nowdir = "$store_folder\\".date("Ymd",$time)."";
if(file_exists("$nowdir.rar")) die("File exists.\r\n");
@mkdir($nowdir);

mysql_connect("localhost","$db_username","$db_password");
$query=mysql_list_dbs();


$command = '';
while($result=mysql_fetch_array($query)){
    $command .= '"D:\mysql\bin\mysqldump.exe" --opt  -Q '."$result[Database] -u{$db_username} ".($db_password?"-p{$db_password}":"")." > $nowdir\\$result[Database].sql \r\n";
    $command .= "echo dumping database `$result[Database]`... \r\n";
}
    $command .= "echo Winrar loading...\r\n";

$command .= dirname(__FILE__)."\\WinRAR\\WinRAR.exe a -ep1 -r -o+ -m5 -df \"$nowdir.rar\" \"$nowdir\" \r\n";

$command .= "echo OK!\r\n";

$command .= "del mysqldumping_temp.bat\r\n";

$fp = fopen('mysqldumping_temp.bat','w');
fwrite($fp,$command);
fclose($fp);


//删除 5 天前的文件
@unlink("$store_folder\\".date("Ymd",$time-86400*5).".rar");

?>

5. D:/php 下建立文件 mysql_backup.bat,内容为:

@echo off
php.exe mysql_backup.php
if exist mysqldumping_temp.bat call mysqldumping_temp.bat

6. 双击该 bat 文件运行,如果能备份了,OK,下一步添加任务计划.

7. 把 D:/php/mysql_backup 添加到任务计划,时间选每天. 根据服务器的监测结果,每天早上 5-8 时为流量低峰期. 由于 5-7 时有些数据库的清理工作,我把时间定在了早上 8 点整.

今天网站正式推出

faisun | 2006-04-21

毕业快一年了。

虽然一直都在做网站,但由于我以前的网站天窗(www.faisun.com) 域名和空间到期,一年多来都没有自己的网站。

前不久离开了公司,回家 SOHO,终于抽空给自己做了个站,用 DIV+CSS 架构做,一个一个页面提交到 W3C 进行认证。放上服务器后便上传图片,后到 baidu 一搜,竟然已经被收录了,呵呵。感谢广州比兰茜化妆品有限公司(http://www.bilanz.com.cn)提供网页空间。

我在大学期间学的是机械,走到现在这条路来,也不知道是对还是错。路是自己选的,总要自己走下去。

整理了一下曾经做过的网站,都有几页了,从大一在学校计算机房打卡自学 JavaScript 开始,一点一滴的心血都凝聚在其中。挑一些可以见人的发表在“作品展示-网站制作”栏目里,作为这些年来走过的足迹的见证。

“发表文章”?噢,已经很久没有写文章到 Pconline 里发表了,翻看了一下,最后发表的一篇日期为2004 年的2月,那时候闲着无聊就和 Pconline 签了约,没事就写篇东西发过去换些稿费。现在也把那些东西整理出来放在作品展示里,有兴趣的就看一下吧。

faisunSQL 也很久没有更新了。其实不对,更新很久了,只是没有发布到网络上去而已。新版本 MYSQL 的编码问题拿它没办法,只好放 GB2312 和 UTF-8 两个版本的出来。

15 篇相关文章,每页显示 10
« [1] [2] »  
-= 文章分类 =-
文 章 搜 索
关键词:
类型:
范围:
最新发表
纯粹空间 softpure.com
Copyright © 2006-2008 暖阳制作 版权所有
QQ: 15242663 (拒绝闲聊)  Email: faisun@sina.com
 纯粹空间 - 韩国酷站|酷站欣赏|教程大全|资源下载|免费博客|美女壁纸|设计素材|技术论坛   Valid XHTML 1.0 Transitional
百度搜索 谷歌搜索 Alexa搜索 | 粤ICP备19116064号-1