MySQL 读写时差导致的重复处理问题
现需对表 table 中 status=0 的列进行处理。 run.php 中程序如下:
<?
include("global.php");
$query=$db->query("select * from table where status=0 limit 20");
while($result=$db->fetch_array($query)){
$db->query("update table set status=1 where id=$result[id]");
// 处理 $result,这个过程需要费时约 1 秒
// 所以,下面采用 sleep() 代替
sleep(1);
}
?>
run.php 由 ajax 不断刷新,直到把全部的数据处理完为止。
为了加快速度,我开了两个 ajax 的窗口。运行前有 1000 条符合条件的数据需要处理。理论上,两个窗口一共刷新 50 次,就可以全部处理完。
然而,两个窗口一共刷新的次数远不止 50 次,数据处理的次数也远不止 1000 条。
也就是说,很多数据被重复处理了。
为什么会这样呢。处理数据前,我不是把 status 先改为 1 了吗?
于是我把 table 复制为 table1 ,并把 status=0 的数据删到只剩 10 条。
编写以下程序:
<?
include("global.php");
$query=$db->query("select * from table1 where status=0");
while($result=$db->fetch_array($query)){
$db->query("update table set status=1");
print_r($result);
}
?>
程序中,取出第一条数据的时候,就已经把 所有的 status 改为 1 了。 print_r() 的结果,还是 10 条数据。也是就说,数据在 mysql_query() 的时候,就已经定下来了。即使后来数据有所更改,但并不影响本次查询的结果。
所以在第一个程序中,由于处理过程较久,开两个或以上处理的窗口时,MySQL 返回的结果很多是一样的,造成了数据的重复处理。
解决的方法是,采用两次循环,把数据库更新和费时较久的后期数据处理分开,减少数据库的读写时差:
<?
include("global.php");
$query=$db->query("select * from table where status=0 limit 20");
$where = '0';
$result_arr = array();
while($result=$db->fetch_array($query)){
$result_arr[] = $result;
$where .= " or id=$result[id]";
}
if($where) $db->query("update table set status=1 where $where");
foreach($result_arr as $result){
// 处理 $result,这个过程需要费时约 1 秒
// 所以,下面采用 sleep() 代替
sleep(1);
}
?>
AJAX+PHP: 小心 session 锁定
然而却出现了很奇怪的问题:
管理后台中点击其他的页面,要很久才加载完;停止 ajax 的刷新,其他页面的加载速度恢复正常。似乎服务器的资源被 ajax 的刷新占光了。然而, run.php 的运行耗费的资源是没那么严重的;而且,网站的前台页面,加载却一切正常。
分析了良久,才发现这样的问题:原来 run.php 和其他的管理页面一样,都用了 session 来维持登录。 run.php 的返回需要十几秒,虽然它占用的资源不多,但是 session 却被它“锁定”了(可能是锁定了相应 session 记录文件),其他的页面需要等待它返回,才能继续运作。
解决的方法便是, run.php 不要用 session。因为 run.php 和其他的页面一样都是 include 同一个文件的,所以我把整个后台改为采用 cookie 模式。
站点改用纯静态生成技术
http://www.softpure.com/
原本是伪静态的,路径格式如下:
http://www.softpure.com/htm/show_details/57/1134845699.htm
现在改成了纯静态的,路径格式改为如:
http://www.softpure.com/html/show_details/57.htm
浏览速度快了很多,我这里浏览快了差不多一倍.
blog 和 论坛 那里是动态的,可以对比一下速度.
目前原本的路径格式仍然可以正常解释.
其实改后的页面中,还有一些是伪静态的,像酷站那里的重定向页面,不想生成那么多的HTML文件了.单目前来说就已经生成 1.3 万个文件,共近 200M 了.
以前有些人问我是用哪个模板做的, 那时候的页面全是伪静态的, 还用模板吗?
现在生成纯静态也没有用哪个模板,全是自己开发的,我会逐渐完善它.
有兴趣的朋友可以一起探讨.(纯技术上的交流.叫我给源码的,不算.)
实现 win2003 下 mysql 数据库每天自动备份
终于让服务器每天早上备份一次 MySQL 数据库并自动打包,同时删除 5 天前的备份文件. 分享如下.
1. 环境: windows server 2003 + Apache 2.0 + PHP5 + MySQL 4.0.26 .
PHP不需要 exec() 或 system() 等特殊权限;备份过程中数据库不需要重启.
2. 假设 PHP 安装目录为 D:/php ,MySQL 安装目录为 D:/mysql.
3. 在 D:/php 下建立目录 WinRAR, 把你 winrar 安装目录下的 WinRAR.exe 和 RARReg.KEY 复制到 D:/php/WinRAR .
4. D:/php 下建立文件 mysql_backup.php:
<?
/*/////////////////////////
#FileName: mysql_backup.php
#Author: faisun
#Website: http://www.softpure.com
////////////////////////*/
//保存目录,路径要用反斜杠.您需要手动建立它.
$store_folder = 'D:\databse_backup';
//用户名和密码
//该帐号须有操作[所有]的数据库及FILE的权限
//否则有些数据库不能备份.
$db_username = "root";
$db_password = "";
$time=time();
$nowdir = "$store_folder\\".date("Ymd",$time)."";
if(file_exists("$nowdir.rar")) die("File exists.\r\n");
@mkdir($nowdir);
mysql_connect("localhost","$db_username","$db_password");
$query=mysql_list_dbs();
$command = '';
while($result=mysql_fetch_array($query)){
$command .= '"D:\mysql\bin\mysqldump.exe" --opt -Q '."$result[Database] -u{$db_username} ".($db_password?"-p{$db_password}":"")." > $nowdir\\$result[Database].sql \r\n";
$command .= "echo dumping database `$result[Database]`... \r\n";
}
$command .= "echo Winrar loading...\r\n";
$command .= dirname(__FILE__)."\\WinRAR\\WinRAR.exe a -ep1 -r -o+ -m5 -df \"$nowdir.rar\" \"$nowdir\" \r\n";
$command .= "echo OK!\r\n";
$command .= "del mysqldumping_temp.bat\r\n";
$fp = fopen('mysqldumping_temp.bat','w');
fwrite($fp,$command);
fclose($fp);
//删除 5 天前的文件
@unlink("$store_folder\\".date("Ymd",$time-86400*5).".rar");
?>
5. D:/php 下建立文件 mysql_backup.bat,内容为:
@echo off
php.exe mysql_backup.php
if exist mysqldumping_temp.bat call mysqldumping_temp.bat
6. 双击该 bat 文件运行,如果能备份了,OK,下一步添加任务计划.
7. 把 D:/php/mysql_backup 添加到任务计划,时间选每天. 根据服务器的监测结果,每天早上 5-8 时为流量低峰期. 由于 5-7 时有些数据库的清理工作,我把时间定在了早上 8 点整.
今天网站正式推出
毕业快一年了。
虽然一直都在做网站,但由于我以前的网站天窗(www.faisun.com) 域名和空间到期,一年多来都没有自己的网站。
前不久离开了公司,回家 SOHO,终于抽空给自己做了个站,用 DIV+CSS 架构做,一个一个页面提交到 W3C 进行认证。放上服务器后便上传图片,后到 baidu 一搜,竟然已经被收录了,呵呵。感谢广州比兰茜化妆品有限公司(http://www.bilanz.com.cn)提供网页空间。
我在大学期间学的是机械,走到现在这条路来,也不知道是对还是错。路是自己选的,总要自己走下去。
整理了一下曾经做过的网站,都有几页了,从大一在学校计算机房打卡自学 JavaScript 开始,一点一滴的心血都凝聚在其中。挑一些可以见人的发表在“作品展示-网站制作”栏目里,作为这些年来走过的足迹的见证。
“发表文章”?噢,已经很久没有写文章到 Pconline 里发表了,翻看了一下,最后发表的一篇日期为2004 年的2月,那时候闲着无聊就和 Pconline 签了约,没事就写篇东西发过去换些稿费。现在也把那些东西整理出来放在作品展示里,有兴趣的就看一下吧。
faisunSQL 也很久没有更新了。其实不对,更新很久了,只是没有发布到网络上去而已。新版本 MYSQL 的编码问题拿它没办法,只好放 GB2312 和 UTF-8 两个版本的出来。