|
|
|
|
|
|
|
|
|
作者：佚名 来源：不详 发布时间：2006-11-2 22:59:01 发布人：admin |
为了加快抓取速度，专业的搜索引擎大部分有DNS缓存：但是搜索引擎多长时间更新一次，3月4日的时候cnblog.org进行了一次IP切换。旧服务器上的日志并没有停止：数据统计如下。 搜索引擎网站的机器人 (前 10) - 全部列出 - 最近参观日期
35 个机器人* 文件数 字节 最近参观日期
Sina Iask 2509 38.61 M字节 2006年 三月 09日 18:32
OutfoxBot 838 9.81 M字节 2006年 三月 15日 02:31
Yahoo Slurp 419+66 6.09 M字节 2006年 三月 19日 21:38
BaiDuSpider 137+36 2.17 M字节 2006年 三月 18日 06:31
Googlebot 147+2 1.74 M字节 2006年 三月 11日 19:03
Unknown robot (identified by 'crawl') 130+1 1.56 M字节 2006年 三月 18日 13:33
Turn It In 93 236.54 K字节 2006年 三月 04日 01:33
MSNBot 80+7 1.52 M字节 2006年 三月 04日 04:37
BecomeBot 77+2 920.27 K字节 2006年 三月 04日 13:37
Bloglines 71 43.51 K字节 2006年 三月 04日 04:08
虽然大部分的spider访问很快迁移到新的服务器上了：但是很多spider仍然没有来得及更新DNS。大搜索引擎中：反应最快的是MSNBot，当天之后就再也没有来访问过。Google用了1周左右，百度前天还在访问，而Yahoo的Slurp抓取仍然没有中断。而其他一些蜘蛛引擎：一般在当天就更新了DNS，缓存时间比较短。
|
|
[]
[返回上一页]
[打 印]
[收 藏] |
|
减小字体
增大字体