| Subcribe via RSS

百度蜘蛛Baiduspider+连js也不放过。

11月 28th, 2007 Posted in SEO优化

今天心血来潮,把apache的日志打开,决定拦截下百度Baiduspider+。

发现百度对js也会抓取:

[28/Nov/2007:17:20:44 +0800] “GET /js/load.js HTTP/1.1″ 200 4269 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”

不知道现在百度是否在做js方面的抓取工作,估计认识js可能还需要段时间。

同在一台服务器上面的站,site不到的看不到bsp的影子,有site半年不更新的,还有他的痕迹。

一个天天人肉更新的站,小蜘蛛几乎没离开过。。。

所以大家用心作站,偶尔更新,蜘蛛侠才会可以经常做客。

Leave a Reply