百度蜘蛛Baiduspider+连js也不放过。
11月 28th, 2007 Posted in SEO优化
今天心血来潮,把apache的日志打开,决定拦截下百度Baiduspider+。
发现百度对js也会抓取:
[28/Nov/2007:17:20:44 +0800] “GET /js/load.js HTTP/1.1″ 200 4269 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
不知道现在百度是否在做js方面的抓取工作,估计认识js可能还需要段时间。
同在一台服务器上面的站,site不到的看不到bsp的影子,有site半年不更新的,还有他的痕迹。
一个天天人肉更新的站,小蜘蛛几乎没离开过。。。
所以大家用心作站,偶尔更新,蜘蛛侠才会可以经常做客。