广告
加载中

如何近距离的了解蜘蛛爬行痕迹

小杰 2010-10-25 16:57

提要:IIS日志的用途,其实就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

(亿邦动力网讯)今天带来的是iis日志分析,和http状态的基本讲解,做为一个seo操作者,他必须是一个数据的分析师,为什么这样说了,因为通过这些数据的分析,我们可以很清楚的知道自己的网站到底那里出了问题,然后通过这些数据的分析,总结出方案来解决问题,那么今天小杰我就教大家如何去分析iis日志。

一、IIS日志的用途

IIS日志的用途,其实就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

二、IIS日志的分析

大家通过上图我们可以读取到蜘蛛爬行。

1、123.125.71.113( 一个访问者的IP)

2、[28/Sep/2010:07:15:11 -0700](时间和端口)

3、GET /wangzhan-youhua/maowenben.html(访问了那个页面)

4、200 12864(HTTP状态码200,页面下载了12864字节)

5、“Baiduspider+(+http://www.baidu.com/search/spider.htm)”(百度蜘蛛)

HTTP基本状态码

200:请求已经完成,蜘蛛访问页面正常

301:已经移动,永久重定向

302:临时重定向

304:蜘蛛爬取后发现,页面没有修改

305:使用代理

400:请求错误

404:找不到页面

从而我们可以通过上面的分析得出一句完整的话,有一个IP来自123.125.71.113的访问者,是 baiduspider,在2010年9月28日7点15分11秒,通过0700端口,成功访问了wangzhan- youhua/maowenben.html这个页面,访问下载了12864个字节。

(编辑:fliex)

文章来源:站长网

广告
微信
朋友圈

这么好看,分享一下?

朋友圈 分享

APP内打开

赞 +1
+1
微信好友 朋友圈 新浪微博 QQ空间
关闭
收藏成功
发送
/140 0