IIS网站日志详解

网站日志详解说明各大搜索引擎的蜘蛛名称百度(Baidu ) 爬虫名称(Baiduspider )谷歌(Google )爬虫名称(Googlebot )雅虎(Yahoo ) 爬虫名称(Yahoo Slu

网站日志详解说明

各大搜索引擎的蜘蛛名称

百度(Baidu ) 爬虫名称(Baiduspider )

谷歌(Google )爬虫名称(Googlebot )

雅虎(Yahoo ) 爬虫名称(Yahoo Slurp)

有道(Yodao ) 蜘蛛名称(YodaoBot )

搜狗(sogou ) 蜘蛛名称(sogou spider)

MSN 的蜘蛛名称:msnbot

常用返回数字代码的意义

2XX 成功;3XX 重定向;4XX 客户机中出现错误;5XX 服务器出错 200 正常;请求已完成

304 很久未更新文章

404 死链接

500 服务器出现错误

503 服务器没有运行

百度IP 解释

查询蜘蛛是否为百度蜘蛛的方法:

开始——运行——cmd ——nslookup 【ip 】——看最后的name 名称来进行判断

,

123.125.71.*这个百度蜘蛛为考察期的百度蜘蛛。如果你是新站,很正常。任何一个新战访问的百度蜘蛛都是123开头的,所以你不必担心,只要你好好检查你的原创内容,并且不要随便更改网站的架构,相信很快就能脱离百度考察期,我们平时常说的百度沙盒。如果随便改网站的架构,你的考察期可能会拖长很长时间,因为百度蜘蛛也不知道你结构究竟什么时候能确定,最主要就是为了确定你到底要给用户一个什么样的体验。用户体验很重要。 如果你是老站,那就太危险了。一般来说,你如果是老站的话,并且曾经日志中是220开头的,这个时候如果百度蜘蛛访问的ip 变成了123.125.71.*这个ip 段,那就需要非常谨慎了,你需要看看你近段时间是不是采集了大量的文章,如果是,需要尽快的删除,并且更新大量的原创文章。是不是你的网站结构变了,这个也是有很大的影响,如果架构变了,就有可能被当做新站处理。还有一点就是是否作弊了。

网站来访蜘蛛IP 段属于123.125.71.*段,查询了大量关于蜘蛛的资料与相关的说明之后,发现此蜘蛛并不能说明属于降权蜘蛛,但是可以确定的是绝对不是正常蜘蛛,是说明网站进入了考察期,也可以认为是我们常说的沙盒。

代码基础说明

date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent)

,

例子说明

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status

这是日志每行中每个字段的名称, 我们看到的"200 0 64"是最后3个, 那就是

sc-status sc-substatus sc-win32-status 这三个了, 来看看这三个是什么东西:

sc-status:

HTTP 协议的状态.HTTP 协议的状态代码为200, 这个可能大家不熟悉, 但是,HTTP404找不到文件,HTTP500内部服务器错误, 这两个状态代码大家应该很熟悉了吧? 不错, 这个200, 其实就是这个的一种,HTTP200就是文件被正常的访问了, 只有这个数字是200以外的数字, 才说明访问出现了错误(比如上面说的 404文件找不到等).

sc-substatus:

HTTP 子协议的状态. 一般来说网站都是不使用子协议的, 所以这个代码为0就是很正常的, 我们完全可以不用管它.

sc-win32-status:

Win32状态. 这只是表示客户端是否为32位系统的代码. 如果被32位的系统访问, 那么这里记录的就是0, 如果被64位系统访问, 那么这里记录的就是64……

例子:

2013-03-14 01:26:16 222.73.68.111 GET /Product/327313.html - 80 - 123.125.71.38 Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html) - 200 0 0 3681

这个就意味着:百度蜘蛛在2013-03-14 01:26:16爬过/Product/327313.html 这个页面,发现这页是新的,并全部爬完。

,

sc-status(协议状态) : 200 连接成功

sc-substatus(协议子状态) :0 成功

更多SEO 知识可访问:http://www.xiaoman1.com/ 联系QQ :591981077

标签: