IIS网站日志详解
网站日志详解说明各大搜索引擎的蜘蛛名称百度(Baidu ) 爬虫名称(Baiduspider )谷歌(Google )爬虫名称(Googlebot )雅虎(Yahoo ) 爬虫名称(Yahoo Slu
网站日志详解说明
各大搜索引擎的蜘蛛名称
百度(Baidu ) 爬虫名称(Baiduspider )
谷歌(Google )爬虫名称(Googlebot )
雅虎(Yahoo ) 爬虫名称(Yahoo Slurp)
有道(Yodao ) 蜘蛛名称(YodaoBot )
搜狗(sogou ) 蜘蛛名称(sogou spider)
MSN 的蜘蛛名称:msnbot
常用返回数字代码的意义
2XX 成功;3XX 重定向;4XX 客户机中出现错误;5XX 服务器出错 200 正常;请求已完成
304 很久未更新文章
404 死链接
500 服务器出现错误
503 服务器没有运行
百度IP 解释
查询蜘蛛是否为百度蜘蛛的方法:
开始——运行——cmd ——nslookup 【ip 】——看最后的name 名称来进行判断



123.125.71.*这个百度蜘蛛为考察期的百度蜘蛛。如果你是新站,很正常。任何一个新战访问的百度蜘蛛都是123开头的,所以你不必担心,只要你好好检查你的原创内容,并且不要随便更改网站的架构,相信很快就能脱离百度考察期,我们平时常说的百度沙盒。如果随便改网站的架构,你的考察期可能会拖长很长时间,因为百度蜘蛛也不知道你结构究竟什么时候能确定,最主要就是为了确定你到底要给用户一个什么样的体验。用户体验很重要。 如果你是老站,那就太危险了。一般来说,你如果是老站的话,并且曾经日志中是220开头的,这个时候如果百度蜘蛛访问的ip 变成了123.125.71.*这个ip 段,那就需要非常谨慎了,你需要看看你近段时间是不是采集了大量的文章,如果是,需要尽快的删除,并且更新大量的原创文章。是不是你的网站结构变了,这个也是有很大的影响,如果架构变了,就有可能被当做新站处理。还有一点就是是否作弊了。
网站来访蜘蛛IP 段属于123.125.71.*段,查询了大量关于蜘蛛的资料与相关的说明之后,发现此蜘蛛并不能说明属于降权蜘蛛,但是可以确定的是绝对不是正常蜘蛛,是说明网站进入了考察期,也可以认为是我们常说的沙盒。
代码基础说明
date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent)
,
例子说明
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
这是日志每行中每个字段的名称, 我们看到的"200 0 64"是最后3个, 那就是
sc-status sc-substatus sc-win32-status 这三个了, 来看看这三个是什么东西:
sc-status:
HTTP 协议的状态.HTTP 协议的状态代码为200, 这个可能大家不熟悉, 但是,HTTP404找不到文件,HTTP500内部服务器错误, 这两个状态代码大家应该很熟悉了吧? 不错, 这个200, 其实就是这个的一种,HTTP200就是文件被正常的访问了, 只有这个数字是200以外的数字, 才说明访问出现了错误(比如上面说的 404文件找不到等).
sc-substatus:
HTTP 子协议的状态. 一般来说网站都是不使用子协议的, 所以这个代码为0就是很正常的, 我们完全可以不用管它.
sc-win32-status:
Win32状态. 这只是表示客户端是否为32位系统的代码. 如果被32位的系统访问, 那么这里记录的就是0, 如果被64位系统访问, 那么这里记录的就是64……
例子:
2013-03-14 01:26:16 222.73.68.111 GET /Product/327313.html - 80 - 123.125.71.38 Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html) - 200 0 0 3681
这个就意味着:百度蜘蛛在2013-03-14 01:26:16爬过/Product/327313.html 这个页面,发现这页是新的,并全部爬完。
,sc-status(协议状态) : 200 连接成功
sc-substatus(协议子状态) :0 成功
更多SEO 知识可访问:http://www.xiaoman1.com/ 联系QQ :591981077