attributeerror怎么解决 python爬虫一直报错，怎么办？
python爬虫一直报错，怎么办？python爬虫始终运行错误，真不知道是在用框架我还是自己利用request写的。个人的经验是碰到错误，依据什么错误`的总是显示做相对应的修改，下面是我在做爬虫是见到
python爬虫一直报错，怎么办？
python爬虫始终运行错误，真不知道是在用框架我还是自己利用request写的。个人的经验是碰到错误，依据什么错误`的总是显示做相对应的修改，下面是我在做爬虫是见到过的几种错误，分享给大家。
提取页面数据时，数字越界之类的提醒在我们用来xpath提取数据的时候，从来不会碰到过界的提示，这里归结到为一句话是对页面的html结构了解的太差，对xpath的语法掌握的够。诸如xpath(./a/text())和xpath(/a/text())表达的意思是不一样的。
页面的问题，如果没有只是其它的页面，你真接用url带或者的参数正在发送各位，对方服务器就可以发令我们每天都出现一个爬虫爬某些页面的时候正常吗工作，爬其它的页面的时候页面内容爬取不过来，为么？因为cookie，为了安全的考虑，现在的页面都会在本地存储一些cookie，在用户下次访问的时候真接参照cookie来可以确定是否是要登录之类的。此时此刻，必须我们也伪装成之前登录过访问网络过的样子，所以，需要在正常了的请求基础上直接添加上一些头部信息之类的。
robots.txt，爬虫应该要再注意爬取网站的robots.txt文件，那些域名是愿意爬取的，那些域名下是不允许的在我们用来scrapy等爬虫框架爬取的时候，要注意这些，默认情况下django是严格遵守这些协议的。所以，是需要我们在设置中文件里将此项设置里为false，那样就可以不受robots的约束。
肯定，问题何止上面例举的几个问题，也有很多其它。总的说来，出现了问题通过百度搜索都可以解决我们可以解决掉，因此接触问题多搜，搜索后多看，多研究。问题也变会解决掉。关键是要只要用心去冷冰冰的态度问题。
如何设计一个全局异常处理器？
简单楼主普通机电设备于.NET
的新因此就写个.NET
的全局无比处理器，哪MVC来说
1,建立MyExecptionAttribute.cs类，写入到不胜感激代码：
usingSystem
using
using
usingSystem.Web
using
namespace
{
publicclassMyExecptionAttribute:HandleErrorAttribute
{
publicstaticQueueltExceptiongt ExceptionQueue new QueueltExceptiongt()//创建队列.
privateoverridevoidOnException(ExceptionContextfilterContext)
{
//将异常信息入队.
ExceptionQueue.Enqueue(filterContext.Exception)//将极其信息入队.
()
(filterContext)
}
}
}
2，在Global文件代码:：
usingNiunan.Utility
usingSystem
using
using
using
usingSystem.Web
using
using
using
namespace
{
//再注意:或者重新设置IIS6或IIS7最经典模式的说明，
//请不能访问
privateclassMvcApplication:
{
protectedvoidApplication_Start()
{
()
()
()
(future())//NET4建立起的项目的话则是在APP_Stars/ConfigFilter.cs中
//是从线程自动打开一个线程，后再不停的从队列中或数据
stringfilePath(/Log/)
ThreadPool.QueueUserWorkItem(oa8
{
while(true)
{
try
{
if(a80)
{
Exceptionex()//从队列中掏出数据
if(ex!null)
{
Tool.TxtLog((),filePath(yyyyMMdd).txt)
}
exists
{
(30)
}
}
exists
{
(30)//避免了CPU空转。
}
}
catch(Exceptionex)
{
(ex)
}
}
},filePath)
}
}
}