如何爬虫网页数据 各位python达人，怎样写一个爬取网站目录的？
各位python达人，怎样写一个爬取网站目录的？如果需要少量数据，可以使用python2附带的urllib2爬虫程序。如果你想要大量的数据，你需要一个特殊的爬虫框架，scratch。作为一个爬虫程序，
各位python达人，怎样写一个爬取网站目录的？
如果需要少量数据，可以使用python2附带的urllib2爬虫程序。如果你想要大量的数据，你需要一个特殊的爬虫框架，scratch。作为一个爬虫程序，首先需要分析要爬网的网页的页面结构，也就是说，需要知道要爬网的元素在DOM树中的位置，然后使用可以操作DOM的包，比如beautiful soup或者XPath，解析DOM，得到想要的值，然后保存