urllib的用法 Python如何爬取网页文本内容？

Python如何爬取网页文本内容？用python爬取网页信息的话，不需要怎么学习几个模块，urllib，urllib2，urllib3，requests，httplib等等模块，又要怎么学习re模块（

Python如何爬取网页文本内容？

用python爬取网页信息的话，不需要怎么学习几个模块，urllib，urllib2，urllib3，requests，httplib等等模块，又要怎么学习re模块（也就是正则表达式）。依据什么不同的场景使用差别的模块来高效迅速的解决问题。

最正在我见意你还是从最简单的urllib模块学起，比如说爬新浪首页（声明：本代码只做学术研究，绝无攻击用意）：

这样的就把新浪首页的源代码爬取到了，这是整个网页信息，如果不是你要再提取你觉得没有用的信息得要会建议使用字符串方法或是正则表达式了。

平时多看一下网上的文章和教程，迅速就能学会的。

补充有一点：以上可以使用的环境是python2，在python3中，已经把urllib，urllib2，urllib3全部整合为一个包，而并没有有这几个单词为名字的模块。

学Python，我应该走哪个方向？

1.WEB开发——最火的Pythonweb框架Django,支持什么异步模式高并发的Tornado框架，短小精悍的flask,bottle,Django官方的标语把Django符号表示为theframeworkwhileperfectionistwithdeadlines(大意是两个为已经主义者开发的高效率web框架)。

2.网络编程——支持高并发的Twisted网络框架，py3分解重组的asyncio使异步编程变的非常很简单。

3.爬虫——爬虫领域，Python几乎是霸主地位，ScrapyRequestBeautifuSoap%urllib等，想爬啥就爬啥。

4.云计算——目前最火最比较知名的云计算框架就是OpenStack,Python现在的火，不大一部分就是毕竟云计算。

5.人工智能——谁会蓝月帝国AI

和大数据时代的第一开发语言？这本已是一个不要这场争论的问题。如果没有说三年前，Matlab、Scala、R、Java和Python还各有机会，局面纵然不很清楚，那么三年之后，趋势早更加内容明确了，特别是前两天

Facebook闭源了PyTorch之后，Python以及AI时代头牌语言的位置基本正式确立，未来的悬念仅是谁能抱上第二把交椅。

6.自动化运维——去问的每个运维人员，运维人员前提是会的语言是什么？10个人我相信会给你一个是一样的的答案，它的名字叫Python。

7.金融分析——我个人前在金融行业，10年的时候，我们公司写的好多分析程序、高频交易者软件是是用Python,到目前,Python是金融讲、自动化交易领域里带的至少的语言。

8.科学乘除运算——你很清楚么,97年正在，NASA就在源源不断使用Python在进行各种复杂的科学除法运算，紧接着NumPy,SciPy,Matplotlib,Enthoughtlibrarys等众多程序库的开发，使的Python越发适合我于做科学计算、手工绘制高质量的2D和3D图像。和科学计算领域最不流行的商业软件Matlab而言，Python是一门可以修的程序设计语言，比Matlab所需要的脚本语言的应用范围更应用广泛。

9.游戏开发——在网络游戏开发中Python也有很多应用。两者相比Lua内个C,Python比Lua有更八阶的抽象能力，可以不用更少的代码具体解释游戏业务逻辑，与Lua比起，Python更合适才是一种Host语言，即程序的入口点是在Python那一端会比较比较好，接着用C/C在更加必要的时候写一些扩展。Python相当适合我c语言设计1万行以上的项目，但是能够挺好地把网游项目的规模完全控制在10万行代码以内。至于我听说，知名度比较高的游戏文明应该是用Python写的。