如何抓取网站里面的数据 如何用python抓取js生成的数据?

如何用python抓取js生成的数据?有几种方法,如phantom JS、WebKit、selenium等。如果您对爬行的性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以

如何用python抓取js生成的数据?

有几种方法,如phantom JS、WebKit、selenium等。如果您对爬行的性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果你知道JS通过Ajax或API获取数据,你可以直接获取数据源,得到JSON或XML,然后处理数据

如果你对爬行的性能没有任何要求,可以试试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果您知道JS是通过Ajax或API获取数据的,那么直接转到数据源,获取JSON或XML,然后处理数据