有js为什么还要php 爬虫怎么爬取js动态生成的数据？
爬虫怎么爬取js动态生成的数据？当我使用jsup编写爬虫程序时，我通常会遇到HTML不返回的内容。但是浏览器显示了一些东西。所有这些都是分析页的HTTP请求日志。分析页面JS代码来解决问题。1. 某些
爬虫怎么爬取js动态生成的数据？
当我使用jsup编写爬虫程序时，我通常会遇到HTML不返回的内容。但是浏览器显示了一些东西。所有这些都是分析页的HTTP请求日志。分析页面JS代码来解决问题。
1. 某些页面元素被隐藏->替换选择器解决方案
2。一些数据保存在JS/JSON对象中->截取相应的字符串，分析并求解
3。通过API接口调用-> forge请求获取数据
有一个终极方法
4。使用无头浏览器，如phantomjs或casperjs