selenium抓取动态网页 python爬虫怎么写循环爬取多个页面?

python爬虫怎么写循环爬取多个页面?动态加载的数据是在用户通过鼠标或键盘执行某些操作后加载的。所以我们使用selenium提供的webdriver工具调用本地浏览器,让程序代替人类行为,滚动页面,

python爬虫怎么写循环爬取多个页面?

动态加载的数据是在用户通过鼠标或键盘执行某些操作后加载的。

所以我们使用selenium提供的webdriver工具调用本地浏览器,让程序代替人类行为,滚动页面,单击按钮,提交表单等等。从而得到所需的数据。所以我认为使用selenium方法抓取动态页面的中心思想是模拟人类行为。