python爬虫如何获取网页信息时,发现所需要的信息是动态生成的

【python爬虫如何获取网页信息时,发现所需要的信息是动态生成的】你想通过代码来判断数据是不是动态生成的 , 这个目前来说,不好实现 , 至于利用进行抓包分析,获取数据的 URL , 这个实现起来复杂 , 而且没有必要,手动F12很快就能发现答案,数据是不是动态的,一目了然 。静态的数据在网页源码中jquery网页时间轴代码简单的网页时间轴制作效果 , 动态数据不在网页源码中,对比网页显示内容和网页源码,很直观就发现了 。
1.静态数据如下 。
网页显示内容:
网页源码内容:
能在网页源码中找到对应的数据jquery网页时间轴代码简单的网页时间轴制作效果,则不是动态加载的 。
2.动态数据如下 。
网页显示内容:
而实际数据如图,不在网页源码中,动态加载数据:
至于动态数据URL的话,你可以直接抓包分析就行,实现起来很简单:
一般情况下,数据页面的URL参数都是有规矩可循的,一页一页的翻转,参数也是固定那几个参数 , 值的话,会按规律以此递增变化,但是有些网站会进行加密,这个你就要自己好好分析了 。普通情况下,动态数据都是个json文件,通过json包或正则表达式都可以完成数据的提取 , 希望以上内容对你有所帮助吧 。
本文到此结束 , 希望对大家有所帮助 。