selenium-message_board-text_analysis

资源简介

对人民网领导留言板2023.5-2023.11的数据进行爬虫和文本分析，数据量为39万条（时间有限，全部爬取的话为200万条左右）。爬虫解决的问题有：1. 网不好时抓取内容为空的程序稳定性处理；2. 访问次数太多后被网站限制访问的处理；2. 只有一页没有下一页的页面的处理；3. 对无回复留言的处理； 4. 对于不存在的fid的页面处理（这使得不用整理页面fid，确定最小值fid和最大值fid后即可进行爬取）；5. 对没有在日期范围内的留言的页面处理；6. 对无留言页面的处理。Note:该数据无法使用接口爬取，因为网页在每条留言详情页面的接口链接上加了一个随机“signature”作为反爬虫。文本分析使用“cntext”库

资源类型

软件

第三方域名

github.com

索引时间

2026-08-04 00:15