每天微博热搜都在不定时的变,通过抓取热搜数据,可以方便我们知道每天的热搜内容。
python的几行代码就能简单爬取到热搜的数据。
1.数据抓取
首先,我们得知道微博热搜内容的具体链接。
https://s.weibo.com/top/summary
2.数据处理
为了更好的分析html文件内容,我复制到编辑器上分析文本数据。
简单实现代码如下:
这里采用BeautifulSoup中select,和select_one去解析html文件。
这里对select和select_one做一下简单补充。
3.数据存储
这里仅是把数据简单存储到数据库中,具体看效果图。