CSDN，52账号：灵海之森

微信公众号：西书北影。欢迎关注 微信公众号之前没开通知，现在开了，看到会第一时间回复

环境：Python3.6

全新的微博爬虫三件套已发布，位于

https://github.com/stay-leave/weibo-crawler

基于网页端，字段和数据量更上一个台阶。

仅做学习交流使用！不收费，若发现搬运倒卖的，请私信我处理。

包含微博爬虫、LDA主题分析和情感分析三个部分。

新增话题热度、话题相似度部分。

新增地图可视化部分，数据由团队自行搜集。

1.微博爬虫

实现微博评论爬取和微博用户信息爬取，一天大概十万条。

2.LDA主题分析

实现文档主题抽取，包括数据清洗及分词、主题数的确定（主题一致性和困惑度）和最优主题模型的选择（暴力搜索）。

3.情感分析

实现评论文本的情感值计算，准确率超过97%，处于0到1之间。

4.话题热度计算

实现话题的热度的计算，同一时间内总和为1.

5.主题相似度计算

实现两个相邻时间片的话题的演化探测，以判断主题演化情况。

6.地图绘制

实现分省市情感均值、评论总数、新增确诊人数的地图可视化。