思通舆情 是一款开源免费的舆情系统，支持本地化部署一键安装。支持对海量的舆情数据进行交叉分析和深度挖掘,为用户提供全面的舆情数据,专业的舆情分析，快速的舆情处理等服务,提升企业品牌价值和风控能力。 #舆情系统 #舆情监测 #网络舆情 #开源舆情 #免费舆情 #舆情分析

网络爬虫：通过Python实现新浪新闻的爬取，可爬取新闻页面上的标题、文本、图片、视频链接（保留排版） 推荐算法：权重衰减+标签推荐+区域推荐+热点推荐 目前项目能用，但是有很多Bug，近期找时间想重构这个项目了~

开源免费思通舆情监测网络监控系统的后台管理系统，对用户配置方案和用户管理的管理系统。该项目与开源舆情系统项目紧密关联。

在浏览器端使用 JS 快速爬取文件的框架

RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作

[原仓库为pyWebBrowser，这是最新版本]基于 C# 开发的浏览器控制工具。整合提供了浏览器控制、键鼠控制、屏幕截图、剪切板控制等常用 API

squirrel（聚哩猫）是一款基于Java语言开发，借助webmagic框架实现的聚合科技资讯爬虫项目，享受24H科技新闻速览。

这是一个使用爬虫实现的音乐播放软件，使用数据库实现登陆注册功能，并对爬取数据实现可视化分析

python requests xpath selenium flask django pyecharts 等项目

使用python+pyecharts+flask+爬虫实现实时未来七日天气查询，图表展示

基于flask的计算机相关岗位数据平台 爬虫以关键词形式抓取boss直聘岗位数据信息，通过web方式进行可视化展示，附带薪资推测和岗位匹配功能。

在此，对webmagic开发者们致以最真诚的感谢。 此项目基于(Java)第三方爬虫工具webmagic实现对腾讯、新浪、今日头条等多家主流新闻媒体的数据抓取。此项目仅供开发者学习参考，请勿通过任何形式以此牟利，否则必追究其法律责任，谢谢合作。

从51job上爬取了10万条职位数据，抽取“数据分析”岗，进行数据清洗，然后做了分析

Python爬虫，爬虫学习杂记

可视化爬虫、基于spider-flow，整合各种插件