Python学习

结合各种爬虫的仓库

异步多线程+爬虫+SpringBoot

SpiderSellHouse

SpiderRentHouse

python音乐链接爬取

一些爬虫项目，没有使用driver，这样比较简单，注意使用时要换成自己的头文件(提供网址） A24文件夹可以爬取A24公司的全部电影以及电视剧的名字 b站文件夹里包括了弹幕、评论、搜索结果、视频内的推荐的爬取方式 爬取新闻的代码是兼容性很高的，因为大多数新闻网站的结构是很相似的，只需要做少量的适配性调整 在新闻的文件夹里，因为对Python的语法不够熟悉，在利用URL筛查出日期的程序是用C++写的

python

用于爬取一些媒体资源

基于python的儿童图书数据可视化

基于fastapi的学生批量数据集生成器

于2023年6月完成的学生python项目backup。该项目使用requests_html库完成了对当时的51job网站进行了教师招聘状况进行了爬取与数据分析，并基于selenium框架研究了如何在爬虫流程中加入对图片滑块验证的破解。同时使用streamlit库对分析情况进行了页面设计与展示。

于2022年6月完成的学生项目backup。该项目使用requests_html自动爬取bilibili的番剧列表后，存入本地mongodb数据库中，并使用tkinter对爬取结果进行简单查询演示。

scrapy框架爬取简书

这是一个简单的爬虫案例，将链家的二手房的房屋信息爬取后，信息插入到数据库中，图片保存到本地的案例