python网络爬虫的第三方库（Python开源项目合集网络爬虫）项目地址：https://github.com/iawia002/Lulu项目地址：https://github.com/soimort/you-get/项目地址：https://github.com/gawel/pyquery项目地址：https://github.com/gnemoug/distribute_crawler项目地址：https://github.com/rg3/youtube-dl//
Scrapy - 最出名的网络爬虫，一个快速 高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。官方主页 Scrapy 轻松定制网络爬虫 - 教程，scrapy 中文指南 。
项目地址：https://github.com/scrapy/scrapy/
BeautifulSoup - Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。
项目地址：http://www.crummy.com/software/BeautifulSoup/
Python-goose - python-Goose用Python重写，依赖了Beautiful Soup。给定一个文章的URL 获取文章的标题和内容很方便。
项目地址：https://github.com/grangier/python-goose/
pyspider - PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。demo地址 网络爬虫剖析，以Pyspider为例 ， Scrapy 示例 —— Web 爬虫框架 。
项目地址：https://github.com/binux/pyspider
PyQuery - 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。python爬虫神器PyQuery的使用方法。
项目地址：https://github.com/gawel/pyquery
distribute_crawler - 使用scrapy redis mongodb graphite实现的一个分布式网络爬虫。
项目地址：https://github.com/gnemoug/distribute_crawler
youtube-dl - 一个可从YouTube等网站下载视频的开源神器 采用Python开发，支持多个OS平台，支持众多视频网站国内优酷、土豆、新浪和搜狐，国外YouTube等赫然在列。
项目地址：https://github.com/rg3/youtube-dl//
you-get - 能帮你快速爬取你想要的一切，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米。
项目地址：https://github.com/soimort/you-get/
Lulu - You-get的一个友好分叉(fork) 类似网络爬虫的简单下载程序。
项目地址：https://github.com/iawia002/Lulu
pytube - 一个非常严谨、轻量级、无依赖性的用于下载youtube视频的python库。
项目地址：https://github.com/nficano/pytube
meizi_spider - 获取慕课网视频教程，基于Scrapy(0.22)。
项目地址：https://github.com/lpe234/meizi_spider
spider_smooc - 爬取慕课网视频 使用BeautifulSoup模块解析html。
项目地址：https://github.com/qiyeboy/spider_smooc
proxy_pool - 爬虫代理池 爬去取网上免费的代理IP。
项目地址：https://github.com/jhao104/proxy_pool
Amazon-scraper-Python - 一款非官方的爬取工具，能够获取亚马逊上在售商品的信息，比如商品排名和评论数量。
项目地址：https://github.com/tducret/amazon-scraper-python
Douyin-Bot - Python 抖音机器人，论如何在抖音上找到漂亮小姐姐？
项目地址：https://github.com/wangshub/Douyin-Bot
DouYin - 不到 10 行代码完成抖音热门视频的爬取！
项目地址：https://github.com/Python3WebSpider/DouYin
Sotawhat - arxiv论文爬虫，只需输入论文关键词，就会为你抓取arxiv上的论文并总结摘要，让你轻松同步最新研究结果。
项目地址：https://github.com/chiphuyen/sotawhat
Gerapy - 国人开发的，分布式的爬虫管理框架，基于Scrapy Scrapyd Scrapyd-Client Scrapyd-API Django and Vue.js 技术！
项目地址：https://github.com/Gerapy/Gerapy
Crawlab - 基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
项目地址：https://github.com/tikazyq/crawlab
awesome-python-login-model - 模拟登陆一些大型网站，还有一些简单的爬虫。
项目地址：https://github.com/CriseLYJ/awesome-python-login-model
Pyppeteer - Pyppeteer其实是Puppeteer的Python版本，，Puppeteer是谷歌出品的一款基于Node.js开发的一款工具，主要是用来操纵Chrome浏览器的 API，通过Javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。
项目地址：https://github.com/miyakogi/pyppeteer
python_12306 - 用python实现的12306抢票小工具。
项目地址：https://github.com/versionzhang/python_12306
py12306 - 12306 购票助手，支持集群，多账号，多任务购票以及 Web 页面管理。
项目地址：https://github.com/pjialin/py12306
12306 - 12306智能刷票，订票，分布式、多账号、多任务购票。
项目地址：https://github.com/testerSunshine/12306
