python爬虫教程scrapy（Python爬虫scrapy框架的认识）

python爬虫教程scrapy（Python爬虫scrapy框架的认识）是一个专门用于异步爬虫的框架。安装scrapy学习的是框架中集成好的各种功能的特性是作用进阶学习？逐步的探索框架的底层。

scrapy框架的认识、安装

框架简介：

什么是框架？

所谓的框架其实就是一个集成了很多功能且具有很强通用性的一个项目模板。

怎么学习？

学习的是框架中集成好的各种功能的特性是作用

进阶学习？

逐步的探索框架的底层。

---

安装scrapy

是一个专门用于异步爬虫的框架。

特性：

高性能的数据解析、请求发送、持久化存储，全站数据爬取，中间件，分布式…

环境的安装：

mac/linux：

pip install scrapy

windows:

a. pip install wheel b. 下载twisted，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执行 pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl - Twistde:就是一个异步的架构。被作用在了scrapy中。 - 安装报错：需要安装另一个版本的Twisted文件进行安装即可 d. pip install pywin32 e. pip install scrapy - 测试:cmd中scrapy按下回车，如果没有报错说明安装成功。

关注Python涛哥！学习更多Python知识！