快捷搜索:  汽车  科技

一个简单python爬虫完整代码(用20行python代码实现爬虫)

一个简单python爬虫完整代码(用20行python代码实现爬虫)本文的文字及图片来源于网络加上自己的想法 仅供学习、交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理。

准备模块

安装两个类库,requests和BeautifulSoup4
下载类库后执行

pip install requests pip install bs4实现

我们爬取斗图拉网站(www.doutula.com)上的所有表情包www.doutula.com)

#导入模块 mport requests as req from bs4 import BeautifulSoup import os import urllib count=1 for i in range(1 3367):#爬取1到3367页的表情包 url='https://www.doutula.com/photo/list/?page=' str(i)#URL网址 response=req.get(url) content=response.content#获取URL soup=BeautifulSoup(content 'lxml')#调用类 img_list=soup.find_all('img' attrs={'class':'img-responsive lazy image_dta'}) for img in img_list: img_url=img['data-original'] filename=str(count) '.jpg' count=count 1 path=os.path.join('D:/image' filename) urllib.request.urlretrieve(img_url filename=path)结果

在你设定的文件夹下就会有很多表情包。

一个简单python爬虫完整代码(用20行python代码实现爬虫)(1)

结尾

最后多说一句,小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。


本文的文字及图片来源于网络加上自己的想法 仅供学习、交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理。

猜您喜欢: