一个简单python爬虫完整代码(用20行python代码实现爬虫)
一个简单python爬虫完整代码(用20行python代码实现爬虫)本文的文字及图片来源于网络加上自己的想法 仅供学习、交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理。
准备模块安装两个类库,requests和BeautifulSoup4
下载类库后执行
pip install requests
pip install bs4
实现
我们爬取斗图拉网站(www.doutula.com)上的所有表情包www.doutula.com)
#导入模块
mport requests as req
from bs4 import BeautifulSoup
import os
import urllib
count=1
for i in range(1 3367):#爬取1到3367页的表情包
url='https://www.doutula.com/photo/list/?page=' str(i)#URL网址
response=req.get(url)
content=response.content#获取URL
soup=BeautifulSoup(content 'lxml')#调用类
img_list=soup.find_all('img' attrs={'class':'img-responsive lazy image_dta'})
for img in img_list:
img_url=img['data-original']
filename=str(count) '.jpg'
count=count 1
path=os.path.join('D:/image' filename)
urllib.request.urlretrieve(img_url filename=path)
结果
在你设定的文件夹下就会有很多表情包。
最后多说一句,小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。
本文的文字及图片来源于网络加上自己的想法 仅供学习、交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理。