微颤抖教程（下图下到手抽筋）

小君 2023-07-19 05:33:12 965

微颤抖教程（下图下到手抽筋）好的，下面要开始码了，码之前我们先说说思路。总的来说，就是抓取站点页面，然后把页面html解析之后获取图片地址，再下载图片，保存到本地。难点就是，为了抓取全部页面，我们要解析html的时候，获取当前页面所有的本站地址，依次去请求处理，还得注意排除已经请求过的。接下来选择一个下载图片的网站，为避免广告导流嫌疑（虽然没啥量），我百度上随便搜了一个，中关村的图片精选页面 http://bbs.zol.com.cn/dcbbs/topic。当然实际大家自己用的肯定是自己要下载图片的页面地址。写工具用啥语言？“人生苦短，我用python”，所以当然是python了。需要预先准备的：pip install bs4 -i https://mirrors.aliyun.com/pypi/simple/ pip install requests -i https://mirrors.aliyun.com/p

我们时常会在网上浏览网页的时候，看到很多美美的图片。有些时候因为喜欢想保存下来，有些时候因为网页浏览太慢，就想把图片下载到电脑上方便查看。但是，下载图片除非是网站提供了打包下载的功能。否则都是一张张点右键另存为，然后选择保存路径，才能下载下来。

好一点的情况是，一套图片几十张都在一个页面，虽然操作到手抽筋，但好歹一个页面搞定。但，有些每页一个的，就需要打开几十个页面再一个个保存。更何况，面对美美的图片，我们想的是，我！全！要！忙到手抽筋也没法把一个网站的图片全部保存下来啊。

微颤抖教程（下图下到手抽筋）(1)

这些图片，我！全！要！

好的，你需要的是一个自动下载图片的工具。网上其实有一些类似工具，但是其实自己写也是非常容易的。本文就是手把手教你写一个下载工具，自由下载，解放双手。

写工具用啥语言？“人生苦短，我用python”，所以当然是python了。

需要预先准备的：

https://www.python.org/downloads/release/python-375/ 下载python，一般都是windows版本的，现在基本都64位的，所以选择Windows x86-64 executable installer。安装的时候记得选择“add to path”的选项。
安装完python，咱们还得装几个方便使用的库，bs4和requests。bs4就是beautifulsoup，解析html的，requests就是方便http请求的。打开powershell，执行下面的命令

pip install bs4 -i https://mirrors.aliyun.com/pypi/simple/ pip install requests -i https://mirrors.aliyun.com/pypi/simple/

为加快安装速度，咱们选用的是pip的国内镜像。 -i https://mirrors.aliyun.com/pypi/simple/就是指定阿里云的pip镜像。

接下来选择一个下载图片的网站，为避免广告导流嫌疑（虽然没啥量），我百度上随便搜了一个，中关村的图片精选页面 http://bbs.zol.com.cn/dcbbs/topic。当然实际大家自己用的肯定是自己要下载图片的页面地址。

好的，下面要开始码了，码之前我们先说说思路。总的来说，就是抓取站点页面，然后把页面html解析之后获取图片地址，再下载图片，保存到本地。难点就是，为了抓取全部页面，我们要解析html的时候，获取当前页面所有的本站地址，依次去请求处理，还得注意排除已经请求过的。

coding begin...

咱们打开自带的edle编辑器，File->New File创建一个新文件，保存为downloader.py。

先加载库

import bs4 import requests import os import logging import urllib.parse import sys

整个功能咱们划分成几个模块，功能分别如下：

请求并解析页面，获取当前页面图片地址和站内链接地址
根据上一步返回的站内链接地址，判断是否重复，如果没处理过，则使用上一步的方式处理该链接
请求图片地址，读取之后保存到本地

咱们要完成的第一个功能模块就是请求并解析页面的方法，因为功能简单单一，都用函数开发，不采用类。

headers = {'user-agent': 'image downloader/0.0.1'} def is_same_domain(base_url url): base_url_parsed = urllib.parse.urlparse(base_url) url_parsed = urllib.parse.urlparse(url) return base_url_parsed.netloc == url_parsed.netloc def process_page(url): ''' 获取url下所有图片以及站内链接 ''' images = [] site_urls=[] try: page_req = requests.get(url headers=headers) if page_req.status_code != 200: logging.error(url ' http code: ' str(page_req.status_code)) return images site_urls page_parsed = bs4.BeautifulSoup(page_req.text 'html.parser') images = [ img.attrs['src'] for img in page_parsed.find_all('img')] site_urls= [ a.attrs['href'] for a in page_parsed.find_all('a') if 'href' in a.attrs and is_same_domain(url a.attrs['href'])] logging.info("processed " url) return images site_urls except Exception as e: logging.error(url ' ' str(e)) return images site_urls

工具函数is_same_domain判断解析的网页地址是否和当前处理的地址是一个域名。process_page返回的是两个list，一个是当前页面所有的图片地址，第二个是当前页面所有的站内链接。图片不需要判断是否本域名，因为图片一般会用专门的服务器，或者cdn，域名不同是很正常的事情。

接下来是根据页面获取的图片地址，抓取图片保存到本地的模块。

def store_image(save_path img_url): ''' 将地址为img_url的图片保存到save_path目录下。 ''' img_url_parsed = urllib.parse.urlparse(img_url) try: img_path = save_path '/' os.path.dirname(img_url_parsed.path).strip('/').replace('/' '_') img_file_path = img_path '/' os.path.basename(img_url_parsed.path) img_req = requests.get(img_url headers=headers) if img_req.status_code != 200: logging.error(img_url ' http code: ' str(img_req.status_code)) return False if len(img_req.content)< 100*1024: logging.warning(img_url " too small") return True if not os.path.exists(img_path): os.makedirs(img_path) with open(img_file_path "wb") as fp: fp.write(img_req.content) logging.info("saved " img_url) except Exception as e: logging.error(img_url ' ' str(e))

函数store_image将图片保存到指定的路径save_path下，如果目录不存在，会自动创建，这里过滤掉了大小在100k以下的图片。这里为了简化，减少了图片的目录深度，原地址里面的路径都会转化为下划线分隔的一个目录，使得多级目录简化为一级。

再加个控制函数就大功告成了。

def site_download(url save_path): visited_url = {} stored_img = {} to_visit = [url] while len(to_visit)>0: url = to_visit.pop() imgs urls = process_page(url) visited_url[url]=1 for img in imgs: if img not in stored_img: stored_img[img]=1 store_image(save_path img) for u in urls: if u not in visited_url: to_visit.append(u)

site_download接收传入的起始地址和图片保存路径，然后递归处理所有页面以及子页面，并判断是否处理过。这里简化了处理，都用map去表示是否访问过，因为一般几十万上百万的页面，应该不会占用太多内存。

加个脚本执行的入口就可以了

if __name__=="__main__": if len(sys.argv) < 3: print("usage: python downloader.py site_url img_path") sys.exit(1) site_download(sys.argv[1] sys.argv[2])

使用方法就是 python downloader.py 网站路径图片保存路径

好的，早已按捺不住了，赶紧来跑一跑吧。

微颤抖教程（下图下到手抽筋）(2)