快捷搜索:  汽车  科技

python爬取音乐哪个软件好(Xpath实现抓取某网站推荐的歌曲)

python爬取音乐哪个软件好(Xpath实现抓取某网站推荐的歌曲)4、代码实现:python、requests、Xpath、csv文件写入(2)使用Xpath方式进行解析,找到要抓取的歌曲和作者所在的段落(3)将解析后的结果写入到CSV格式的excel中3、关键技术:

1、背景:

为了实现抓取某目标网站的歌曲以及作者,通过python Xpath方式实现,并将抓取的结果保存到csv格式的excel表格里。

2、实现步骤:

(1)获取该网站的网页源码

(2)使用Xpath方式进行解析,找到要抓取的歌曲和作者所在的段落

(3)将解析后的结果写入到CSV格式的excel中

3、关键技术:

python、requests、Xpath、csv文件写入

4、代码实现:

# ############## 通过python Xpath实现抓取某网站推荐的歌曲 import requests import lxml.html import csv url = "http://www.show160.com/" html = requests.get(url=url) htmlContent = html.content.decode("GBK") selector = lxml.html.fromstring(htmlContent) #先抓大,找到歌曲信息所在的片段 item_list = selector.xpath('//*[@id="music_con1_1"]/div[@class="cont"]/div[@class="music_list"]/ul/li') songAndAuthorList = [] #基于抓取的结果再抓取每个li下面的信息,包括歌曲名和作者 for item in item_list: name = item.xpath('div[@class="lebox"]/a/text()') author = item.xpath('div[@class="ribox"]/a/text()') itemDict = {"name":name[0] "author":author[0]} songAndAuthorList.append(itemDict) #将结果存入到excel表格里 with open('songAndAuthor.csv' 'w' encoding='utf-8-sig' newline='') as f: writer = csv.DictWriter(f fieldnames=['name' 'author']) writer.writeheader() writer.writerows(songAndAuthorList)

5、代码解析:

下面是源码的截图,

python爬取音乐哪个软件好(Xpath实现抓取某网站推荐的歌曲)(1)

为了看的更清楚一点,将要抓取的结构罗列如下:

python爬取音乐哪个软件好(Xpath实现抓取某网站推荐的歌曲)(2)

6、代码运行结果:

python爬取音乐哪个软件好(Xpath实现抓取某网站推荐的歌曲)(3)

猜您喜欢: