python编程英文单词表(爬虫爬出自己的英语单词库)
python编程英文单词表(爬虫爬出自己的英语单词库)输出一个文本文件好了,方便以后进行各种处理助记:比如词根或者其他有助于记忆的说明音标及读音:分为美语音标,读音,英语音标,读音词性,中文释义:单词多个含义的不同词性和中文例句:单词的例句
为什么要建立自己的单词库-
用过各种的背单词软件,总是在使用其他人的词库或者软件自己提供的词库,基本是人家提供什么自己就用什么,要想有更多的自主基本没有,最近看一个 COCA的按单词使用频率来提取的2万单词表,但没有对应的单词库,知米里倒是可以直接导入英文单词,系统帮你匹配上音标、读音、例句及解释,然而匹配后的结果你却无法导出。
-
特别是最近准备利用AnkiDroid来进行单词背诵,所以有种要建立自己的单词库的需求。更进一步或许可以自己开发一个背单词的软件也是有可能的。“万里长征第一步,先来建立单词库”,走一步看一步吧。
根据需求,词库应该包括如下内容
-
英文:对应英语单词
-
音标及读音:分为美语音标,读音,英语音标,读音
-
词性,中文释义:单词多个含义的不同词性和中文
-
例句:单词的例句
-
助记:比如词根或者其他有助于记忆的说明
-
输出一个文本文件好了,方便以后进行各种处理
-
获得单词的相关信息,目前可以通过百度翻译,有道翻译,必应翻译,谷歌翻译,金山词霸等方式,在综合考虑后选择通过必应字典模式获得相关数据。
-
数据爬取上,目前最为流行的并且相对成熟的是使用python(也就懂python),所以选择python
-
对于使用python爬取数据,一般有两种模式,一种是python urllib lxml 另外一种是python selenium chrome。
-
本身就是一个小项目,同时自身学习能力有限就没考虑scrapy的爬虫框架了。估计以后要是大量、各种、经常性爬取内容才会考虑这个。什么都要学习呀,学习是要成本的。
-
python selenium chrome:可以模拟浏览器动作,能有效的解决ajax模式下的数据爬取问题;很容易实现基于浏览器的测试;必须能够趟过 selenium 的一系列坑,相对学习成本要高
-
python urllib lxml:学习成本相对较低;ajax,动态网页的爬取不方便
当然两者都需要有一定的正则表达式能力。由于必应字典基本都属于静态网页,所以选择方式2就是python urllib lxml模式。
实现-
python及相关环境安装:使用anaconda 完成整体环境的安装,这里略过,详细见http://www.jianshu.com/p/f452f71860ab
-
构造url:基本构造很简单http://cn.bing.com/dict/search?q=单词
-
获得页面:构造一个函数,输入单词,通过urllib获得对应页面,并返回
#注:为排版准确,一下前端缩进为全角空格,复制粘贴是运行不起来的
解析页面:主要使用lxml,通过xpath进行内容解析,以下以获得单词音标为例,其他相识。
def get_yingbiao(html_selector):
yingbiao=[]
yingbiao_xpath='/html/body/div[1]/div/div/div[1]/div[1]/div[1]/div[2]/div' #xpath
bbb="(https\:.*?mp3)" ##这个是为了获得对应的读音MP3文件,使用正则表达式
reobj1=re.compile(bbb re.I|re.M|re.S)
get_yingbiao=html_selector.xpath(yingbiao_xpath)
for item in get_yingbiao:
it=item.xpath('div')
if len(it)>0: #处理没有读音或者音标的部分
ddd=reobj1.findall(it[1].xpath('a')[0].get('onmouseover' None))
yingbiao.append("%s||%s"%(it[0].text ddd[0]))
ddd=reobj1.findall(it[3].xpath('a')[0].get('onmouseover' None))
yingbiao.append("%s||%s"%(it[2].text ddd[0]))
if len(yingbiao)>0: #数据整形成一个字符串,用四个竖线分隔
return reduce(lambda x y:"%s||||%s"%(x y) yingbiao)
else:
return ""
-
多数据输入输出:输入文件为一个英语单词文件,每个单词一行,输出为一个包含单词,音标,释义,例句的文件,同样每个单词一行。
filename='words.txt' #输入文件
f=open(filename "r")
words=f.readlines()
f.close()
filename2='words_jieguo.txt' #输出文件
f=open(filename2 "w")
i=0
for word in words:
time.sleep(0.25) #怕爬太快给必应干掉,所以歇一会再来
print(word.rstrip() i)
word_line=get_word(word.rstrip()) #获得单词相关内容函数
f.write("%s\n"%(word_line.encode('utf-8'))) #写入输出文件
i=i 1
f.close()
-
整体代码: python3下的实现,在python2下需要进行一些微调。
由于单词本身不多,而时间其实更多,所以没进行多线程的改造,按一小时3600秒,一秒爬4-5个单词,一小时也能爬下不少单词,多线程改造意义不大。