怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫
怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫如果A步骤没有自带PIP的话,请继续安装PIP,参考:https://blog.csdn.net/tianjing0517/article/details/84875108;B、PIP安装A、Python平台本菩安装是的python3.7.6版本,安装方法自行百度,可以参考这篇文章:https://blog.csdn.net/Yanncywang/article/details/105121972;同时记得配置好环境变量。
前言:数据是研究之根本,数据是研究的灵魂,离开了数据任何研究都是拍脑袋的,因此一份全面的数据在做可转债、股票,甚至经济研究上,都是必不可少的。所以今天本菩就教大家如何进行爬虫。
一、爬虫需要的软硬件平台1、硬件平台
一台可以上网的电脑,配置还不错,别一开机就卡的那种,就可以了,毕竟我们也不是跑啥牛逼的大数据。
2、软件平台
A、Python平台
本菩安装是的python3.7.6版本,安装方法自行百度,可以参考这篇文章:https://blog.csdn.net/Yanncywang/article/details/105121972;
同时记得配置好环境变量。
B、PIP安装
如果A步骤没有自带PIP的话,请继续安装PIP,参考:https://blog.csdn.net/tianjing0517/article/details/84875108;
C、安装Python开发环境-JetBrains PyCharm 2019.3 x64
目前PyCharm破解方法只剩一种了,参考这篇文章的做法:https://shimo.im/docs/QQTkPGxWG8yJc3kQ/read;
C.1 JetBrains PyCharm开发环境配置
第一步:点击file 然后点击setting;
第二步:点击project,如果没有project,退回去先new一个project,然后在从第一步开始,从图中可以看到,本菩已经安装了很多python组件,那么怎么安装这些组件呢?请看第三步:
第三步:点击右侧的 号,再点击左下角的Install package进行安装组件,需要安装的组件有:pandas、selenium等;
D、配置谷歌chromedriver
配置和下载地址:https://blog.csdn.net/BinGISer/article/details/88559532;
注意需要先安装谷歌浏览器,然后查看下谷歌浏览器的版本,在找到对应版本的谷歌chromedriver。
比如本菩的是:
那么下载:
该版本的chromedriver。
将下载的chromedriver放到和python.exe同一个文件下就好(最简单的方法),比如本菩的路径:
以上就是软硬件平台的配置方法了,如果还有啥问题,请关注“菩老投资”进行交流。
二、利用python进行爬虫数据1、新建工程
利用JetBrains PyCharm新建一个pyhon工程:
新建完一个工程后,再新建一个python文件:
这样工程就建好了。
2、贴入代码
本文选择爬虫的数据来源是集思录的可转债数据,爬虫代码如下:
按照本菩的建议,如上图所示在几个地方加上断点,便于调试和加载。
然后一步步的调试到最后会生成一个xls文档,
,大工告成。
PS:码字不易,请关注下本菩,谢谢!
PS:请关注VX公众号“菩老投资”作者:菩老可转债策略研究链接:https://xueqiu.com/7999785799/147228368