快捷搜索:  汽车  科技

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫如果A步骤没有自带PIP的话,请继续安装PIP,参考:https://blog.csdn.net/tianjing0517/article/details/84875108;B、PIP安装A、Python平台本菩安装是的python3.7.6版本,安装方法自行百度,可以参考这篇文章:https://blog.csdn.net/Yanncywang/article/details/105121972;同时记得配置好环境变量。

前言:

数据是研究之根本,数据是研究的灵魂,离开了数据任何研究都是拍脑袋的,因此一份全面的数据在做可转债、股票,甚至经济研究上,都是必不可少的。所以今天本菩就教大家如何进行爬虫。

一、爬虫需要的软硬件平台

1、硬件平台

一台可以上网的电脑,配置还不错,别一开机就卡的那种,就可以了,毕竟我们也不是跑啥牛逼的大数据。

2、软件平台

A、Python平台

本菩安装是的python3.7.6版本,安装方法自行百度,可以参考这篇文章:https://blog.csdn.net/Yanncywang/article/details/105121972;

同时记得配置好环境变量

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(1)

B、PIP安装

如果A步骤没有自带PIP的话,请继续安装PIP,参考:https://blog.csdn.net/tianjing0517/article/details/84875108;

C、安装Python开发环境-JetBrains PyCharm 2019.3 x64

目前PyCharm破解方法只剩一种了,参考这篇文章的做法:https://shimo.im/docs/QQTkPGxWG8yJc3kQ/read;

C.1 JetBrains PyCharm开发环境配置

第一步:点击file 然后点击setting;

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(2)

第二步:点击project,如果没有project,退回去先new一个project,然后在从第一步开始,从图中可以看到,本菩已经安装了很多python组件,那么怎么安装这些组件呢?请看第三步:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(3)

第三步:点击右侧的 号,再点击左下角的Install package进行安装组件,需要安装的组件有:pandas、selenium等;

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(4)

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(5)

D、配置谷歌chromedriver

配置和下载地址:https://blog.csdn.net/BinGISer/article/details/88559532;

注意需要先安装谷歌浏览器,然后查看下谷歌浏览器的版本,在找到对应版本的谷歌chromedriver。

比如本菩的是:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(6)

那么下载:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(7)

该版本的chromedriver。

将下载的chromedriver放到和python.exe同一个文件下就好(最简单的方法),比如本菩的路径:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(8)

以上就是软硬件平台的配置方法了,如果还有啥问题,请关注“菩老投资”进行交流。

二、利用python进行爬虫数据

1、新建工程

利用JetBrains PyCharm新建一个pyhon工程:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(9)

新建完一个工程后,再新建一个python文件:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(10)

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(11)

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(12)

这样工程就建好了。

2、贴入代码

本文选择爬虫的数据来源是集思录的可转债数据,爬虫代码如下:

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(13)

按照本菩的建议,如上图所示在几个地方加上断点,便于调试和加载。

然后一步步的调试到最后会生成一个xls文档,

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(14)

,大工告成。

怎么用集思录选可转债?可转债研究之学习利用python进行集思录数据爬虫(15)

PS:码字不易,请关注下本菩,谢谢!

PS:请关注VX公众号“菩老投资”作者:菩老可转债策略研究链接:https://xueqiu.com/7999785799/147228368

猜您喜欢: