集思录网站(可转债研究之学习利用python进行集思录数据爬虫)

前言:数据是研究之根本,数据是研究的灵魂,离开了数据任何研究都是拍脑袋的,因此一份全面的数据在做可转债、股票,甚至经济研究上,都是必不可少的。所以今天本菩就教大家如何进行爬虫。一、爬虫需要的软硬件平台1、硬件平台一台可以上网的电脑,配置还不错,别一开机就卡的那种,就可以了,毕竟我们也不是跑啥牛逼的大数据。2、软件平台A、Python平台本菩安装是的python3.7.6版本,安装方法自行百度,可以参考这篇文章:https://blog.csdn.net/Yanncywang/article/details/105121972;同时记得配置好环境变量。B、PIP安装如果A步骤没有自带PIP的话,请继续安装PIP,参考:https://blog.csdn.net/tianjing0517/article/details/84875108;C、安装Python开发环境-JetBrains PyCharm 2019.3 x64目前PyCharm破解方法只剩一种了,参考这篇文章的做法:https://shimo.im/docs/QQTkPGxWG8yJc3kQ/read;C.1 JetBrains PyCharm开发环境配置第一步:点击file,然后点击setting;第二步:点击project,如果没有project,退回去先new一个project,然后在从第一步开始,从图中可以看到,本菩已经安装了很多python组件,那么怎么安装这些组件呢?请看第三步:第三步:点击右侧的+号,再点击左下角的Install package进行安装组件,需要安装的组件有:pandas、selenium等;D、配置谷歌chromedriver配置和下载地址:https://blog.csdn.net/BinGISer/article/details/88559532;注意需要先安装谷歌浏览器,然后查看下谷歌浏览器的版本,在找到对应版本的谷歌chromedriver。比如本菩的是:那么下载:该版本的chromedriver。将下载的chromedriver放到和python.exe同一个文件下就好(最简单的方法),比如本菩的路径:以上就是软硬件平台的配置方法了,如果还有啥问题,请关注“菩老投资”进行交流。二、利用python进行爬虫数据1、新建工程利用JetBrains PyCharm新建一个pyhon工程:新建完一个工程后,再新建一个python文件:这样工程就建好了。2、贴入代码本文选择爬虫的数据来源是集思录的可转债数据,爬虫代码如下:按照本菩的建议,如上图所示在几个地方加上断点,便于调试和加载。然后一步步的调试到最后会生成一个xls文档,,大工告成。PS:码字不易,请关注下本菩,谢谢!PS:请关注VX公众号“菩老投资”作者:菩老可转债策略研究链接:https://xueqiu.com/7999785799/147228368

本文出自快速备案,转载时请注明出处及相应链接。

本文永久链接: https://www.175ku.com/39264.html