爬虫都可以干什么？

爬虫技术前景非常不错，搜狗 百度 字节跳动 这样的互联网公司都需要爬虫工程师啊，而且薪资非常不错。

Python、C++、PHP 这些编程语言都很火热啊，现在干什么不都需要爬虫啊。

数据采集、舆情分析、撰写行业报告、AI、自然语言处理 都需要大数据和爬虫啊

我觉得你可以亲自试试，感受一下爬虫的魅力，比如 前嗅的数据采集器就可以，百度直接搜就行网络爬虫师世界上80%的爬虫是基于python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。 什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在foaf社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬虫可以做什么？ 你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。 爬虫的本质是什么？ 模拟浏览器打开网页，获取网页中我们想要的那部分数据 浏览器打开网页的过程： 当你在浏览器中输入地址后，经过dns服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果 所以用户看到的浏览器的结果就是由html代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。爬虫现在都不流行了吧。网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这个过程是不是像蜘蛛沿着网一样爬？这也是“爬虫”名字的由来。

在了解爬虫的过程中，由于对这项技术缺乏系统了解，“小白”们难免会被纷繁生僻的知识点折腾地眼花缭乱、晕头转向。有的人打算先搞懂基本原理和工作流程，有的人计划从软件的基本语法入门，也有人打算弄懂了网页文档再来……在学习抓取网络信息的道路上，许多人因为中途掉进陷阱最终无功而返。因此，掌握正确的方法的确非常重要。既然爬虫这么强大，那么爬虫到底可以用来做什么呢？

1. 爬图片、爬取视频

2. 爬豆瓣Top250的电影、学术论文

3. 爬淘宝的销售数据、房价的变化趋势

4. 对股票市场进行分析和预测

5. 爬知乎的作者和回答

6. 爬百度网盘的资源，存到数据库中（当然，只是保存资源的链接和标题），然后制作一个网盘的搜索引擎

7. 备份自己的资料

等等等等除了以上的还有很多未经列举的，只要是你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。就连我们每天使用的百度，其实也就是利用了这种爬虫技术，每天放出无数爬虫到各个网站，把他们的信息抓回来供你使用。

文章部分内容源于网络，联系侵删*

如何用python抓取股票数据

通过使用公开的股票软件API。有一些提供这个信息的API是要付费的。如果商用，费用更高。在 python的qstk中，是通过 s_datapath 变量，定义相应股票数据所在的文件夹。一般可以通过 qsdata 这个环境变量来设置对应的数据文件夹。

具体的股票数据来源，例如沪深、港股等市场，你可以使用免费的wdz程序输出相应日线、5分钟数据到 s_datapath 变量所指定的文件夹中。然后可使用 python的qstk中，qstkutil.dataaccess进行数据访问。