【简介】本篇博客为爱冲锋，爬取北京全部高校的全部招生信息，最后持久化存储为表格形式，可以用作筛选高校。

此处导入本次爬虫所需要的全部依赖包分别是以下内容，本篇博客将爬取研招网北京所有高校的招生信息，主要爬取内容为学校，考试方式，所在学院，专业，研究方向，招生人数，备注，考试科目等相关信息

本次我们将爬虫的代码封装成一个类，当作练习。 此处我们初始化相关内容： agent ：该列表种存放UA伪装池，在该伪装池中随机获取一个 params ：这是一个用来存放GET请求所携带的参数，以便于访问各个页面 headers：用来存放UA伪装的字典 all：这是一个列表用来暂时存放每次爬取到的页面数据

该方法用于随机一个浮点数的时间，用于模拟随机访问，以防止访问过快，服务器拒绝访问。 其中uniform( )函数，random.uniform(x, y) 方法将随机生成一个实数，它在 [x,y] 范围内。

由于我们要爬取北京所有高校的信息，所以我们需要所有的专业代码，作为访问所携带的参数。

我们通过抓包工具可以发现所有的专业代码在该请求的URL下，所获取的json文件，接下来我们对这个URL发请求，在解析一下数据，即可获得所有的专业代码。 这里我们复习一下如何将列表数据存入TXT文件： 参考博客：[http://t.csdn.cn/badHK]

这里写一个方法，方便后续读取txt文件。其中file 是文件名作为参数

这里就是最重要的爬取页面信息部分，我们会先获取page页码，将作为参数传入。在最外层循环遍历每一个页面，将全部参数加入我们要访问的url中，因为每一个页面最多只有30个数据，如果没有30个或者页面为空都会抛出IndexError的异常，此处我们做了异常的处理。最后使用Xpath解析页面数据，做一个字典存放入all列表中。 通过查看页面源码可以发现，我们所需要的数据在标签下的 并且，该专业的详情是在标签下的href，通过拼接url：next_url = f"https://yz.chsi.com.cn{next_url}"发出请求方可进入该页面。在使用同样的方法就可以获取到查看下面的信息。

此处我们对第一页面数据进行解析从而获得该该页面一共有多少页面

该方法是将一个列表，列表的每个元素为一个字典的形式，存入一个表格。

首先先获取高校名单列表和专业名单列表和专业代码列表，通过两层的遍历，获取每个高校，每个专业的详情数据。