# 爬虫练习

**Repository Path**: pocky_gitee/crawler

## Basic Information

- **Project Name**: 爬虫练习
- **Description**: 个人工作、生活、学习用到的爬虫会写在这里，目前只上传了一部分。通过爬虫锻炼数据处理能力，增进对反爬技术的了解，遵守爬虫协议。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-02-08
- **Last Updated**: 2022-02-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Python

## README

[TOC]

# 仓库代码结构说明

以下爬虫仅供技术学习使用

|                        |                                                    |
| ---------------------- | -------------------------------------------------- |
| crawler/6mh7_com       | 爬取`http://m.6mh7.com`网站漫画图片的代码          |
| crawler/cocomanhua_com | 爬取`https://www.cocomanhua.com`网站漫画图片的代码 |
| crawler/fkxs_net       | 爬取`https://m.fkxs.net`网站的小说                 |
| crawler/stats_gov_cn   | 爬取`http://www.stats.gov.cn`地理信息              |

# crawler/6mh7_com中的代码

## 运行方式

```
python3 6mh7_com/requests_core.py
```

## 爬取关键

<span style="color:red;">**爬取结构**</span>

运行代码，会通过目录页获取每一章节页面的地址，进入每一章节页面的地址，可以获得章节下每张图片的下载地址，

<span style="color:red;">**解决拿不到章节下每张图片顺序及图片下载路径的问题**</span>
但是每一章节图片的下载地址不是网页初次加载就会有的，而是网页加载完成之后，js修改页面中的标签内容，把图片的地址加进去，所以直接请求页面路径是拿不到图片地址的，选择直接运行这段js，会获得图片的路径，js结果是图片按照先后顺序在一个list里面，遍历这个list并拼接图片下载路径前缀，就可以按顺序的到当前章节中每张图片的下载路径。

<span style="color:red;">**解决访问第一级页面的时候只能拿到部分章节的地址，需要点击“加载更多”才能获得全部**</span>
点击”加载更多”会请求接口，得到的是一个jsonArray，里面是除了已经显示的章节列表之外的全部章节列表，然后页面会通过js改变页面内容。
由于接口返回的内容已经是固定的，所以我们直接把接口返回的结果拿出来就行了，组成每一章节页面的访问路径，粘贴到文件里，读取文件，然后遍历章节访问路径，和通过第一级页面获得页面章节页面访问路径放到一起，形成了完整的章节页面列表。
用来存放的文件名为new.txt

## 爬取流程

1.访问哪里：访问目录页面，访问接口，目的是获得章节页面路径组成的list

2.如何获得下一级：从标签和接口获取

2.衔接：遍历章节页面路径组成的list
章节列表的内容可以存在文件里面，遍历的时候从文件里面读取，这样程序断了，这要打印日志，就可以知道从什么位置断的，以及可以从指定位置开始继续爬取。

3.访问哪里：请求章节页面，目的是获取该章节下每个图片的下载路径
请求章节页面之后，创建该章节对应的文件夹，用于存放该章节下的图片

4.如何获得下一级：每个图片的下载路径在初次请求的页面里面是没有的，是调用js，形成新的标签，这个标签会被添加到页面中

这段写标签的js调用了另一段js函数，这段函数的返回值是一个list（与阅读顺序一致的图片路径list）

要获得这段js函数的代码，需要从页面js里面提取`<script type="text/javascript">`标签中的内容，可以得到一段js代码，使用python运行这段js代码，获取返回值，则得到图片下载页面路径组成的list 

但是使用execjs直接运行这段js我没有成功，使用selenium直接运行这段js代码我也没有成功

曲线救国，获得这段js代码之后，用代码修改一下字符串，把代码改写为得到结果之后把结果作为字符串，将字符串作为`<p>`标签的内容，将`<p>标`签写入到一个自己造的html页面里面(页面叫做【test.html】)，因为这个js代码不能直接运行，所以把这个js代码写到自己造的html页面里面，使用selenium访问自己造的html页面的时候这个js代码就会被浏览器运行，并且运行结果会按照我们补充的js代码，把结果写到html页面里面。这里采用外部引用的方式把这段改写后的js代码写到自己造的html页面里面，外部引用的js我写在【test.js】里面了。这段js代码每访问一章，都重新拼接一次字符串，也就重新覆盖写入一次文件。

【test_template.js】是【test.js】的演示

让selenium访问这个html页面，获取p标签里面的内容，这样可以拿到js的运行结果，也就得到了章节中与阅读顺序一致的图片路径列表

5.衔接：当前章节图片下载路径列表

6.访问哪里：请求图片图片下载路径，目的是得到图片的二进制流，将接收到的二进制流转化为图片

# cocomanhua_com中的代码

## 运行方式

```
python3 cocomanhua_com/core2.py
```

## 爬取关键

这个网站爬取并不困难，但是反爬策略比较严格，容易封ip

# fkxs_net中的代码

## 运行方式

```
python3 fkxs_net/core.py
```

# stats_gov_cn中的代码

## 运行方式

```
python3 gjtjj.py
```

## 爬取关键

1.会根据cookie识别爬虫，因此要根据指定格式生成cookie

2.页面层级较多，做好代码兼容