python爬虫框架scrapy 分析ajax，爬取知乎发现板块
qiyuwang 2024-11-01 14:42 8 浏览 0 评论
前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者： 人走茶凉csc
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
一、网页分析及爬取字段
1、爬取字段
爬取字段不多，只需要三个字段即可，其中“内容”字段需要进到详情页爬取
2、网页分析
知乎发现板块为典型的ajax加载页面。
我们打开网页，右键点击检查，切换到Network界面，点击XHR，此状态下，刷新出来的均为Ajax加载条目。
接下来我们不断下拉网页
可以看到ajax加载条目不断出现。
此ajax加载的params如下，我上次写的百度图片下载爬虫我们是通过构造params来实现的，在这次爬虫中我尝试使用此方法但是返回404结果所以我们通过分析ajax的url来实现。
此为ajax加载出来的url
通过上面两个url分析我们可以看出此url只有一个可变参数为
所以我们只需更改此参数即可。
同时在分析网页的时候我们发现，此ajax加载上限为40页，其最后一页ajax加载网址为
好了 到目前为止，我们ajax请求的url地址我们分析结束。爬取字段部分不在分析，都是很简单的静态网页，使用xpath即可。
二、代码及解析
1、items部分
建立爬取字段
2、settings部分
打开itempippline部分修改user_agent即可。
3、spider
首先构造start_requests方法，构造完整的url地址。然后交给parse解析，最后进到详情页拿到content字段即可。
四、总结感悟
知乎是比较好的用来练手的网站，其ajax加载出来的内容是完整的网页不是json格式的内容，省去了分析json的麻烦。
直接爬取即可。
相关推荐
- # 安装打开 ubuntu-22.04.3-LTS 报错 解决方案
-
#安装打开ubuntu-22.04.3-LTS报错解决方案WslRegisterDistributionfailedwitherror:0x800701bcError:0x80070...
- 利用阿里云镜像在ubuntu上安装Docker
-
简介：...
- 如何将Ubuntu Kylin(优麒麟)19.10系统升级到20.04版本
-
UbuntuKylin系统使用一段时间后，有新的版本发布，如何将现有的UbuntuKylin系统升级到最新版本？可以通过下面的方法进行升级。1.先查看相关的UbuntuKylin系统版本情况。使...
- Ubuntu 16.10内部代号确认为Yakkety Yak
-
在正式宣布Ubuntu16.04LTS(XenialXerus)的当天，Canonical创始人MarkShuttleworth还非常开心的在个人微博上宣布Ubuntu下个版本16.10的内...
- 如何在win11的wsl上装ubuntu（怎么在windows上安装ubuntu）
-
在Windows11的WSL（WindowsSubsystemforLinux）上安装Ubuntu非常简单。以下是详细的步骤：---...
- Win11学院:如何在Windows 11上使用WSL安装Ubuntu
-
IT之家2月18日消息，科技媒体pureinfotech昨日（2月17日）发布博文，介绍了3中简便的方法，让你轻松在Windows11系统中，使用WindowsSubs...
- 如何查看Linux的IP地址（如何查看Linux的ip地址）
-
本头条号每天坚持更新原创干货技术文章，欢迎关注本头条号"Linux学习教程"，公众号名称“Linux入门学习教程"。...
- 怎么看电脑系统?（怎么看电脑系统配置）
-
要查看电脑的操作系统信息，可以按照以下步骤操作，根据不同的操作系统选择对应的方法：一、Windows系统通过系统属性查看右键点击桌面上的“此电脑”（或“我的电脑”）图标，选择“属性”。在打开的...
- 如何查询 Linux 内核版本?这些命令一定要会!
-
Linux内核是操作系统的核心，负责管理硬件资源、调度进程、处理系统调用等关键任务。不同的内核版本可能支持不同的硬件特性、提供新的功能，或者修复了已知的安全漏洞。以下是查询内核版本的几个常见场景：...
- 深度剖析:Linux下查看系统版本与CPU架构
-
在Linux系统管理、维护以及软件部署的过程中，精准掌握系统版本和CPU架构是极为关键的基础操作。这些信息不仅有助于我们深入了解系统特性、判断软件兼容性，还能为后续的软件安装、性能优化提供重要依据。接...
- 504 错误代码解析与应对策略（504错误咋解决）
-
在互联网的使用过程中，用户偶尔会遭遇各种错误提示，其中504错误代码是较为常见的一种。504错误并非意味着网站被屏蔽，它实际上是指服务器在规定时间内未能从上游服务器获取响应，专业术语称为“Ga...
- 猎聘APP和官网崩了?回应:正对部分职位整改，临时域名可登录
-
10月12日，有网友反映猎聘网无法打开，猎聘APP无法登录。截至10月14日，仍有网友不断向猎聘官方微博下反映该情况，而猎聘官方微博未发布相关情况说明，只是在微博内对反映该情况的用户进行回复，“抱歉，...
- 域名解析的原理是什么?域名解析的流程是怎样的?
-
域名解析是网站正常运行的关键因素，因此网站管理者了解域名解析的原理和流程对于做好域名管理、解决常见解析问题，保障网站的正常运转十分必要。那么域名解析的原理是什么？域名解析的流程是怎样的？接下来，中科三...
- Linux无法解析域名的解决办法（linux 不能解析域名）
-
如果由于误操作，删除了系统原有的dhcp相关设置就无法正常解析域名。 此时，需要手动修改配置文件： /etc/resolv.conf 将域名解析服务器手动添加到配置文件中 该文件是DNS域名解...
- 域名劫持是什么?（域名劫持是什么）
-
域名劫持是互联网攻击的一种方式，通过攻击域名解析服务器（DNS），或伪造域名解析服务器（DNS）的方法，把目标网站域名解析到错误的地址从而实现用户无法访问目标网站的目的。说的直白些，域名劫持，就是把互...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- # 安装打开 ubuntu-22.04.3-LTS 报错 解决方案
- 利用阿里云镜像在ubuntu上安装Docker
- 如何将Ubuntu Kylin(优麒麟)19.10系统升级到20.04版本
- Ubuntu 16.10内部代号确认为Yakkety Yak
- 如何在win11的wsl上装ubuntu（怎么在windows上安装ubuntu）
- Win11学院:如何在Windows 11上使用WSL安装Ubuntu
- 如何查看Linux的IP地址（如何查看Linux的ip地址）
- 怎么看电脑系统?（怎么看电脑系统配置）
- 如何查询 Linux 内核版本?这些命令一定要会!
- 深度剖析:Linux下查看系统版本与CPU架构
- 标签列表
-
- navicat无法连接mysql服务器 (65)
- 下横线怎么打 (71)
- flash插件怎么安装 (60)
- lol体验服怎么进 (66)
- ae插件怎么安装 (62)
- yum卸载 (75)
- .key文件 (63)
- cad一打开就致命错误是怎么回事 (61)
- rpm文件怎么安装 (66)
- linux取消挂载 (81)
- ie代理配置错误 (61)
- ajax error (67)
- centos7 重启网络 (67)
- centos6下载 (58)
- mysql 外网访问权限 (69)
- centos查看内核版本 (61)
- ps错误16 (66)
- nodejs读取json文件 (64)
- centos7 1810 (59)
- 加载com加载项时运行错误 (67)
- php打乱数组顺序 (68)
- cad安装失败怎么解决 (58)
- 因文件头错误而不能打开怎么解决 (68)
- js判断字符串为空 (62)
- centos查看端口 (64)