GHOST系统之家 - Windows系统光盘下载网站！
深度系统|雨林木风|番茄花园|萝卜家园|系统之家|电脑公司
首页Win10系统Win8系统Win7系统WinXP系统
系统文章
当前位置：GHOST系统之家>电脑问题 > 一日一技：Selenium 抓不到的内容

一日一技：Selenium 抓不到的内容

来源：Ghost系统之家浏览：时间：2022-10-13 12:20:29

有一些同学在写爬虫的时候，过于依赖 Selenium，觉得只要使用模拟浏览器，在不被网站屏蔽的情况下，就可以爬到任何内容。

今天我们不讨论字体反爬虫和 CSS 反爬虫这两种情况。我们来看一段非常简单的网页。这个网页只有一个HTML 文件，不加载特殊字体，不加载 CSS文件。

这个网页的奇怪之处在哪里呢?我们试一试使用 XPath Helper 来提取网页上面的红色文字，发现XPath 竟然无法找到这段文字，如下图所示：

然后我们使用 Selenium 来试一试：

Selenium果然无法获取 红字到内容。我们再打印一下网页的源代码：

这一次，Selenium 获取到的源代码，竟然跟 Chrome 开发者工具里面显示的源代码不一样?

这个问题的关键，就在开发者工具里面的这样一段文字：

因为这个节点是一个shadow DOM[1]。shadow DOM 的行为跟 iframe很像，都是把一段HTML 信息嵌入到另一个HTML中。但不同的是，iframe被嵌入的地址需要额外再搭建一个 HTTP服务，而 shadow DOM 可以只嵌入一段 HTML 代码，所以它比iframe更节省资源。

在上面的截图中，通过下面这三行代码，我们把一个新的

标签嵌入到了原来的 HTML 中：

而这个被嵌入的影子标签，就像 iframe 一样，是无法直接使用 Selenium 提取的。如果强行提取，那么，我们需要使用 JavaScript获取shadow DOM，然后再进行提取。我们来看一段可以正常工作的代码：

运行效果如下图所示：

这段代码，首先通过 JavaScript 找到shadow-root的父节点元素，然后返回这个元素的.shadowRoot属性。在Python里面拿到这个属性以后，使用.find_element_by_class_name()方法获取里面的内容。

要特别注意的是，拿到shadow-root节点以后，只能通过 CSS 选择器进一步筛选里面的内容，不能用 XPath，否则会导致报错。

参考资料

[1]

shadow DOM:https://developer.mozilla.org/zh-CN/docs/Web/Web_Components/Using_shadow_DOM

本文转载自微信公众号「未闻Code」，可以通过以下二维码关注。转载本文请联系未闻Code公众号。

标签：浏览器爬虫Selenium

推荐系统

  • 番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载

    番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载

    语言：中文版系统大小：3.91GB系统类型：Win7

    欢迎使用 番茄花园 Ghost Win7 x64 SP1 2022.07 极速装机版 专业装机版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件，集成最全面的硬件驱动，精心挑选的系统维护工具，加上独有人性化的设计。是电脑城、个人、公司快速装机之首选！拥有此系统

  • 番茄花园 Windows 10 极速企业版 版本1903 2022年7月(32位) ISO镜像快速下载

    番茄花园 Windows 10 极速企业版 版本1903 2022年7月(32位) ISO镜像快速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    番茄花园 Windows 10 32位极速企业版 v2022年7月 一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过程中自动激活

  • 新萝卜家园电脑城专用系统 Windows10 x86 企业版 版本1507 2022年7月(32位) ISO镜像高速下载

    新萝卜家园电脑城专用系统 Windows10 x86 企业版 版本1507 2022年7月(32位) ISO镜像高速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    新萝卜家园电脑城专用系统 Windows10 x86企业版 2022年7月 一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过程

  • 笔记本&台式机专用系统 Windows10 企业版 版本1903 2022年7月(32位) ISO镜像快速下载

    笔记本&台式机专用系统 Windows10 企业版 版本1903 2022年7月(32位) ISO镜像快速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    笔记本台式机专用系统 Windows 10 32位企业版 v2022年7月 一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过

  • 笔记本&台式机专用系统 Windows10 企业版 版本1903 2022年7月(64位) 提供下载

    笔记本&台式机专用系统 Windows10 企业版 版本1903 2022年7月(64位) 提供下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    笔记本台式机专用系统 Windows10 64专业版 v2022年7月 一、系统主要特点： 使用微软Win10正式发布的专业版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过程中自动

  • 雨林木风 Windows10 x64 企业装机版 版本1903 2022年7月(64位) ISO镜像高速下载

    雨林木风 Windows10 x64 企业装机版 版本1903 2022年7月(64位) ISO镜像高速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    新雨林木风 Windows10 x64 企业装机版 2022年7月 一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过程中自动激活

  • 深度技术 Windows 10 x64 企业版 电脑城装机版 版本1903 2022年7月(64位) 高速下载

    深度技术 Windows 10 x64 企业版 电脑城装机版 版本1903 2022年7月(64位) 高速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    深度技术 Windows 10 x64 企业TLSB 电脑城装机版2022年7月 一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过程

  • 电脑公司 装机专用系统Windows10 x64 企业版2022年7月(64位) ISO镜像高速下载

    电脑公司 装机专用系统Windows10 x64 企业版2022年7月(64位) ISO镜像高速下载

    语言：中文版系统大小：3.98GB系统类型：Win10

    电脑公司 装机专用系统 Windows10 x64 企业TLSB版2022年7月一、系统主要特点： 使用微软Win10正式发布的企业TLSB版制作； 安装过程全自动无人值守，无需输入序列号，全自动设置； 安装完成后使用Administrator账户直接登录系统，无需手动设置账号。 安装过

相关文章

热门系统

热门文章

常用系统

GHOST系统之家发布的内容均来至互联网或用户投稿,仅供个人学习使用，不得用于任何商业用途并请在下载后24小时内删除,如果满意请联系版权方购买。

Copyright © 2022-2028 Ghost系统之家 www.win864.cn 系统/软件/文章投稿请联系 邮箱：web2028$foxmail.com($换@)

如果您发现本站侵害了您的版权，请立即联系我们，本站将第一时间进行相关处理。