合理规制、加强规范 不让网络爬虫变“害虫”
近年来,随着移动互联、人工智能、大数据、云计算等新技术的迅速发展与普及应用,人们的工作、交往和生活方式都发生了深刻变化,数据成为驱动社会发展的新型生产要素、各行各业增强竞争力的重要源泉。但在大数据收集过程中,也存在着各种违法犯罪问题。网络爬虫(WebCrawler)作为一种能快速精准地获取数据信息的基础性网络技术,近年来得到了越来越多的青睐和应用。如何对其进行规制,驱动其向好向善,成为当前重要的法治议题。
“小爬虫”的“大角色”
网络爬虫,又称为“网页蜘蛛”“网络机器人”,是一种按照一定的规则,自动抓取网络信息的程序或者脚本。它能在特定程序的驱动下,模仿人工点击从网站、手机应用、小程序或搜索引擎中检索、提取、存储数据。我们可以形象地将它们理解为一种爬行在网络上的蜘蛛,它们根据程序的指令,通常沿着URL(网址)这根蛛丝,在互联网这张大网上爬来爬去,寻找和带回所需要的数据资源。我们熟知的百度、搜狗、谷歌等搜索引擎,其技术核心元素之一就是“网络爬虫”。例如百度蜘蛛,它通过互联网入口爬取网页,实时存储并更新索引,然后为用户提供检索服务。
自从1993年第一个网络爬虫程序——“互联网漫游者”被开发出来,网络爬虫这种便捷高效的搜索技术便得到了业界关注。特别是随着数据资源的爆炸式增长,网络爬虫的应用场景也变得越发广泛与多元,长期活跃于市场调查、产品研发、金融分析、舆情监控、风险预测等领域。近年来,一些运用爬虫技术为客户提供数据服务的互联网企业,也获得了快速发展。对个人而言,我们可以利用爬虫软件等计算机编程语言,让网络爬虫为自己服务。例如想买到理想的房子,就可爬取房产中介的公开信息,分析房源数据与趋势以辅助决策。
网络的本质与价值在于连接,核心是实现数据的流动与分享。网络爬虫作为数据抓取的技术工具,通过爬行增强了网络节点间的联络,提升了网络的整体价值,是构建互联网开放与共享理念的重要技术基石。但网络爬虫所行之处,并非总是鲜花和掌声,特别是涉及隐私领地和网络安全之时。因此,为了规范爬虫,维护网络秩序,1994年诞生了“robots.txt协议”,该协议虽然只是一个“君子协议”,但它逐渐被视为网络空间爬虫技术应用公认的行业准则,也成为判定爬取行为是否获得网站许可的主要依据。在2014年百度公司诉奇虎360违反robots协议案中,法院在判决时就认为,被告没有遵守原告网站的robots协议,其行为明显不当,应当承担相应的不利后果。
科技异化:“好爬虫”和“坏爬虫”
科技本身是一种中立性工具,向善向恶、合法与非法,关键在于使用者的选择。原本通过robots协议,一方获得了数据与信息,一方增加了流量与关注,皆大欢喜。但robots协议能防“君子”却难防“小人”,有些爬虫程序不遵守规则,随心所欲地爬取别人不愿意分享的数据信息,并大量挤占服务器资源,变成了“网络害虫”。例如近年来一些大数据风控公司利用爬虫技术,在网络上非法收集用户个人信息并转卖给第三方,借以谋取经济利益。
网络爬虫设计的初衷是通过计算机技术,自动为网站编纂索引,更新信息,为用户提供高效的检索服务。具有访问、下载和解析(对数据进行分析与筛选)三种基本功能。目前,爬虫作恶主要是对前两种功能的异化,体现为三类作恶方式。
一是恶意抓取非授权数据。访问数据是“网络爬虫”的行为起点,也是其价值本源,一些企业或个人为了经济利益或其他特殊目的,想方设法让网络爬虫突破道德规则与技术障碍(网站“反爬虫”措施),爬取未经授权或超过授权范围的数据。例如2018年2月至4月间,马某通过编写“爬虫”程序,窃取手机应用及网站的用户信息约20万条,然后通过微信出售给他人,非法获利共计2.4万元,这种行为就构成了侵犯公民个人信息罪。
二是恶意侵犯知识产权。一些网络爬虫在数据爬取过程中,未经版权方的许可,就下载、复制或传播文字、图片和视频等内容,并以此获利。通常形式是,爬虫对具有版权归属的文学或影视作品等设置加框链接,吸引用户点击,然后通过售卖广告等形式牟利。例如段某建立的“窝窝电影”网站,利用爬虫技术对多家视频网站的500余部影视作品设置了加框链接,吸引用户点击播放,并赚取广告费100余万元,这种行为就触犯了著作权法。
三是恶意扰乱系统运行。网络爬虫访问系统时,跟人工点击原理一样,因此当巨量爬虫同时访问某一网站时,就会占用大量的带宽资源,造成服务器不堪重负甚至崩溃。业内专家表示,2019年有近40%的网络流量来自爬虫,其中20%来自恶意爬虫,而且比例还将不断上升。出行行业即是重灾区。以中国铁路“12306网站”为例,自2011年上线运营以来,春运期间多次出现因爬虫(主要是抢票软件)攻击而无法访问的情况。据统计,2018年春运期间,网站最高峰时1天内页面浏览量达813.4亿次,其中近90%是“爬虫”所为。
合理规制,让“爬虫”向善向上
据统计,截至2020年12月,我国网民规模达9.89亿。增强网络空间治理,保障个人信息和数据安全,已成为重大的时代命题。
目前我国对网络爬虫的规制还没有专门的法律法规,主要依靠民法典、反不正当竞争法、著作权法、网络安全法以及刑法中的相关法律条款。但从法律规制效果来看,情况不容乐观。一方面是由于互联网技术的快速发展,以及网络所具有的开放性、虚拟性和流动性等特征,让对违法犯罪行为的监管和证据提取较为困难,特别是随着数据抓取从网页拓展至手机应用程序、小程序等移动端平台,抓取手段就更加复杂与隐蔽;另一方面是网络世界和数字服务发展迅猛,法律法规还具有较大的滞后性,司法实践对网络爬虫技术滥用引发的法律问题缺乏足够的司法经验,而相关的司法解释亦未能予以足够关注,难以形成有效规制。例如2017年今日头条与新浪微博之间因“微头条”业务同步“微博”发言内容的纠纷案例,其实质是数据权属难以确定的问题。但由于缺乏明确的司法解释指引,引发了实践中的普遍争议。
2019年5月,国家互联网信息办公室公布了《数据安全管理办法(征求意见稿)》,该办法专门针对利用网络开展数据收集、存储、传输、处理、使用等活动进行了规制,有望对网络爬虫等技术行为进行有效治理。该办法强调,国家坚持保障数据安全与发展并重,鼓励研发数据安全保护技术,积极推进数据资源开发利用,保障数据依法有序自由流动。这也提醒我们,网络爬虫等本质上是顺应数字经济发展需求而生,既要从法律层面高度重视,也要把握好法律规制的边界,力求达到数据利用与合理规制之间的良性平衡,以便让网络技术更好地服务经济社会与人民生活,助推数字中国建设。
推荐系统
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载
语言:中文版系统大小:3.91GB系统类型:Win7欢迎使用 番茄花园 Ghost Win7 x64 SP1 2022.07 极速装机版 专业装机版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,集成最全面的硬件驱动,精心挑选的系统维护工具,加上独有人性化的设计。是电脑城、个人、公司快速装机之首选!拥有此系统
番茄花园 Windows 10 极速企业版 版本1903 2022年7月(32位) ISO镜像快速下载
语言:中文版系统大小:3.98GB系统类型:Win10番茄花园 Windows 10 32位极速企业版 v2022年7月 一、系统主要特点: 使用微软Win10正式发布的企业TLSB版制作; 安装过程全自动无人值守,无需输入序列号,全自动设置; 安装完成后使用Administrator账户直接登录系统,无需手动设置账号。 安装过程中自动激活
新萝卜家园电脑城专用系统 Windows10 x86 企业版 版本1507 2022年7月(32位) ISO镜像高速下载
语言:中文版系统大小:3.98GB系统类型:Win10新萝卜家园电脑城专用系统 Windows10 x86企业版 2022年7月 一、系统主要特点: 使用微软Win10正式发布的企业TLSB版制作; 安装过程全自动无人值守,无需输入序列号,全自动设置; 安装完成后使用Administrator账户直接登录系统,无需手动设置账号。 安装过程
相关文章
- 精致派如何保护自己的耳机 小编浅谈耳机养护注意事项
- 腾讯与中国联通发布物联网SIM卡 主打用户身份鉴权
- 路由器被黑客蹭网后有什么危害?路由器被恶意陌生人连接后怎么办?
- Black Hat USA 2020 | 值得关注的11家热门初创企业
- 如何量身打造恶意软件分析环境(下篇)
- 周鸿祎有了新目标:应对网络战
- WinXP系统连接网络提示“Windows找不到证书”的解决方法
- 戴尔latitude怎么打开无线网络-无线网络在哪打开
- 取证分析之 OpenSSH Session 信息解密
- Windows 10曝HTTP协议漏洞 可导致蓝屏 本月补丁已修复
- 8年开发,连登陆接口都写这么烂...
- 不是科幻:如果你的肢体动作信息也能记录下来
- 网易云音乐iOS版2.9.0更新上架:主要修复XcodeGhost漏洞
- XP系统开机显示“网络上有重名”怎么解决?
- 分析锁机APP过程(附解锁工具)
- DMARC:企业邮件信息泄漏应对之道
- 别大意 解锁数据价值要先防泄漏
- 2020季度报告:除传统DDoS攻击,研究人员观测到各种异常流量模式
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 4雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
- 1迅雷云播“手机看片神器”使用教程(随时随地秒速离线云播放)
- 2微信公众号怎么年审? 微信公众号年审流程及所需材料介绍
- 3Win10怎么设置网络按流量计费 Win10网络设置流量收费教程
- 4Steam提示“需要在线进行更新,请确认您的网络连接正常”怎么办?
- 5i7 6700主频是多少 i7-6700参数详解
- 6安卓手机安装运行win7系统教程 安卓手机装win7系统教程
- 7win7蓝屏代码7f指什 怎么解决 很严重
- 8二手笔记本电脑价格是多少 二手笔记本电脑价格盘点
- 9华硕b460主板装win7系统及bios设置教程 10代CPU安装Win7教程 BIOS设置 U盘启动 完美支持USB驱动
- 10bitlocker是什么
常用系统
- 1雨林木风系统 Ghost XP SP3 装机版 YN2020年12月 ISO镜像高速下载
- 2新萝卜家园Ghost Win8.1 X64位 纯净版2020年10月(自动激活) ISO镜像高费下载
- 3番茄花园 Windows 10 官方企业版 2019年10月(64位) ISO高速下载
- 4番茄花园 Ghost XP SP3 海量驱动装机版 2021年12月 ISO镜像高速下载
- 5新萝卜家园 Ghost XP SP3 电脑城极速装机版 2018年8月 最新版ISO镜像下载
- 6新萝卜家园电脑城专用系统 Windows10 x64 企业版2020年3月(64位) ISO镜像免费下载
- 7电脑公司 装机专用系统Windows10 x64 企业装机版 版本1507 2021年9月(64位) ISO镜像高速下载
- 8新萝卜家园 Ghost XP SP3系统 电脑城极速纯净版 2019年1月 ISO镜像下载
- 9深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 10电脑公司 装机专用系统Windows10 x64 企业版2020年12月(64位) ISO镜像高速下载