用网易易盾内容审核系统,修炼出的鉴黄师“读心术”
什么是鉴黄师?
在《2019网易易盾内容安全智能体系发布会》的现场,主讲台上的大屏幕中展示了这样一段街拍内容——一名主持人正随机拦住路人,并向他们逐一询问上述这一问题:
被问到的第一位“幸运观众”是位漂亮的小姐姐,当听到这个问题,她噗嗤一声笑了出来,上扬的嘴角似乎蕴含着百般回味。
紧接着,被询问的是一名清洁工伯伯。听到这个问题,他将半挂在脸上的口罩重新戴上,支支吾吾回了一句:“这个......是高科技,我只是个清洁工。”
第三位受访者,是位年轻气盛的小哥。当面对美女主持人的提问时,直接羞红了脸,却故作镇定地问道:“除了要看很多......资料,还有啥其他的吗?原来网易还有这个职位的吗?(恍然大悟)”
屏幕对面,熙熙攘攘的与会嘉宾对话声中传出阵阵嬉笑声。显然,这街拍内容是说到心坎里去了......
实际上,在网易易盾内部,鉴黄师这份工作又被称之为内容审核专员。然而,从事着这份职业的人们,似乎并不像我们想象中那样,每天过着“快活似神仙”的生活。
其实,内容审核并不像一般人们认为的只有鉴黄这一种。更多时候,他们所面对的是黄色、暴力、涉恐、等高敏感度的信息,更忍受着长期精神和身体上的创伤。然而,内容审核的漫漫长征路这才算刚刚开始。
借助此次大会,网易易盾产品总监饶晓艳向我们分享了她眼中那些内容审核人员的血泪史,并为突破种种人工审核难点推出了全新解决方案——智能内容审核管理系统。
其实,这一系统原本是网易内部使用的内容审核工具,随着这次发布会的亮相,也意味着该系统将正式对外开放。So,为啥网易易盾要选这个时间开放自己的内容审核管理系统?好不好用、有啥功能......
一块压垮人工审核的巨石
人工智能技术的发展,为很多行业带来便利。面对专一性较强的工作,这类机器在准确度、效率和持久性上完胜人类。
然而,它们偏偏拿内容审核没辙。
以鉴黄师为例,人工智能的鉴定只能将海量视频/图片中的疑似黄色内容筛选出来,它可以将审核范围从无边无际中圈出一个范围,但并不能像人一样理解每张图片中内容的准确含义。
试想,一张屁股的图片,如果整张拿给AI去识别,它准能认出这个少儿不宜。然而,如果我将图片切成四份并打乱顺序呢?如果是人,你那颗机智的大脑会立即还原出这张照片的原貌,而AI不行。
网易易盾CTO朱浩齐称,随着内容产量、形态的骤增,黑灰产也在不断学习和进化。很多时候他们会故意放出一些敏感内容来试探我们的AI审核机制,再在摸清规律后对图片进行处理。
他们试图将敏感位置做极小面积的覆盖,或干脆将图片切割成若干分,并在每张插入一个小的色情图片......只要与之前的鉴别逻辑不符,很容易骗过机器的眼睛。
解决问题的最简单办法,就是上肉眼。
然而,随着内容生产量的骤增、用户体验及负面事件风险提高以及审核标准严苛细化,各种各样非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。
一方面,在国内,主流的社交媒体平台的审核人员都达到上千人以上的规模;而在国外,Facebook在自有算法的情况下人工审核团队达到1.5万人,youtube在谷歌大脑算法支持的情况下同样在2018年审核团队达到了一万人。
由此可见,人机协同仍是未来很长一段时间的审核模式。然而,人毕竟不是机器,而是有血有肉的生命。
另一方面,内容商往往希望运营部门保障用户体验,不能让用户的等待时间过长。尽管人人皆知安全第一,但人工审核势必难以在这条先审后发抢夺用户的赛道上取得好成绩。
这意味着每天会有大量UGC的内容产生,人工审核与需求量不成正比。
当一目十行已经太少,需求量变成一目百行、一目万行的时候,对于人工审核又快又准的最低标准便显得近乎苛刻。
更何况,即使是人工审核,也会遇到对某些内容束手无策的时候。
今年12月,Facebook宣布拨款1.3亿美元建独立“删帖法庭”。用小扎的话说,在我们很难凭借一己之力来判断一个内容是否该被删除时,除了通过建立一个类似“最高法庭”的机构来决定,我们别无他法(扎克伯格成会邀请美国各界人士加入“删帖法庭”以保证公正性)。
很多内容的含义并不能用标签化的方式来判断,这是人工审核容易犯难的地方,而除了鉴别各类内容,人工审核还不得不应对杂乱无章的审核管理体系,这对于加快人工审核速率没有一点帮助。
会议现场,某社交平台的工作人员向透露,自己每天要在三个审核管理平台进行交替作业:首先是头像昵称审核,再者是登录视频审核平台,如果收到举报还要再登录一个举报审核后台......
有1000个产品就有1000+个审核后台,这种感受,要比你把登了QQ登微信重复上万遍更崩溃,又何谈高效、准确的审核内容呢?
在饶晓艳看来,上述问题的背后体现的是业务需求先行,审核需求处于滞后的现状。归根结底,是快速发展的内容平台、日趋严苛的审核标准跟陈旧的审核系统之间的一种矛盾。审核系统没有专门的设计开发,不会考虑用户体验或者效率多少,这正是产生问题的原因所在。
打造人工审核的“助力装置”
打造全新的审核系统,无异于推到一栋楼重头再来。
饶晓艳在接受独家采访时称,对技术人员来说,真的没人希望再做一次审核系统,这意味着以前的审核系统架构要完全推翻,根据新的审核需求重新定义整个系统,从底层重新来过。
然而,今天公布的智能审核管理系统已经是网易易盾对内推出的第三代审核系统了,再加上第一代的审核后台和第二代的多媒体审核系统,一同刻画出网易不同阶段对内容审核需求的诸多转变。
早期,这一系统并没有对外公开的计划。
但正如上述,在饶晓艳团队走访的众多客户中,他们听到了与网易内部需求类似的声音——审核人员和主管都十分关心审核系统是否能让业务有更好的审核效率,以及怎样能帮助节省成本。
基于以上,网易易盾决定将内部使用的这套审核管理工具产品化。至于究竟要打造怎样的审核系统,细细品味起来侧重点则是有点当初微软打造第一个电脑操作系统的感觉。
面对凌乱、繁杂的各种审核系统,网易易盾一方面希望自己的产品具备高集成度和开放性,另一方面更希望操作、视觉能在审核人员、弱势群体和无经验工作者面前体现出极度的界面友好。
那么,它们打算如何实现这些设想呢?
首先,是全面丰富。这是指审核管理系统容纳包含音视频内容、图片内容和文本内容的全生命周期的审核链路。
在此基础上,加入了极速审核、分类审核、二审模式、质检审核、全量审核以及部分审核的多选择,以应对适配不同审核时效、多重审核流程和不同进审核要求。
其次,是智能高效。是指各个审核逻辑都建立在智能引擎推动的前提之下,这是节省人力成本的关键,也是打造友好界面的关键(之后会提到)。
一方面,人工智能作为初期的审核工具,依据标签、模型算法,可以按照审核需求(业务、管理制度等)对内容进行聚列,并自动生成数据报表,以方便人工就单一特征进行定向审核(一般要求审核人员20分钟出帖)。
再者,是轻量灵活。俗话说办法总比困难多,面对层出不穷的新问题,定制化模块可以解决针对特有客户的需求进行专门设计。
然而,原本定义高集成度的审核管理系统,如果再加上无数个定制模块,这是否会让整个系统再次变得臃肿不堪呢?
饶晓艳认为,定制化模块并不意味着只能解决某家企业的单一问题。新的模块对应的一定是一个群体的共同需求,而随着市场需求量的不断增大,该模块则会直接被并入整个系统当中,毕竟这要比做第四个审核系统来的容易。
最后,是有温度。
人工审核有多难做?来,看一张图就能说明所有问题:
要求:请在10分钟内,从以下显示器的图片中,找出所有戴毛线帽子未成年小眼睛男性的照片。
让审核管理系统变得更友好,首先就是做好交互设计。
以审核直播电视墙画面为例,从产品化角度考虑,一个显示屏的审核目数越多,越有利于降低成本,提高审核效率,但势必会造成质量下降。
解决这一问题,易盾团队首先选择了几家内容厂商进行蹲点跟踪调查,并在百度百科上参考了浏览器审核可分辨极限值。
调查结果显示:正常人的最少可辨视觉阈值约0.5,即针对22寸19201080分辨率的显示器,人眼在显示器上可分辨最小像素值范围为9.81-16.23px,针对24寸19201080分辨率的显示器,人眼在显示器上可分辨最小像素值范围为9.39-15.53px。
最终,得出的结论是——显示器审核方式下,屏幕可分辨范围在10-15xp之间,是最小视觉可分辨范围,也就是说直播视频审核画面在9路、12路和16路是最舒适人眼的审核画面,这在交通监控后台中十分常见。
然而,面对海量的内容审核需求,这样的审核路数一定无法满足需求。对此,更多内容厂商会使用38路、56路(甚至更高)审核的画面。那么,该如何实现人工审核的舒适度与工作效率并驾齐驱呢?
饶晓艳称,人工智能引擎的应用,可以在多路数显示器上进行现有画面的自动审核,并通过提亮显色对高危、中危等不同程度的内容审核做出提示,以达到对舒适区之外可能遗漏的问题内容进行强提醒。
但人终究是要休息的,因此在系统中内置定时休息的提醒功能也十分有必要,这不光可以对审核人员起到保护作用,更有利于保障审核工作的常效执行。
其次,是趣味化。正如开篇提到的,审核内容并不像一般人们认为的只有鉴黄这一种。更多时候,他们所面对的是黄色、暴力、涉恐等高敏感度的信息。
为了达到适当调节审核人员精神的目的,该系统加入了勋章体系、积分体系和梦想体系,以此达到让评比、排名等高竞争力的信息的显示方式更加趣味化,促进人员成长体系的完善。
最后,网易易盾认为内容审核系统的升级,不光是品牌驱动、产品需求的刚性体现,更应该满足社会需求。因此,该系统内置了无障碍辅助设计,可以支持残障人士完成审核任务。
目前,网易易盾面向未来的第三代智能审核系统1.0版本已经上线,未来将会以一周一迭代的速度进行持续更新。
花絮
大会之后,对饶晓艳进行了简单专访,以下为对话整理:
1、为什么审核管理系统的功能会在最后落实到“有温度”这块?
饶晓艳:体验舒适为导向,一方面来自于对人工审核性质的考虑,更多的还是基于客户的需求推动。在我们与客户的交流过程中,审核人员的身体、心理健康程度是直接影响审核结果和收益的重要组成部分。
未来,我们还将为无障碍辅助系统加入例如多语言切换等各种新的功能支持,以降低内容审核的成本。
2、您刚才有提到小扎建立“删帖法庭”的事情,在国内有类似的机构吗?如果各界人士都参与其中,这是否会成为新的节省人工的解决方案?
饶晓艳:首先,在国内网易易盾发起了内容安全联盟,其作用是当某产品的用户对内容进行投诉,但并没有得到任何的回应,这时该用户可以转诉给内容安全联盟,并由其联盟成员对该内容是否违规进行判断。
这种模式,并不能减缓厂商对于人工审核的大量需求。
第三方联盟的存在,主要是为了处理一些争议性较强的内容,其不保证及时性。对于内容厂商来说,快速、高效、准确、合规是内容审核的最大难点,“删帖法庭”的类似机构并不能有效解决这些问题。
即使启用了第三方审核,也能达到审核的相应标准,那这种服务一定是走付费标准的,不会从解决纷争的角度来处理这件事,这会增加厂商的审核成本。
3、一般视频、图片和文本不同方向的客户,哪一个在内容审核时需要的人力成本更高?
饶晓艳:这个没有办法以一概全。从审核效率来衡量,图片、视频的审核效率要高于文本,视频、图片的审核,归根结底都是图片的审核。相比文本审核,视频、图片的审核速度会高1倍多。
其主要原因在于审核方式的不同,图片的审核,在AI的加成下可以根据其特征、类型和内容导向做到批量审核,尽管文本也可以做聚类分析,但更需要人眼逐字逐句看过并参悟其含义,一目几百行的情况是不存在的。
推荐系统
电脑公司Ghost Win8.1 x32 精选纯净版2022年7月(免激活) ISO镜像高速下载
语言:中文版系统大小:2.98GB系统类型:Win8电脑公司Ghost Win8.1x32位纯净版V2022年7月版本集成了自2022流行的各种硬件驱动,首次进入系统即全部硬件已安装完毕。电脑公司Ghost Win8.1x32位纯净版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,精心挑选的系统维护工具,加上绿茶独有
微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载
语言:中文版系统大小:5.13GB系统类型:Win11微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Win11 64位 Office办公版(免费)优化 1、保留 Edge浏览器。 2、隐藏“操作中心”托盘图标。 3、保留常用组件(微软商店,计算器,图片查看器等)。 5、关闭天气资讯。
Win11 21H2 官方正式版下载_Win11 21H2最新系统免激活下载
语言:中文版系统大小:4.75GB系统类型:Win11Ghost Win11 21H2是微软在系统方面技术积累雄厚深耕多年,Ghost Win11 21H2系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Ghost Win11 21H2是微软最新发布的KB5019961补丁升级而来的最新版的21H2系统,以Windows 11 21H2 22000 1219 专业版为基础进行优化,保持原汁原味,系统流畅稳定,保留常用组件
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
相关文章
- 升级Win8.1后C盘越来越大怎么办?
- 微信惊现远程任意代码执行漏洞badkernel 附自检方案
- 世界上最大的黑客 Party,有关“DEFCON”的十个冷知识
- 一次实战之 JSONP 漏洞
- 安装量超过1亿的40款应用程序被发现泄漏AWS密钥
- 后续 | 为何正义的黑客不能帮你找回被扒的iPhone
- 阿里20载磨一剑:为数字基建搭新安全架构培养人才
- 这些线程安全的坑,你在工作中踩了么?
- ParallelStream的坑,不踩不知道,一踩吓一跳
- 不小心误删文件怎么恢复?详细方法步骤
- APACHE OFBIZ XMLRPC远程代码执行漏洞分析
- win10更改网络适配器空白怎么解决
- 恶意攻击仍占数据泄露的 64%
- 各种加密方案分析
- 局域网故障怎么排除?
- Ubiquiti提醒客户注意数据泄露问题
- 神秘APT组织锁定(IIS)Web服务器,擅长规避恶意软件检测
- 商用WiFi如何在三四线城市挣到钱?
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 4雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
常用系统
- 1《GHOST XP SP3 电脑商客户装机版 V9.0》FAT32 下载
- 2笔记本&台式机专用系统 Windows10 企业版 2019年6月(64位) 提供下载
- 3风林火山Ghost Win7 32位国庆特别旗舰版下载V2023.10
- 4深度技术Ghost Win10x86 精选专业版 v2023.01免费下载
- 5WINDOWS 10官方预览版9841 (64位/32位) 下载
- 6深度技术 Ghost WinXP SP3 专业稳定版下载_深度技术 Ghost WinXP SP3 专业版安装下载V2023.
- 7深度系统 win10 32位专业版 v2023系统下载
- 8联想笔记本Windows7旗舰版下载_联想Win7 OEM旗舰版系统下载
- 9番茄花园 GHOST WIN10 X64 完美装机版 V2019.12 下载
- 10技术员联盟Win7旗舰版下载_技术员联盟Win7 64位永久激活版下载V2023.07