云盾内容安全：智能时代的内容安全 易盾是如何落地的

云盾内容安全：智能时代的内容安全 易盾是如何落地的网易易盾产品总监饶晓艳也正是在网易安全能力商业化的前夕，饶晓艳加入了网易易盾团队。接下来的三年，饶晓艳见证了网易易盾品牌诞生和内容安全成为领域弄潮者的过程，也深刻认识到20多年技术积累的重要性。2016年，中国网民规模达6.68亿，却有55.18%的网民曾遭遇网络诈骗；83.48%的网民网上支付行为存在安全隐患。显然，互联网时代的飞速发展越来越多的网络安全问题日益突显出来。大背景下，众多内容安全问题也相继浮出水面——包括门户网站、社区论坛、社交平台、短视频在内的479万家网站输出了海量UCG内容。以2017年8月来看，全国各地网信办受理网民举报386万件；广告信息占比最高71.8%。随着国家对于内容安全监管力度的持续加大，行业急需可行方案来解决这“疑难杂症”。2016年时，网易安全在互联网界已是17岁“高龄”了。正值“老当益壮”的网易安全决定把其自身的技术沉淀和实践云化并对外提供服务，从而

本文来自：雷锋网

作者：灵火K

1999年，出于对网易内部产品安全保护的需求，网易成立了安全部，那时候饶晓艳还没有加入网易，而网易易盾更是还没“出生”。当时的她不会想到，17年后的自己将与网易易盾结缘。

“那会儿，人们对于网络安全还没有概念，更没人知道什么是内容安全。很长一段时间里，网易安全部仅仅是支撑和保障内部多款亿级用户产品安全的。”

2016年，中国网民规模达6.68亿，却有55.18%的网民曾遭遇网络诈骗；83.48%的网民网上支付行为存在安全隐患。显然，互联网时代的飞速发展越来越多的网络安全问题日益突显出来。

大背景下，众多内容安全问题也相继浮出水面——包括门户网站、社区论坛、社交平台、短视频在内的479万家网站输出了海量UCG内容。以2017年8月来看，全国各地网信办受理网民举报386万件；广告信息占比最高71.8%。随着国家对于内容安全监管力度的持续加大，行业急需可行方案来解决这“疑难杂症”。

2016年时，网易安全在互联网界已是17岁“高龄”了。正值“老当益壮”的网易安全决定把其自身的技术沉淀和实践云化并对外提供服务，从而推出了——“网易易盾”这个品牌，内容安全是其主打的产品服务。

也正是在网易安全能力商业化的前夕，饶晓艳加入了网易易盾团队。接下来的三年，饶晓艳见证了网易易盾品牌诞生和内容安全成为领域弄潮者的过程，也深刻认识到20多年技术积累的重要性。

网易易盾产品总监饶晓艳

追忆网易易盾的成长

看一个事物，人总是喜欢问这样一个终极问题：“你是谁，你从哪里来？又要到哪里去？”如果谈网易易盾，也绕不开这些。

易盾的内容安全服务，实际上是源于网易安全部支撑内部多个亿级用户的内容型产品的技术项目，在2016年网易安全部正式把对内的服务商业化，对外提供服务，品牌定为“易盾”。

经过短短三年的发展，网易易盾第三代内容安全服务提供鉴黄、涉政、暴恐、广告等数十大类近千小类的有害内容智能识别过滤服务，智能识别精准率超过99.8%，每天检测信息上十亿条，服务互联网企业数千家。作为国内最早把内容安全作为一个品类单独对外提供服务的云服务（市场初期有“信息过滤”、“敏感词过滤”、 “反垃圾”等五花八门的称呼，后都改为“内容安全”），网易易盾其知名度和市场占有率，在行业内领先。

想必很多人都好奇一点，原本好好对内提供服务的安全业务，基于什么契机把它商业化？时间点上，为什么是2016年？

网易易盾产品总监饶晓艳说，主要是四个方面，简单来讲：一个是法律法规的完善和人们对内容安全的意识觉醒；另外个是海量的内容遇上信息的实时传输和传播，使得过去人工的审核方式适应不了时代的要求；再一个是云计算的流行和人工智能技术的逐步成熟，使得内容安全能够作为一个商业化项目去运作；而更重要的一点则是，内容安全在网易内部已经很成熟了，由于服务了包括网易新闻、网易Lofter、网易云音乐等多款用户过亿的产品，“反垃圾”经验和数据也积累了将近20年，效果经历了实践验证。

20年里，从项目诞生到成为内容安全行业内的领先者，网易易盾的内容安全服务一共经历了三次大的技术进化：

第一代内容安全技术是建立在关键词、黑白名单、过滤器和分类器上；

第二代内容安全技术基于内容特征识别（肤色、纹理）、贝叶斯过滤、相似度匹配和规则系统；

第三代则升级为大数据分析（用户行为、用户分类）、人机识别、人工智能和机器学习（语义识别、图像识别）。

在这次长达两个小时的采访中，饶晓艳——这位易盾商业化产品的“操盘手”和雷锋网分享了，从产品角度易盾内容安全服务所经历的四个历史阶段：

纯文本垃圾阶段。饶晓艳称：“在互联网不是很发达的早期，网易易盾的内容安全服务只对内服务，当时主要以筛选文本垃圾的功能为主，使用了关键词、黑白名单、过滤器和分类器等实现垃圾文本的过滤。”

图文垃圾阶段。在移动互联网开始发展前后，内容传播的形式更加丰富。“图片垃圾是内容安全治理的‘重灾区’。此外，文字垃圾也不仅仅局限在关键词监测的阶段，大量的变种文本垃圾为其筛选、处理有害内容的能力提出更高要求。”

团伙作案阶段。饶晓艳表示：“在这个阶段，由于多媒体方面的内容在不断增加，对于分发垃圾的人来说已经不再是原来的单一个体，而是逐渐形成了有组织的黑灰产产业链。这种团伙作案方式会让图文、视频的传播增速，并且具备较强的目的性。”

在这样的背景之下，内容安全监测不光是对有害内容进行检测，同时还要对用户行为进行分析。与此同时，图文有害信息再次升级，很多有害内容通过P图、旋转、剪切、水印图等方式企图逃过网易易盾的筛选机制。

融媒体实时检测阶段。最近几年，直播、短视频是最流行的内容传播方式之一，对于一些实时性较强的有害信息的检测显得尤为重要。

饶晓艳称：“而这对于内容安全处理技术要求更高。尤其是这两年，包括《网络表演经营活动管理办法》、《互联网直播服务管理规定》、《网络短视频内容审核标准细则》和《网络短视频平台管理规范》等法律法规完善，内容安全领域对于违规的定义越来越细化。比如对于直播而言，加入了类似‘主播吃香蕉’这种相对抽象的低俗内容定义，这就要求网易易盾将色情内容检测的模型拆分的更细，这个阶段，网易易盾的内容安全服务开始向精细化方向发展。”

AI赋能

法律法规的完善、图文/视频变种的层出不穷以及直播行业的兴起，推动着网易易盾不断结合实际场景推出新的技术解决方案。

“没有什么是技术不能解决的。”值得庆幸的是，网易本身作为内容拥有者，以及20多年的数据和技术沉淀，为网易易盾提供了一个庞大的训练用数据库，这也是网易易盾所拥有的天然优势。在饶晓艳看来，解决上述内容安全的难题在于如何结合人工智能技术快速实现有害信息的识别与筛选。

她从三个层面进行了解释：

首先，如何在一段短视频或一张图片中识别出‘主播吃香蕉’这个行为？饶晓艳分析道：“在这之前，我们并不把此类行为定义为色情，现在我们需要教会网易易盾的技术判定‘主播 香蕉=低俗’，然后让机器在数据库中进行大量训练来强化这一判断标准。”

饶晓艳告诉雷锋网，这样的训练一开始识别率是相对比较低的，好在网易易盾有专门的法律法规研究团队（内部岗位名称叫“政策法规研究员”）、舆情分析团队，再配合关键特征提取和识别训练，之后这一细分部分的识别能力上才得到很大提升。

其次，音频监测传统手段是采用把音频语音转成文本，然后再结合文本来筛选出其中的有害信息。但随着形态的发展，开始出现一些带有色情的音频，比如短视频的呻吟声或者娇喘声，以及ASMR场景下的违规音频。这是用传统手段无法识别的，对此网易易盾又进行了技术迭代，使用了声纹检测技术，并在内容安全类目上新增了娇喘呻吟类。与此同时，为了更好的服务内容平台，易盾还提升了语种识别准确率，支持英语、泰语、印尼语等；此外，易盾也积极研究各个国家政策法规，以及响应客户各种新的需求，不断完善自身的内容安全标准。

最后，饶晓艳提及：“人工智能技术并非万灵药，面对实时性直播和短视频，机器检测还需要人工辅助。而为了补充此空缺，网易易盾在2017年研发并推出了短视频电视墙审核方案，技术和人工共力的方式，去解决当时在直播和短视频中出现的“秒露”问题。

网易易盾短视频电视墙服务是针对点播视频的高效审核服务，可广泛应用于各类短视频、长视频的审核。雷锋网得知，易盾的短视频电视墙可灵活配置进审范围、同时审核的路数，可按照机器疑似度或进审时间排序等。进审视频全视频流展示，针对秒级或帧级出现的违规镜头，可做到风险“0”漏过。而当某个短视频热度突然上升，其弹幕数增加等多维数据发生异常时，该短视频就会被纳入到重点监控名单里，进入到人工辅助审核的步骤，审核人员可准确定位疑似时间戳，快速发现问题视频。

饶晓艳称：“经过不断发展，现阶段人工智能已全面赋能网易易盾的内容安全产品处理渉政暴恐、色情低俗等数十大类近千小类的业务，实现了文本、图片、音频、视频等品类的全覆盖，针对直播、短视频、政企、社交、金融、游戏和媒体等行业，易盾还推出一站式安全解决方案。”在实际应用场景中，饶晓艳表示，有客户反馈易盾虽然不一定是最便宜的，但效果、价格以及服务及时性、业务场景的覆盖等维度综合起来，网易易盾是综合效益最好的。

值得一提的是，在产品和技术不断进化的过程中，网易易盾实验室2018年还研发出了一种对多视角多模态特征信息进行有效融合的自编码器神经网络，在准确率、NMI、Purity、ARI等各项性能指标上，较当下多项国际先进的多视角多模态信息融合技术有显著性的领先。

这是什么技术呢？可以这么理解：传统的自编码器神经网络技术只能“摸”出美女的头、腿、身子等部分，却无法全面还原其出一个真实的美女。上述技术则能够对数据的多视角、多模态特征进行综合提取和有效融合，能把这个美女完整、客观的呈现出来。

“第三方”这条路，不好“走”

在内容安全服务整个商业化过程中，网易易盾遭遇很多挑战。除了上面提及的困难外，饶晓艳后来又提及两大块：一个是市场培育问题，另外一个是内容安全越来越精细化，特征提取难。

2016年，饶晓艳在安全部处在商业化阶段的大背景下加入了正在孕育的网易易盾团队，负责商业化产品的落地。她回忆，当时客户的意识还没觉醒，他们没意识到还可以寻找专门的第三方服务来解决内容安全的问题，从而摆脱人力成本上的桎梏。

而彼时，国外已经诞生了Mollom、WebPurify、Sightengine等第三方反垃圾服务。尽管网易易盾在国内推出了内容安全服务，并成长为一个值得信赖的平台，但客户却没有这个意识——去接入第三方专业的服务。与此同时，也有些偏事业型政府企业，接受不了云服务，有各种顾虑；再加上他们的决策流程也非常长，很难“啃”下来。

后来，随着易盾不断投入资源进行市场培育，云计算趋势的流行、内容安全意识的强化、法律法规的完善，以及易盾不断提供新的解决途径和方案，这块问题最终得到解决。

谈到第二个挑战时，饶晓艳表示，现在客户要求不仅高，精细度也越来越细了，细化到一个图片、一段视频里面的某一个动作、神态，甚至有的会要求综合性地去分析某个直播，里面的主人公是怎么样的一个人……

“技术同事经常对产品说，没有什么是技术不能解决的。”但饶晓艳指出，在产品落地上却不是这样，因为内容安全标准的提炼存在挑战。就比如说露乳沟、露大腿，到底到什么程度才算是低俗？主播舔东西到什么界限，才触达“违规”标准……这些的这些，都需要去界定和特征提炼。

后来网易易盾成立了易盾实验室，基于得天独厚的自身内容型数据和服务数千家客户的积累，从舆情、策略分析、运营规则、标注以及人工智能等领域不断深入、打磨，把标准层面的东西一点点确定出来。在这个过程中，易盾还把主播嚼冰块、露大腿等不违规，但和色情擦边的行为提取特征，训练模型实现“命中”，并在内容系统后台中提交给客户，由客户决定到底要不要删除……这些是易盾实验室整合科研资源和数据积累的力量。

也正是易盾商业化产品落地的经历和各种挑战，让饶晓艳对于中小企业是否自建内容审核系统上，深有洞察，也颇具发言权。

她旗帜鲜明地说，非常不建议中小企业建设内容安全服务。对于自己的观点，她给出了三个理由：

首先，内容安全系统并不好开展，主要是因为其海量的数据往往只有BAT这类的大公司才有——尤其是和内容型相关的数据，这就导致开发出来的系统往往效果不好，对内容安全问题“后知后觉”。

其次，内容安全团队一旦组建运作，对于中小企业来说是一个无底洞。随着业务和形态的发展，以及黑灰产攻防的升级，需要不断投入大量人力、物力。而即使其两者都能满足，其是否有足够量级的模型库用于训练，训练后效果能否达到预期？在数据之外，又涉及到另外一个难题——中文博大精深，双关、同音字、多音字等都比较复杂，中文的文字结构与语义复杂性使得垃圾信息与衍生格式变化多端。饶晓艳指出，这并不是有些人口中所说的“不就是算法的问题嘛”。

最后，国内对于色情内容的界限相对模糊，鉴黄的难度也随之增加。正如上面提到“美女吃香蕉”的案例，如何在有效筛选黄色内容的同时，又不影响内容平台的正常运营？显然，业务的发展和内容审核之间的这个度很难把控，如果不在这块下足功夫，中小企业研发或安全部门往往会落下个出力不讨好的坏名声——做的好，没你的事；一出事故，就背锅。

“我不建议中小企业自建内容安全团队，其远没多数公司想象的那么容易。有些事看似简单，但做起来却十分不容易。”这位网易易盾产品总监最后点评到。

雷锋网得知，网易安全部之所以成立内容安全团队，起初其实也是迫于无奈。在那个连网络都称不上流行的年代，没有一家厂商可以帮助网易完成有害内容的审核。凭借20多年的技术沉淀，网易易盾依托其海量的云计算资源、特征库以及创新技术成果，才得以在数年间就在内容安全领域取得弄潮者地位。

尾声

对于当下很多人提及的互联网寒冬，雷锋网问及是否会对易盾的业务拓展造成影响，饶晓艳表示，她不这么看，觉得反而是一个机会：“在所谓的互联网寒冬悲观预期下，有些企业会更加关注成本核算，在很多业务上会关注投入产出比，这会促使一部分企业在采用第三方内容安全服务上采取积极态度，而易盾有信心也有实力去获取这部分用户。”

从整个行业来看，网易易盾开创了内容安全的品类、参与内容安全行业标准的起草，推动内容安全行业的发展，那网易易盾在2018年，又完成了哪些进化？

饶晓艳总结到，如果把2016、2017两年定义为产品体系和服务建立和完善的阶段，那么2018年，她则认为是场景化解决方案落地和多业务融合联动的一年。“易盾还有业务安全、移动安全和网络安全，我们融合在一起，提供了一站式解决方案。”她接着指出，2018年也是易盾开始出海，走向世界舞台的一年，易盾向东南亚地区也提供了内容安全服务，为出海企业提供内容安全保障。

对于未来，饶晓艳说，网易易盾的内容安全服务将在战略上向着场景化、精细化、智能化三个大方向不断深化，“希望我们的努力，能够解除一些互联网产品深受有害内容的困扰，维护他们的产品口碑，为营造风清气正的互联网环境贡献一份力。”