哔哩哔哩未成年保护，哔哩哔哩人工智能系统为儿童网络安全绿色护航

哔哩哔哩未成年保护，哔哩哔哩人工智能系统为儿童网络安全绿色护航其次，“人身攻击类”不良信息处理模块。“人身攻击类”不良信息主要包含以下几种类型：1.语义情感较为负面的内容；2.带有骂人、羞辱、嘲讽等词汇的内容；3.恶意玩梗，让青少年产生不良体验等内容。“人身攻击类”不良信息的过滤本质上是一个文本二分类问题。经过综合考虑，模型选择Albert模型做为基准。该模型是一种基于BERT模型的轻量级优化，它基于嵌入参数化进行因式分解和跨层参数共享的技术，大幅提升了训练速度。其模型结构如图2所示。图2 Tansformer模型结构作为一家内容平台，哔哩哔哩平台利用人工智能技术识别和干预社区中的“软色情类”与“人身攻击类”不良信息，降低对儿童的负面影响。同时，利用人工智能“优选弹幕”技术，为儿童营造一个更健康、积极、和谐，更为正面的弹幕观看环境。具体而言，对于负向信息包含“软色情类信息”以及“人身攻击类信息”等两个主要模块，对于正向信息包含“弹幕优选”模块。图1

关于案例背景

哔哩哔哩，作为中国Z世代高度聚集的综合性视频平台，汇聚了2.72亿月活用户。也就是说每两个中国的年轻人中，至少有一位是B站的用户。每月，在B站有超过325万创作者，上传、分享1100万则视频作品，内容涵盖超过200万个文化标签，7000个核心圈层，囊括了Z世代青年各个兴趣圈层的视频类别和内容，并通过弹幕、加评的模式鼓励用户产生更深入的社交互动。

平台上丰富的视听内容正逐步成为儿童上网学习、娱乐的重要选择之一。考虑到儿童的心智发育尚未完善，缺乏应对网络上不良信息的能力和意识，平台从保护、赋能的角度出发，以公平和非歧视为原则，在保护儿童的安全，支持儿童的发展上，通过人工智能技术和手段对社区中的不良信息进行监测和处理，并持续建设健全专业的团队对不良信息进行系统性的防控和治理，从而创造一个促进儿童友好型人工智能的网络环境。

关于技术方案的具体措施

作为一家内容平台，哔哩哔哩平台利用人工智能技术识别和干预社区中的“软色情类”与“人身攻击类”不良信息，降低对儿童的负面影响。同时，利用人工智能“优选弹幕”技术，为儿童营造一个更健康、积极、和谐，更为正面的弹幕观看环境。具体而言，对于负向信息包含“软色情类信息”以及“人身攻击类信息”等两个主要模块，对于正向信息包含“弹幕优选”模块。

图1 弹幕系统架构图

其中，在关键技术方面，首先“软色情类”不良信息处理模块。识别并处理弹幕软色情的文本，存在三个主要的技术难点。第一，弹幕的文本较短，传统的机器学习模型很难在很短的内容上获取学习到足够的特征，对于文本的语义识别难度较大；第二，软色情的评判标准难以统一，不同用户对于软色情文本的容忍程度和认知程度不一，相同文本内容在不同场景下也可能存在不同的含义；第三，软色情信息分布失衡，在所有的弹幕中软色情文本内容的占比很低且较隐晦，样本类别的分布失衡导致软色情文本识别难度加大。针对技术难点，选择Transformer的文本分类模型（图1），搭建“软色情类”不良信息的处理模块。

图2 Tansformer模型结构

其次，“人身攻击类”不良信息处理模块。“人身攻击类”不良信息主要包含以下几种类型：1.语义情感较为负面的内容；2.带有骂人、羞辱、嘲讽等词汇的内容；3.恶意玩梗，让青少年产生不良体验等内容。“人身攻击类”不良信息的过滤本质上是一个文本二分类问题。经过综合考虑，模型选择Albert模型做为基准。该模型是一种基于BERT模型的轻量级优化，它基于嵌入参数化进行因式分解和跨层参数共享的技术，大幅提升了训练速度。其模型结构如图2所示。

图3 Albert模型结构

对于“人身攻击类”不良信息的模型处理同样需要经过数据准备与模型构建两个阶段。

在数据准备阶段，需要对于“人身攻击类”弹幕进行数据清洗、筛选和增强。模型采用confidence learning技术对数据进行标签修正。以人身攻击文本：非人身攻击文本=1：5的比例，构建有两千万条弹幕的训练集进行模型的训练，并在二十万条文本的验证集上进行验证。

在模型构建阶段，模型会先对输入的弹幕进行tokenization（id化），然后对token、segment和position这三种embedding进行相加，再通过encoder层拿到句子的表征向量，最后输出一个0到1之间的概率值。越接近1表示该弹幕内容越有可能包含人身攻击内容。根据B站的弹幕生态分布情况，需要不断进行模型的迭代优化，减少青少年观众接触“人工攻击类”不良信息的可能性。

此外，“弹幕优选”正向信息处理模块。除了对于不良信息的过滤，社区还对于有利于儿童发展的积极向上的正向内容进行引导。以人工智能的技术对用户生成的弹幕内容进行评分，更加有利于营造更好的儿童观看视频的弹幕环境。

该模型的训练数据来自用户的点赞弹幕。点赞代表的是观众对于该文本的态度，点赞数量越多代表观众对于文本内容有更为积极的态度。人工智能系统优先推送评分更高的弹幕，从而能够正向引导社区的氛围。

关于应用效果

针对上述提到的三个信息处理模块，在不同的业务场景下均实现了努力创造一个促进儿童友好型人工智能的网络环境的效果。

一是“软色情类”不良信息处理模块应用于平台中的文本软色情识别。保护儿童的安全，保障儿童在互联网上学习、娱乐的过程中不受到有害信息的危险。

二是“人身攻击类”不良信息处理模块应用于平台中的人身攻击类文本识别。在识别并进行运营的干预后，使整体人身攻击类弹幕占比下降约40%。当前模型预测有较高的准确率，为儿童的观看体验提供了保护和支持。

三是“弹幕优选”正向信息处理模块应用于平台中的正面信息引导。筛选出能够营造积极氛围的弹幕，营造了良好的社区氛围。应用该模块能够使社区中的正向内容率整体提升33%。此外，平台相配套的“能量加油站”等心理健康服务功能，能够进一步引导儿童得到线上或线下的人工支持，赋能儿童的健康成长。

作为中国最大的内容社区平台之一，哔哩哔哩长期关注儿童的网络安全相关风险与趋势，在保护、赋能儿童方面积极投入。未来，哔哩哔哩将持续投入专业的团队资源，为创造一个促进儿童友好型人工智能的网络环境积极贡献。（案例报送单位来自上海宽娱数码科技有限公司，上文为部分节选，如需全文请联系项目组。）

来源： 光明网