“网络暴力”的治理，国家正在积极从法律角度，通过亮红牌、划红线的方式治理网络暴力，净化网络空间。也有部分公司开始探索将人工智能自然语言处理技术应用于网络暴力的分析上。

“网络暴力”是什么？

“网络暴力”是指用文字、图片、视频等形式在网络上诽谤、污蔑他人，损害他人的名誉权、隐私权等，给当事人带来精神压力与心灵创伤，是社会暴力在网络上的延伸。我们最常见的网络暴力主要出现在微博、视频、新闻资讯、论坛上。

“网络暴力”的成因，一是网络的匿名性，保护了个人隐私的同时，也让侵权者可以发表不计后果的言论；二是部分媒体为了追求流量与关注度，采用片面报道和刻意扭曲事实来增加话题性；三是当舆论形成，个人容易趋向于群体价值理念的方向、忽视了自我理性思考的能力。

自然语言处理技术（NLP）与“网络暴力”

社交媒体上的网络暴力主要以评论、弹幕等形式传播，对于分析评论、弹幕这样的非结构化语言数据，应用的核心AI技术主要是自然语言处理。自然语言处理技术基于机器学习和深度学习方法，能够让机器自动学习语言特征，从而让机器拥有对人类语言的理解能力，目前该技术已广泛用于文本分类、自动摘要、问答系统、机器翻译、情感分析等方面，在现实生活中常见的语音助手、以及最近大火的ChatGPT等都是自然语言处理技术常见的应用，而在“网络暴力”治理方面，也会涉及到以下几个方向：

文本实体抽取：

“网暴”的对象通常是某个人物或事件，所以我们首先要在海量评论数据中筛选出对某网暴事件的评论，这里面主要涉及命名实体识别算法（NER）。NER算法主要分为基于规则方法，基于统计方法，基于深度学习方法等。

图1 命名实体识别方法

文本情感分析：

情感分析可以针对某条评论进行正/负向打分，同时识别出语义中是否包含不同种类的情绪细节，还可以从文本中智能提炼对整体情绪影响最大的关键词。从而可以了解千万条评论内容背后的网民情绪分布，甚至还可以按时段，按地域，按性别对不同群体对不同事件的情绪进行分析，及时管控对事件的消极暴力情绪，同时根据极性词挖掘更多潜在网暴行为。

、

图2 不同的情绪分类

涉及的技术点主要是利用机器学习（SVM等）或深度学习（CNN）的文本分类和极性词挖掘，整体流程如图所示：

图3 句子级情感分析方案

文本相似度分析：

对同一个事件的评论内容进行相似度分析，可以帮助我们发现事件评论的舆论趋势。对不同事件的评论内容进行相似度分析，可以找到与“网暴”用户用词或表达有共同点的评论，挖掘出某件事/某个人近期的舆论积极/消极性。目前，相似度分析的深度学习范式主要有两种，如下图所示：

图4 相似度分析的两种范式

第一种范式首先通过深度神经网络提取评论内容的表示向量，再通过表示向量的简单距离函数（欧式距离等）计算两者的相似度，这种方式提取表示向量通常用孪生网络来实现，属于这一类的常用模型包括DSSM、CNTN等。

第二种范式是通过深度模型提取评论内容的交叉特征，得到匹配信号张量，再聚合为相似度分数。

句法/词法分析：

通过句法和词法分析，我们可以挖掘出大量“积极”评论和“网暴”评论的常见句法，词法习惯，从而总结出当前网络环境中“网暴”用户普遍所使用的话术和用词，以及不同用户在表达观点极性时所使用的的语言特点。

句法结构分析，用来识别句子的主谓宾定状补，并分析各成分之间的关系，一般基于深度学习的RNN和LSTM序列模型。

词法分析的任务就是：将输入的评论内容字符串转换成词序列并标记出各词的词性，主要用到序列标注技术，具体算法包括，条件随机场（CRF）、RNN+CRF等。

图5 词法分析样例

总结

“网络暴力”的存在，不仅会直接危害到受害人的权益，还会对网络安全和社会和谐带来不良的影响。中国移动智慧家庭运营中心凭借在深度学习、图像识别、自然语言处理、OCR等方面的技术积累，推出内容安全防护产品，可对图片、文本、视频、音频等中涉黄、涉暴恐、涉政、涉赌、图片OCR、人脸识别等多维度内容进行安全检测。

随着AI技术的发展，基于技术手段的互联网暴力治理，将逐渐扮演重要角色。中国移动智慧家庭运营中心将在该场景持续进行先进技术探索，结合业界前沿技术赋能内容生态构建，积极响应国家网信办“清朗”系列专项行动，为清朗网络环境贡献自己的一份力量。（文章内容来源于中移科协，作者系徐婧扬。）