案例 05

Anti-dirt

Anti-dirt 是公司风控服务的重要组成部分,面向公司的各条产品线,为用户发布内容中的敏感词(政治相关词汇、低俗辱骂等)提供管理、评估、检测、提取和使用的服务。

  • 从最常用的“添加关键词”入手,重建了字节跳动敏感词平台的整体流程。
  • 访谈了 4 位常用用户,把添加关键词的时间从 10.23 分钟缩短到 8.4 分钟(−18%)。
  • 改版后用户评分 4.94 / 5。
角色
产品策略 · 用户调研 · 用户体验
工具
Figma · Lark
时间
2021 年 3 月 – 2022 年 10 月(任职期间)
−18%添加关键词的用时(10.23 分钟 → 8.4 分钟)
4.94 / 5用户评分
270UV(独立访客)
封装调用调整送审量审核页面数据智能分配实时审核(内容)机器审核能力(模型)人工审核能力(review queue)获取内容的特征。✅ User ID✅ 发布时间…匹配特定的策略:❓ 是否过词表❓ 是否需要送审❓ 是否需要特殊处置…特征值yes用户发布内容匹配审核流程获取风险特征决定是否送人工审核创建送审的数据任务包任务分配模型上架选择模型审核模型关键词选择去重样本选择调整审核阈值智能提示热力图、高亮词、抽帧队列分流聚合队列

Anti-dirt 做什么

处理与文字相关的内容时,通常会使用 NLP 模型。但训练 NLP 模型需要时间,也会出错。所以 Anti-dirt 的思路是:用快速、准确、高效的文本匹配技术来找出敏感词。

搜索结果页提示:根据相关法律法规和政策,搜索结果未予显示 关键词无法被搜索

一条商品评价,开头的词被替换成两个星号 关键词被屏蔽

一篇关于某事件的百科条目 一条视频,评论区在问发生了什么 包含关键词的内容被下架

两类用户

Anti-dirt 有固定的用户群,已有三年以上的历史。用户主要分为两类:敏感词表的创建者,和词表的使用者。

词表创建者

负责平台核心词表的运营和维护

基本信息

  • 学历:本科
  • 设备:MacBook Pro 13 英寸
  • 使用时间:工作日 10:00–19:00

Work objectives and scenarios

按需添加关键词

  • 从各个渠道(owls platform、线上 badcase 等)收集需求,添加敏感词。
  • 评估内容和匹配方式对线上的影响,保证词的质量。

词表相关的日常工作

  • 新业务接入相关的日常咨询、建议和推广。
  • 管理功能级别的权限

优化词表

  • 根据线上数据,优化和更新词表内词的 tag、豁免词、combination 词等详细信息。
  • 词表的特殊需求(六*、二十* 等)
  • 根据业务需求优化词表

词表使用者

内容安全团队,负责安全策略开发

基本信息

  • 学历:研究生
  • 设备:ThinkPad
  • 使用时间:工作日 10:00–19:00

Work objectives and scenarios

申请业务相关词表的权限

  • 向词表管理者申请权限

监控线上数据并收集反馈

  • 监控词表在线上的效果,收集用户对敏感内容的反馈
  • 降低进入审核流程的可能性

线上事故调查

  • 项目复盘、retrospective
  • 根据漏放和误伤,向词表管理者提需求。

规划平台改版

根据用户的反馈,我制定了下一步的重新设计策略。

旧版首页:按产品线分组的词表密密麻麻地排在一起

旧版本:

  • 功能结构:在一些产品线中,由于安全方面的问题,功能很难使用。
  • 使用方式:新用户很难理解该怎么使用。
  • 没有人了解的功能:一部分功能开发得很早,已经没有人能解释清楚。

重构

旧版本的问题

设计解决方案

部分流程被阻断

  • 特殊概念的说明不清楚。
  • 表单的必填和选填项不明确,容易造成重复操作。
  • 缺少部分错误提示,理解流程需要额外的成本。
  • 降低文案的理解成本,统一平台的文案。
  • 加强操作反馈,加入防错设计,提高效率。

操作效率低

  • 功能的区分感弱,功能过于扁平。
  • 用户路径混乱。
  • 信息层级感弱,重要信息不明确。
  • 缺少操作反馈。
  • 提供通用的引导和提示,让用户更能掌控页面操作。
  • 缩短操作路径,去掉不必要的操作。
  • 优化界面展示,让信息更集中。

页面之间不一致

  • 同类组件的使用不一致。
  • 统一平台的视觉元素和交互形式。

首先,从使用最频繁的模块开始

旧版「修改敏感词」表单:所有字段都挤在左侧,右侧是空白

「添加关键词」是使用最多的功能。

但旧版本没有对用户习惯做过调研,是按照后端开发同事做出来的形式直接提供的。

因此我做了用户调研,结果表明优化这个功能最有价值。我访谈了 4 位普通用户,收集了他们的反馈。

😭 “整个流程对我来说太长了。每次加词都有 500 到 1000 个词,我想在 5 分钟内做完,但总是要填很多表单字段。”

🤬 “打标签的功能真的很难用。树形选择器有很多层,但不知道每一层下面有什么,只能一次又一次地展开。”

🤨 “加词页面的右边完全是空白,所有内容都挤在左边。我不喜欢这样……”

😃 “整体没什么问题……我在这里工作一年了,已经习惯了。”

为了解决问题,我做了什么

  • 首先,让用户可以延续原来的做法,降低学习功能用法的成本。
  • 其次,减轻用户填写表单时的压力,让填写的过程更舒服。
  • 然后,按照他们的日常工作来设计整个流程,调整了一些字段的顺序,让添加关键词的步骤更清晰。
  • 最后,改进了一些虽然细小、却影响使用效率的交互。

新的添加关键词流程:三个步骤(信息设置、预览、添加方式),支持关键词分组、批量输入和备注

👏🏻👏🏻👏🏻 上线后,我收到了用户的正面反馈。

用户的聊天消息:“新版敏感词后台界面蛮喜欢的,方便了很多,好评一个”,下面有同事们的表情回应

另外四项功能改进

变体词生成器

从关键词生成变体词的词扩展工具

变体词是指字形、发音相近的词,例如“习近平”和“刁近平”。

为用户提供更简单、更直接的解决方案:

  • 用尽可能简单的步骤帮用户生成变体词
  • 可以直接看到生成的结果
  • 轻点一下即可全选,也可以轻松取消选择

审批中心

审批中心:任务分类、待办任务的数字角标、任务流程

视觉提示与信息分层:

  • 在视觉上区分不同类别的审批任务
  • 用数字角标提醒用户还有多少待办任务
  • 把信息按层级区分,让用户高效地处理信息
  • 让用户清楚地知道当前任务所处的流程,以及各个节点的负责人

检测工具

检测工具:左侧是词表设置,右侧是任务列表

  • 面向不同目的的使用者设计(检测任务管理者 / 检测操作员)
  • 让用户尽可能高效地完成检测数据的录入
  • 同时支持手动输入和文件导入

检测结果页:顶部是命中率、误命中率和召回率,下方是命中详情

检测结果页包含大量信息。我梳理了其中重要的信息,并突出了用户可能关心的所有内容。

自动推荐豁免词

使用自动推荐的词,为词表添加豁免词

很多时候,机器审核判定命中敏感词其实是误判,主要原因是缺少豁免词。结果会被送去人工审核,耗费人力。

但目前的豁免词主要靠词表管理员自己的判断来生成,既消耗人力,准确度也不够。

「自动推荐豁免词」功能帮词表管理员节省人力,同时化解了被送入人工审核的风险,有助于维持机器审核和人工审核之间的生态平衡。

👏🏻👏🏻👏🏻 上线后的正面反馈:

豁免词推荐功能上线通知下的聊天反馈:“太厉害啦”“从 0 到 1 很牛皮了”“一年前想都不敢想的功能”

上线后的结果

用户评分
4.94/5
UV(独立访客)
270▲
添加关键词的用时缩短(10.23 分钟 → 8.4 分钟)
18%▼

Highlight

重构了平台的整体流程,加强了主要功能,弱化了低频功能。整体上,平台的使用效率和满意度大幅提升。

Lowlight

各产品线对这次重新设计比较满意,但仍有一些问题。例如,添加新关键词的页面流程过长,重要信息在 preview 阶段容易被忽略。

In all

MVP 版本已经上线,但 B 端产品比较复杂,又有业务背景,需要持续和用户沟通来获得反馈。