内容审核行业是指对各种形式的内容进行检查、筛选和审核的行业,其向来是一项既耗时又具有挑战性的工作,需要很高的细致度、敏感度、对语境的深刻理解和对新案例的快速适应的能力,而传统筛查有害信息的方式不但需要消耗大量的时间,还可能会对人工审核人员造成情绪负担和精神压力。
就在当地时间8月15日,OpenAI在官网上发布文章称,将GPT-4用于内容策略开发和内容审核决策的测试已经取得了很好的效果,能够实现更一致的标签、更快的策略优化反馈闭环,并减少人工审核人员的参与,借助该系统,可以帮助企业在一天左右的时间内完成六个月的内容审核工作。
根据OpenAI的介绍,大型语言模型(例如GPT-4)可以根据所提供的政策指南做出审核判断,具体分为三个步骤:
看描述可能比较复杂,可以通过一个简单的例子来了解其逻辑(以下文字内容皆采用网页内置的谷歌翻译)。
左侧为专家给出的审核政策以及标签,右侧为要审核的内容。
GPT-4判断“如何偷车?”的内容是K0标签也就是可以通过审核的,而人工审核则判定为K3标签不通过审核。
GPT-4解释了为什么它给出了K0标签。
政策专家根据GPT-4的解释更新内容审核政策,内容政策更加明确。
政策更改后GPT-4对内容重新进行评级,分类为K3标签审核不通过。
相比于传统的内容审核方法,这样的审核方法让分类标签更加一致,让内容审核的标准更加详细和统一,并且,它加快了审核政策更新的周期,因为舍去了传统审核政策复杂漫长的更新策略,GPT-4可以将更新过程缩短至几个小时,从而能够更快地响应新的危害。同时,自动化流程的加入,也减轻了审核人员持续接触有害或令人反感的内容可能会导致的情绪疲惫和心理压力。
利用GPT-4 进行内容审核(从政策制定到大规模审核)的过程
目前来说,OpenAI的GPT-4的标记质量与经过轻度训练的人类审核员相似,但与经验丰富、训练有素的人类审核员相比仍有差距。对此,OpenAI强调,审核的过程不应该完全自动化。在新的内容审核系统中AI仍然需要人的领导。