由 OpenAI 开发的交谈形人工智能文章生成系统 ChatGPT 为人物提供写作的灵感,不过也同时为学界带来冲击,担心有人用 AI 来做功课写论文。OpenAI 刚刚就推出一个免费的分辨工具,尝试帮人分辨那篇文章是否由 AI 生成。
这个名为「AI Text Classifier」的工具用法很简单,只要将文章贴到网页的输入栏按一下「Submit」掣,几秒钟就能给出分析结果,但文章必须至少 1,000 字节(约 150-250 个英文词语)。分析结果分为「very unlikely(很不可能)」、「unlikely(不太可能)」、「unclear if it is(不明了)」、「possibly(可能)」和「likely(很可能)」 5 级。与 ChatGPT 一样,这个分辨器也是需要有 OpenAI 帐户,也需要以 VPN 到外国才能登入使用。
AI Text Classifier:按此
《PCM》编辑部就尝试用 ChatGPT 生成一篇有关分辨 AI 生成文章的论文,交回分辨器去辨识,得出「possibly」的结果。而另一篇从网上拷贝下来的新闻报道就被判断为「unlikely」,可见有一定准确度。而 AI 生成的中文文章,由於生成出来的字数都很少,通常都无法达到分辨的要求。
不过 OpenAI 方面也表明,他们不可能可靠地检测出所有 AI 生成文章。他们指这个分辨器有多个限制,包括字数少於 1,000 字节时分办率很低,对於小孩或非英语语系人士写的文章亦容易被误判为 AI 生成文章,这工具亦主要以英语来进行训练;一些很容易推测的字句如首 1,000 个质数的清单也因为结果必定相同而不可能分办是人类还是 AI 制作。另外,人们也可轻易修改 AI 生成的文章内容来规避分辨器。
OpenAI 承认,这分辨器的分辨率不算高,对英语文章的正阳性分辨率为 26%,而假阳性的误判率就有 9%。不过他们仍公开这工具,希望为受 AI 生成文章困扰的学界提供辅助工具,并收集用户的意见,以持续改善分辨器。