智东西3月2日报道，据英国《金融时报》科学评论员安佳娜·阿胡佳分析，ChatGPT所引用的公开数据中可能包含大量虚假信息，导致生成的文本不准确、不真实。目前已有一些科研机构宣布禁止作者使用ChatGPT，但仍有人会利用其查询资料，该行为将会对科研产生不利影响。

近日，首批打击ChatGPT生成内容的工具也随之诞生。斯坦福学生团队为打击学生用LLM完成书面作业的情况，研发了一款名为DetectGPT的新工具与ChatGPT相抗衡，帮助识别论文是人工完成还是机器生成的。

一、不完美的自动生成，充斥错误数据与虚假信息

尽管ChatGPT回答中仍存在错误，但其快速、拟人的特性使它在某些情况下可用来代替人力，尤其是在学生论文写作和新闻编辑方面。国际文凭组织在3月1日宣布，只要学生在论文尾部注明引用来源，用ChatGPT来撰写论文是可被允许的。

阿胡佳认为，以ChatGPT为代表的大型语言模型（LLM）经过训练可以通过在互联网上搜集相关信息来回答用户的问题，从而生成具备信服力的学生论文、权威法律文件和可信的新闻报道。

但机器学习的数据中往往包含一部分错误数据和虚假信息，导致机器自动生成的文本中充满错误，这种情况也催生了智能识别文本来源工具的研发。在阿胡佳看来，科学也需要努力才能适应这个新时代，区分人工智能与人类智能的重要性与日俱增。

OpenAI首席执行官萨姆·奥特曼（Sam·Altman）于去年12月已警告过，ChatGPT“在某些方面足够出色，反倒给人一种严重误导印象”。他认为公司在ChatGPT的稳定性和真实性方面还有很多工作要做。该公司正在开发加密水印，这是一种机器可读的秘密标点符号、拼音和单词序列，并且还在研发一个“分类器”来区分机器合成文本和人工生成文本，用两种文本分别举例来训练ChatGPT。
二、打击ChatGPT生成内容，首批工具诞生

斯坦福大学的研究生艾瑞克·米歇尔（Eric Mitchell）及其团队提出了一种名为DetectGPT的全新算法，旨在成为打击大学论文中LLM自动文本生成的首批工具之一。该算法用于判断文本是否是机器生成，而且不需要事先或收集数据集。

DetectGPT在工作过程中需要先询问聊天机器人对示例文本的“喜爱程度”（即对文本的人工含量进行分析），“喜爱程度”高则代表自动生成文本与人工文本相似度高，算法再进一步打乱文本、改变措辞，使更改后的文本更具有可读性。研究人员称，在早期测试中，该方法在95%的情况下都能正确区分人类和机器作者。

但需要注意的是，DetectGPT的结果并未经过同行评审，因此无法保证其对机器生成文本判断的可靠性。该工具的其他局限还包括有：当现有的填充模型不能表现有意义的改写空间时，某些域的性能则会降低，从而降低曲率估计的质量；以及相较于其他的检测方法，DetectGPT需要的计算量更大。

三、知名期刊禁用AI创作，避免伪科学泛滥

德国马克斯·普朗克图宾根生物研究所的教授迈克尔·布莱克（Michael Black）曾在推特上说，他对Galactica在自己研究领域的回答感到困惑，它甚至还将一篇虚假论文划分给真正的研究人员。他说：“Galactic大部分内容乍一听是正确且权威的，但实际上是错误的。这种情况非常危险。”阿胡佳认为，他所说的这种危险来自于虚假的引用内容充斥文献并且歪曲了经典。

《Science》杂志现在已经完全禁止AI自动生成文本；《Nature》允许作者在提前声明的情况下使用，但禁止将AI作为共同作者。

在阿胡佳看来，大部分普通人都不会通过正规期刊来验证他们的科学想法，在ChatGPT这类爆发式出现的情况下，大量伪科学的生成可能会进一步污染公共话语体系。

结语：保持工具理性，谨慎对待自动生成内容

ChatGPT本质上是大型语言模型（LLM），其核心意义在于学习并模仿人类语言体系，但对于语言背后的价值体系和事实依据却难以做出恰当的自动衡量。核查事实能力的缺失，使它成为虚假信息滋生疯长的温床。当用户对其采取不加区分的依赖态度时，可能导致潜在的算法操控甚至工具反噬，最终沦为“工具囚徒”。

无论技术发展到何种地步，我们必须清楚“是我们在控制AI，而不是AI控制我们”。