观点：不像学者和记者，你不能检查ChatGPT什么时候说了真话 _ChatGPT

能够验证信息是如何产生的非常重要，尤其是对学者和采访人员来说。Credit: Shutterstock
据美国物理学家组织网（by Blayne Haggart, The Conversation）：美国盈利公司OpenAI的聊天机器人ChatGPT对自然语言查询做出了语法正确的回应，在它引发的所有反应中，很少有人能与教育工作者和学者的反应相提并论。
学术出版商已经禁止ChatGPT被列为合著者，并发布了严格的指导方针，概述了可能使用它的条件。从法国著名的巴黎政治学院到许多澳大利亚大学，世界各地的主要大学和学校都禁止使用它。
这些禁令不仅仅是担心无法抓住作弊者的学者们的行动。这不仅仅是为了抓住那些抄袭一个来源却没有注明出处的学生。相反，这些行为的严重性反映了一个问题，一个在OpenAI的ChatGPT聊天机器人的无尽报道中没有得到足够关注的问题:我们为什么要相信它输出的任何东西？
这是一个至关重要的问题，因为ChatGPT和类似的程序可以很容易地用于构成我们社会基础的信息源，特别是学术界和新闻媒体，不管是否得到承认。
根据我对知识治理的政治经济学的研究，学术上禁止ChatGPT的使用是对ChatGPT给我们整个信息生态系统带来的威胁的适当反应。采访人员和学者应该警惕使用ChatGPT 。
根据其输出，ChatGPT可能看起来只是另一个信息源或工具。然而，事实上，ChatGPT——或者更确切地说， chat GPT产生其产出的手段——是一把匕首，直接指向他们作为权威知识来源的可信度。不应该掉以轻心。
信任和信息
想想为什么我们认为一些信息来源或知识类型比其他的更可信。自欧洲启蒙运动以来，我们倾向于将科学知识等同于一般知识。
科学不仅仅是实验室研究:它是一种思维方式，优先考虑基于经验的证据，并追求证据收集和评估的透明方法。它往往是判断所有知识的黄金标准。
例如，采访人员具有公信力，因为他们调查信息、引用来源和提供证据。尽管有时报告可能包含错误或遗漏，但这并不能改变专业的权威性。
观点社论作者也是如此，尤其是学者和其他专家，因为他们——我们——从我们作为某一领域专家的身份中获取权威。专业知识包括对我们领域中公认的合法知识来源的掌握。
大多数专栏文章都不会被大量引用，但负责任的学者会给你指出他们所借鉴的思想家和著作。这些来源本身是建立在可核实的来源之上的，读者应该能够自己核实。
真实和输出
因为人类作家和ChatGPT似乎产生相同的输出——句子和段落——所以可以理解一些人可能会错误地将这一科学来源的权威赋予ChatGPT的输出。
ChatGPT和reporters都生成句子，这是相似之处的终结。最重要的——权威的来源——不是他们生产什么，而是他们如何生产。
ChatGPT不会像采访人员那样造句。ChatGPT和其他机器学习、大型语言模型可能看起来很复杂，但它们基本上只是复杂的自动完成机器。只是他们不是在电子邮件中建议下一个单词，而是在更长的包中产生统计上最可能的单词。
这些程序重新包装他人的作品，就好像它是新的东西一样。它不“理解”它生产的东西。
这些输出的理由永远不可能是真理。它的真理是相关性的真理，即“句子”这个词应该总是完成短语“我们完成彼此的……”因为这是最常见的情况，而不是因为它表达了任何已被观察到的东西。
因为ChatGPT的真理只是一个统计上的真理，所以这个程序产生的结果不能像我们信任采访人员或学者的结果一样被信任。它无法被证实，因为它被构造成以一种不同于我们通常认为的“科学”的方式创造输出。
你不能检查ChatGPT的来源，因为来源是统计事实，大多数时候，一组单词倾向于彼此跟随。
无论ChatGPT的输出看起来多么连贯，简单地发布它所产生的内容仍然相当于让autocomplete不受约束。这是一种不负责任的做法，因为它假装这些统计技巧等同于来源丰富且经过验证的知识。
类似地，将ChatGPT纳入其工作流程的学者和其他人冒着将整个科学知识大厦从自己脚下踢开的生存风险。
因为ChatGPT的输出是基于相关性的，所以作者如何知道它是准确的呢？他们是否根据实际来源进行了验证，或者输出仅仅符合他们的个人偏见？如果他们是各自领域的专家，为什么他们首先要使用ChatGPT呢？
知识生产和验证
关键是ChatGPT的过程让我们无法验证它的真实性。相比之下，采访人员和学者有一个科学的、基于证据的方法来产生知识，这有助于验证他们的工作，即使结果可能与我们先入为主的观念相反。
鉴于我们在创造知识中的核心作用，这个问题对学者来说尤其尖锐。依靠ChatGPT来撰写专栏的一部分，意味着他们不再依赖嵌入在经过验证的来源中的科学权威。
相反，通过诉诸统计生成的文本，他们有效地从权威角度进行论证。这种行为也会误导读者，因为读者无法区分作者的文本和人工智能的文本。
ChatGPT可以产生看似清晰的知识，就像变魔术一样。但是我们最好不要把它的输出误认为是实际的科学知识。人们永远不应该混淆连贯性和理解。
ChatGPT承诺轻松获取新的和现有的知识，但它是一个有毒的圣杯。读者、学者和采访人员要小心了。