对付AI虚假信息!OpenAI称找到新方法减轻大模型“幻觉”

原标题:对付AI虚假信息!OpenAI称找到新方法减轻大模型“幻觉”

OpenAI在官方博客发布新论文《通过过程监督改进数学推理》。

当地时间5月31日,OpenAI宣布正在承担起对抗人工智能“幻觉”的重任,并采用了一种训练人工智能模型的新方法。

当OpenAI开发的ChatGPT或谷歌开发的Bard等模型完全捏造信息时,就被称为出现了AI“幻觉(hallucination)”,表现得好像它们在滔滔不绝地讲述事实。其中一个例子是:在谷歌2月为Bard发布的宣传视频中,聊天机器人对詹姆斯·韦伯太空望远镜做出了不实的描述。最近,ChatGPT在纽约联邦法院的一份文件中引用了虚假案件,涉案的纽约律师可能面临惩罚。

现在,OpenAI在一项最新研究中提出了减轻ChatGPT“幻觉”、实现更好对齐的新方法——通过“过程监督”来提高AI大模型的数学推理能力。

OpenAI研究人员在报告中写道:“即使是最先进的模型也容易产生虚假信息——它们表现出在不确定的时刻编造事实的倾向。”“这些幻觉在需要多步推理的领域尤其成问题,因为一个逻辑错误就足以破坏更大的解决方案。”

OpenAI对抗AI“幻觉”的新策略是:奖励每个正确的推理步骤,而不是简单地奖励正确的最终答案。研究人员表示,这种方法被称为“过程监督”,而不是“结果监督”。

这种策略可能还会导致更具解释性的AI,因为它鼓励模型更多地遵循类似人类的“思维”方法链。除了得到高于“结果监督”的性能表现外,“过程监督”或许也有助于解决对齐难题。

目前,OpenAI的研究人员尚不清楚这些结果能否应用在数学领域之外,但他们认为,探索“过程监督”在其他领域中的影响将至关重要。

OpenAI的研究员卡尔·科布(Karl Cobbe)告诉CNBC:“检测和减轻模型的逻辑错误或幻觉是构建一致的AGI(通用人工智能)的关键一步。”他指出,OpenAI虽然并未发明“过程监督”方法,但正在帮助推动它向前发展。“这项研究背后的动机是解决幻觉问题,以使模型更有能力解决具有挑战性的推理问题。”

科布说,OpenAI已经发布了一个附带的数据集,其中包含80万个人类标签,用于训练研究论文中提到的模型。

美国电子隐私信息中心(Electronic Privacy Information Center)高级顾问兼人工智能和人权项目负责人本·温特斯(Ben Winters)表示怀疑,他告诉CNBC,希望能检查完整的数据集和随附的示例。“我认为仅此一项并不能显著减轻对错误信息和不正确结果的担忧。”温特斯说。

由于不清楚OpenAI论文是否经过同行评审或以其他格式进行评审,布朗大学技术责任中心主任苏雷什·文卡塔苏巴拉马尼安(Suresh Venkatasubramanian)告诉CNBC,他认为这项研究只是初步观察。“在我们可以对此发表任何肯定之前,这需要在研究界得到证实。”“由于大型语言模型的工作方式总体上不稳定,在一种设置、模型和上下文中可能有效的东西,在另一种设置、模型和上下文中可能不起作用。”

文卡塔苏巴拉马尼安补充说:“人们一直担心的一些幻觉是(模型)编造引用和参考。本文中没有证据表明这会起作用。”

科布表示,OpenAI“可能会将(论文)提交给未来的会议进行同行评审。”OpenAI没有回应该公司计划何时将新策略实施到ChatGPT及其其他产品中。

科幻网 - 促进科普科幻教育传播发展
关注微信公众号(khwgfzh)及微博(科幻网官方)
微信公众号
微博
免责声明
科幻网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
原标题:成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
原标题:2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
原标题:2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
点击加载更多