新闻详情

美国哥伦比亚大学研究:ChatGPT 新闻搜索结果经常不准确

美国哥伦比亚大学 Tow 数字新闻研讨中心(Tow Center for Digital Journalism)的研讨人员测验

发现

,OpenAI 的 ChatGPT 查找东西在精确性上存在一些问题。

本年 11 月,OpenAI 面向订阅用户推出了这一东西,称其能够快速供给答案,并顺便相关网页来历链接。但是研讨显现,ChatGPT 查找在辨认文章引证时体现欠安,即使是面临来自与 OpenAI 数据同享的出版商的内容,ChatGPT 也难以精确处理。

研讨人员测验了 20 家出版商的 200 条引文,其间 40 条来自制止 OpenAI 爬虫抓取的网站。但 ChatGPT 仍然自傲地给出了过错答案,几乎没有标明本身的不确定性。

测验成果显现,ChatGPT 的 153 次答复彻底或部分过错,仅有 7 次清晰表明无法精确答复。这 7 次答复中,它使用了“看起来”“有或许”等限定词,或直接供认“无法找到详细文章”。

一份图表进一步显现,ChatGPT 的答复中“过错”的占 89 次,“部分正确”有 57 次,而彻底“正确”的只要 47 次。

测验中还记录了一些典型事例,例如,ChatGPT 过错地将《奥兰多岗兵报》读者来信的引证归由于《时代周刊》文章;另一个比如中,它在被要求承认《纽约时报》一篇关于濒危鲸鱼的文章引证时,链接到了一家彻底剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻谈论》回应称,“在缺少 Tow Center 躲藏的测验数据和办法的情况下,处理过错归因十分困难。这次研讨是对咱们产品的非典型测验。”OpenAI 一起许诺将持续优化查找成果。

返回资讯列表