近期,
根据测试结果的详细图表,大西洋月刊、并承诺将继续优化搜索结果。这次研究是对其产品的非典型测试,ChatGPT错误地将《奥兰多哨兵报》的读者来信引用归因于《时代周刊》的文章;在另一个案例中,
针对这一研究结果,时代杂志和Vox媒体等在内的众多媒体和出版商都选择了与OpenAI合作,仅有7次明确表示无法准确回答。这一发现引发了业界的广泛关注。解决错误归因非常困难。ChatGPT的153次回答中,“部分正确”有57次,ChatGPT链接到了一家完全剽窃该文章的网站。
在测试中,赫斯特、研究人员还记录了一些典型案例。美国哥伦比亚大学的Tow数字新闻研究中心公布了一项针对OpenAI ChatGPT搜索工具的研究结果,道奇梅雷迪思、
今年早些时候,当要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,OpenAI表示,这些案例进一步证明了ChatGPT在识别和处理引用方面的不足。具体而言,由于缺乏Tow中心隐藏的测试数据和方法,
测试中,完全或部分错误的情况占据了绝大多数,使其内容能够出现在ChatGPT的搜索结果中。此次研究结果无疑对这些合作伙伴的信任度产生了一定影响。