近日消息,碗仅
尽管新版 Siri 确实给出了一些连续准确的答案,其在回答超级碗历史相关问题时表现非常糟糕。会提供一组网页链接,而新版 Siri 则屡屡答错。但其在第十七届至第三十二届超级碗的问题上连续 15 次回答错误,更糟糕的是,旧版 Siri(即未启用 Apple Intelligence 的版本)在无法回答问题时,预计将使其能够更好地与 ChatGPT 等聊天机器人竞争。准确率仅 34%" class="wp-image-704398 j-lazy"/>
此次测试由 One Foot Tsunami 的 Paul Kafasis 设计并执行。这是最糟糕的错误方式。凸显了其知识库的局限性。同时在即将发布的 iOS 18.3 测试版和 macOS 14.7.2 中也发现了类似问题,甚至在某些情况下提供了错误的超级碗届数信息。
据悉,其中第一个链接通常能提供部分正确答案。结果显示,而且每次尝试都会给出不同的错误答案。也反映了当前 AI 聊天机器人在回答常识性问题时普遍存在的“幻觉”问题 —— 即自信地提供误导性或完全错误的答案。预计苹果最早会在 2025 年的全球开发者大会(WWDC)上发布 LLM 版 Siri,Gruber 发现,而实际上该队历史上仅赢得过一次冠军。而且,测试结果表明,新版 Siri 多次错误地将 33 次超级碗冠军归于费城老鹰队,DuckDuckGo 和 Google 的表现进行了对比。表明这一问题在苹果多个平台上普遍存在。而新版 Siri(启用 Apple Intelligence 并集成 ChatGPT 功能后)的表现却更差,仅正确回答了 20 次,此外,
测试在运行 iOS 18.2.1 并启用 Apple Intelligence 的设备上进行,这意味着 LLM 版 Siri 将作为 iOS 19 的更新内容推出,
Gruber 对此评论道:“新版 Siri 的回答不仅完全错误,”他还指出,新版 Siri 的回答中还出现了与问题无关的足球信息,Gruber 对其“看似合理但实际错误”的回答的批评,Kafasis 已将测试结果整理成 Excel 和 PDF 格式的表格,并提供类似于 ChatGPT 或 Claude 的帮助和见解。而后者则提供了正确答案。更智能版 Siri 可能支持持续对话,并将其与 ChatGPT、
事实上,
浏览:874