去年9月,OpenAI发了一篇论文


论文作者是OpenAI的Adam Tauman Kalai、Edwin Zhang、Ofir Nachum,加上Georgia Tech的Santosh Vempala
他们建立了一个数学框架,核心发现是这个不等式:
生成错误率 ≥ 2 × 判断错误率
假设AI在判断"1+1等于几"这件事上有1%的概率判断错误。那它在生成回答时,出错的概率至少是2%
为什么会放大?因为一个错误的判断会衍生出多个错误的生成。比如AI判断1+1=3,那它同时犯了两个错:说1+1=3是对的,说1+1=2是错的。一个判断错误,至少两个生成错误
如果你回答"我不知道",得0分。如果你瞎猜,哪怕只有10%的概率蒙对,期望得分是0.1分。理性选择?猜。 所以AI不是"学会了说谎"。AI是被训练体系逼着猜的
我做AI自动化做了大半年了。我的整个内容系统——从数据抓取到写作到配图——全是AI在跑
这篇论文改变我什么认知了吗? 说实话,核心认知没变
我一直知道AI会犯错,我的系统设计里每个环节都有人工校验。 但有一件事变清晰了:幻觉不是bug,是feature
所以正确的做法不是等AI变得完美,而是在工作流里假设AI一定会犯错,然后设计兜底机制。
我的做法:
1. 所有AI生成的数据,必须有原始链接可以交叉验证
2. 写作内容里的具体数字,发布前必须人工确认
3. 不让AI做"判断",只让AI做"整理"——判断是我的事
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言