No ano passado em setembro, a OpenAI publicou um artigo

Os autores do artigo são Adam Tauman Kalai, Edwin Zhang e Ofir Nachum da OpenAI, além de Santosh Vempala do Georgia Tech
Eles estabeleceram um marco matemático, e a descoberta central é esta desigualdade:
Taxa de erro de geração ≥ 2 × Taxa de erro de julgamento
Suponha que a IA tenha 1% de probabilidade de cometer um erro ao julgar "1+1 é igual a quanto". Então, ao gerar uma resposta, a probabilidade de erro é pelo menos 2%
Por que se amplifica? Porque um julgamento errado gera múltiplos erros de geração. Por exemplo, se a IA julga 1+1=3, comete dois erros simultaneamente: diz que 1+1=3 está correto, e que 1+1=2 está errado. Um erro de julgamento, pelo menos dois erros de geração
Se você responder "não sei", obtém 0 pontos. Se chutar, mesmo com apenas 10% de probabilidade de acertar, o valor esperado é 0,1 pontos. Escolha racional? Chutar. Então a IA não é "aprendeu a mentir". A IA é forçada a chutar pelo sistema de treino
Fiz automação com IA durante cerca de meio ano. Todo o meu sistema de conteúdo — desde raspagem de dados até redação até edição de imagens — está sendo executado por IA
Este artigo mudou meu entendimento? Honestamente, não mudou a minha compreensão central
Sempre soube que a IA comete erros, e cada etapa do meu design de sistema tem verificação humana. Mas uma coisa ficou clara: alucinação não é bug, é feature
Então a abordagem correta não é esperar que a IA se torne perfeita, mas assumir no fluxo de trabalho que a IA vai cometer erros, e depois desenhar mecanismos de segurança.
Minha abordagem:
1. Todos os dados gerados por IA devem ter um link original para validação cruzada
2. Os números específicos no conteúdo escrito devem ser confirmados manualmente antes da publicação
3. Não deixo a IA fazer "julgamentos", apenas fazer "organização" — o julgamento é responsabilidade minha