Como um redator de IA aprende com o próprio erro

O agente que não aprende é um script

Um agente que produz, é reprovado, refaz e no mês seguinte comete exatamente o mesmo erro não está aprendendo nada. Está executando o mesmo procedimento com entradas diferentes.

A diferença entre as duas coisas não está no modelo. Está no que acontece depois da reprovação.

O que se registra

Toda entrega passa por revisão antes de ser publicada, e a revisão termina em veredito. Quando o veredito é negativo, três informações são guardadas:

• o que era a tarefa — tipo, assunto, tamanho pedido
• qual modelo produziu
• por que reprovou — ortografia, texto raso, promessa não sustentada, fora do formato

A terceira é a que importa e a mais fácil de perder. “Reprovado” sem motivo é um número; “reprovado por texto raso” é um endereço para consertar.

O que o histórico mostra que a memória não mostra

Individualmente, cada reprovação parece azar. Junte algumas centenas e aparecem padrões que ninguém percebe no dia a dia:

• um tipo de tarefa que reprova muito mais que os outros — o formato do pedido está ambíguo
• um modelo que vai bem num tipo e mal em outro — é roteamento, não capacidade
• uma taxa que era estável e começou a subir — alguma coisa mudou recentemente

Nenhum desses se percebe olhando entrega por entrega. Todos aparecem no acumulado.

O erro que quase apagou o nosso histórico

Vale contar, porque é o tipo de defeito que corrompe a análise inteira sem quebrar nada.

Quando criamos a camada de planejamento, ela passou a escrever no mesmo arquivo de registro que a revisão já usava — mas com uma estrutura diferente. Os campos não batiam.

A rotina que lê esse arquivo para calibrar passou a contar aquelas linhas como se fossem reprovações. Surgiu no relatório um agrupamento com identificador vazio e taxa de aprovação zero. Nada estourou. O sistema continuou funcionando e passou a se calibrar a partir de dados que descreviam outra coisa.

A correção foi separar os registros em arquivos distintos. E a lição, mais geral: registro compartilhado sem contrato de formato é pior que não ter registro, porque um você sabe que não tem, e o outro você acha que tem.

O que muda na prática

O aprendizado aqui não altera o modelo. Altera o que chega até ele:

Roteamento. Se um tipo de tarefa reprova sistematicamente com um modelo econômico, esse tipo passa a começar num modelo mais capaz. O caminho é sempre para cima — rebaixar depois de uma reprovação é trocar custo por retrabalho, que custa mais.

Instrução. Motivo que se repete vira regra explícita no pedido. “Texto raso” reprovando com frequência virou uma exigência concreta: todo artigo precisa carregar pelo menos um número ou incidente medido. É verificável, ao contrário de “escreva com profundidade”.

Gatilho de revisão. Taxa de reprovação subindo é sinal de que o agente precisa passar por revisão de novo. É melhor que calendário: revisa quem está indo mal, quando começa a ir mal, em vez de revisar todo mundo a cada trimestre.

Por que “aprender” é a palavra certa mesmo assim

Alguém pode objetar que isso não é aprendizado, é estatística com ajuste de configuração.

É estatística com ajuste de configuração. E é o que produz o efeito que se espera de aprendizado: o mesmo erro para de acontecer, e a razão pela qual ele parou está escrita em algum lugar que dá para auditar.

O contrário — um sistema que melhora por caminhos que ninguém consegue apontar — não é preferível. É só menos explicável.