Dados · · 8 min de leitura
Testamos a segunda IA com 600 afirmações de resposta conhecida. O que ela pegou e o que deixou passar
Teste final do DoubleCheck com gabarito: 130 de 130 erros sobre um dado do documento sinalizados. Em maior ou menor valor, 13 de 28 erros passaram.
Por Daniel Bulha, Fundador da KASISKI
Em resumo: escrevemos 600 afirmações sobre duas bases de dados públicas (compras do PNCP e municípios do IBGE), calculamos a resposta certa de cada uma e erramos 180 de propósito. Depois passamos tudo pelo DoubleCheck, a segunda IA que confere a análise no KASISKI. Nas afirmações sobre um dado do documento (um valor, uma comparação, a página citada), ela sinalizou os 130 erros e tudo o que confirmou estava certo. Onde é preciso varrer o documento inteiro, o resultado é pior: em "maior ou menor valor", 13 dos 28 erros passaram como certos.
Os números vêm de um teste final escolhido antes dos últimos ajustes e rodado uma vez só. O que deu errado aparece aqui com o mesmo destaque do que deu certo.
Por que medir com gabarito
No backtest com 49 editais do PNCP, mostramos que a segunda IA não confirma a primeira em 1 de cada 4 itens. Aquele estudo media discordância, não acerto: em edital real não há resposta pronta para conferir quem tinha razão.
Para medir acerto, é preciso saber a resposta certa de antemão. Foi o que fizemos aqui:
- Pegamos uma base de dados pública e escrevemos os registros como um documento com páginas (60 registros por documento, 10 por página).
- O código escreveu afirmações sobre o documento e calculou a resposta certa de cada uma a partir do próprio dado.
- 30% das afirmações foram erradas de propósito, nos mesmos tipos de erro que vemos em análise de edital: valor trocado, página errada, registro que não existe e "maior" no lugar de "menor".
- O verificador recebeu só as afirmações, nunca o gabarito, e conferiu cada uma com a mesma chamada que confere a análise de um edital.
Como a IA de verificação foi testada com uma premissa falsa pronta, o teste mede exatamente o risco de uma análise de IA: uma afirmação bem escrita, com página citada, que está errada.
O resultado principal: conferir um dado do documento
A maior parte do que a análise de um edital afirma é desse tipo: "a habilitação exige índice de liquidez maior que 1, na página 34", "o valor estimado é R$ 2,8 milhões". No teste, eram 407 afirmações de valor ou de comparação entre registros, das quais 130 erradas.
| Medida | Sem DoubleCheck | Com DoubleCheck |
|---|---|---|
| Afirmações erradas entregues como certas | 130 | 0 |
| Certas entre as que saíram confirmadas | 68% (277 de 407) | 100% (271 de 271; intervalo de 95%: 98,6% a 100%) |
| Erros sinalizados (divergência ou revisão) | nenhum | 130 de 130 (intervalo de 95%: 97,1% a 100%) |
| Certas sinalizadas à toa | nenhuma | 2,2% (6 de 277) |
Por tipo de erro inserido:
| Erro | Exemplo | Sinalizados |
|---|---|---|
| Maior no lugar de menor | "o valor do registro 36 é menor que o do 2", quando é maior | 64 de 64 |
| Página errada | o conteúdo está certo, mas na página 6, não na 3 citada | 30 de 30 |
| Valor trocado | "no registro 7, a UF é SC", quando é SP | 18 de 18 |
| Registro inexistente | cita o registro 97 num documento que vai até o 60 | 18 de 18 |
Nas duas bases o resultado foi o mesmo: no PNCP, 146 de 146 confirmadas certas e 69 de 69 erros sinalizados; no IBGE, 125 de 125 e 61 de 61.
O custo foram 6 alarmes falsos, todos em comparações. Em dois, entre números negativos (latitudes, em que -28 é menor que -8). Nos outros, o verificador leu os dois valores certos e errou a conclusão. Um alarme falso custa tempo de conferência, não uma decisão errada: o item volta marcado para você olhar.
Onde ela é mais fraca: varrer o documento inteiro
Contar registros ou achar o maior valor exige ler o documento todo, não um trecho. Nas outras 193 afirmações do teste, desse tipo, o resultado é outro:
| Afirmação | Certas | Erradas |
|---|---|---|
| Contagem ("há 23 registros da região Sudeste") | 31 de 85 confirmadas; as demais foram para revisão ou divergência | 22 de 22 sinalizadas |
| Maior ou menor valor ("o maior valor estimado é o do registro 59") | 58 de 58 confirmadas | 13 de 28 passaram como certas |
São dois comportamentos diferentes:
- Nas contagens, o verificador prefere pedir revisão a confirmar um total que não está escrito. Nenhum erro passou, mas muita afirmação certa foi parar na pilha de conferência.
- No maior ou menor valor, ele tende a conferir só o registro citado. Confirma que o registro 59 tem aquele valor, mas não procura um valor maior em outra página. Foi assim que 13 erros passaram.
Para quem usa IA em edital, a lição é direta: totais e extremos ("o maior prazo", "o menor valor", "são 12 lotes") merecem conferência no documento, mesmo com uma segunda IA.
Medir mudou o próprio DoubleCheck
A primeira rodada de desenvolvimento, em 200 afirmações sobre a base de compras, mostrou o verificador aceitando metade das afirmações erradas: 50% dos erros sinalizados. É o efeito que os estudos chamam de premissa falsa: a IA recebe uma afirmação pronta e constrói a resposta em cima dela.
Três mudanças vieram dos backtests:
- O verificador passou a explicar primeiro o que o documento diz e só depois dar o veredito. Antes, ele às vezes escrevia no comentário que a afirmação estava errada e marcava "confirmado".
- Página ou registro que não batem passaram a ser divergência, mesmo que o conteúdo apareça em outro lugar do documento.
- Uma regra confere, no próprio documento, em que página está o trecho que o verificador citou. Página errada era o ponto mais fraco (33% sinalizados). No teste final, a regra corrigiu 28 vereditos, todos de páginas erradas de verdade, e não trocou nenhuma afirmação certa.
No teste final, considerando as 600 afirmações e todos os tipos, 92,8% dos erros foram sinalizados (167 de 180). Os 13 que passaram são todos de maior ou menor valor.
Também testamos mudanças que não funcionaram, como pedir ao verificador que escrevesse a conta das comparações antes de concluir. O ganho ficou dentro da variação entre rodadas iguais e veio com perda em outro ponto, então não entrou.
Como o teste foi feito
- Desenvolvimento e teste separados. Todos os ajustes foram decididos em rodadas de desenvolvimento. O teste final usou duas sementes sorteadas e anotadas antes dos últimos ajustes, com 15 lotes de 20 afirmações por base, e cada base foi rodada uma vez só. O número que saísse ia para a página, mesmo que fosse pior.
- A divisão foi fixada antes de rodar: conferência pontual (valor e comparação) como número principal e varredura do documento (contagem e maior ou menor) à parte.
- Intervalos de confiança de 95% pelo método de Wilson.
- Reproduzível: a mesma semente gera as mesmas afirmações. As 600 afirmações, com o gabarito e a resposta do verificador, estão para download na página do DoubleCheck em números.
O que este teste não diz
- Mede o verificador, não a primeira análise. Os erros foram inseridos de propósito e não têm a distribuição dos erros que uma IA comete ao ler um edital.
- As bases são tabelas escritas como documento, mais regulares que um edital com anexos, tabelas e termo de referência. Em edital, a conferência tende a ser mais difícil.
- O DoubleCheck confere o que a análise trouxe; não acrescenta o que ela deixou de ver. Omissões ficam para a avaliação com revisão humana em editais, que está em preparação.
- Respostas de IA variam entre rodadas iguais. Em repetições de desenvolvimento, os alarmes falsos da conferência pontual variaram de 0 a 7%.
O que fazer com isso ao usar IA em edital
- Desconfie de uma IA que só confirma. Uma análise sem nenhum item sinalizado não é sinal de qualidade; é sinal de que ninguém conferiu.
- Exija a página de cada conclusão. Foi a regra de página que levou esse tipo de erro de 33% para 100% sinalizado.
- Confira totais e extremos você mesmo. "São 12 lotes", "o maior prazo é 90 dias": é onde a segunda IA mais deixa passar.
- Use o item sinalizado como lista de leitura. Antes do Go/No-Go, abra o edital na página indicada; se a dúvida continuar num ponto de habilitação, um pedido de esclarecimento custa menos que uma inabilitação.
Perguntas frequentes
Quanto o DoubleCheck acerta?
No teste final com 600 afirmações de gabarito conhecido, ele sinalizou os 130 erros sobre um dado do documento (valor, comparação, página citada) e tudo o que confirmou desse tipo estava certo; 2,2% das afirmações certas foram sinalizadas à toa. Em contagens e maior ou menor valor, que exigem varrer o documento inteiro, 13 de 50 erros passaram como certos.
Esses números valem para editais?
São um indicativo, não a medida exata. As bases são tabelas escritas como documento, mais regulares que um edital, e os erros foram inseridos de propósito. A avaliação com revisão humana item a item, em editais reais, é separada.
Por que o número principal é o da conferência pontual?
Porque é o que a análise de um edital mais faz: afirmar que uma exigência, um prazo ou um valor está no documento, numa página. A divisão entre conferência pontual e varredura foi decidida antes de rodar o teste, e a varredura aparece com os erros que passaram.
O que é um alarme falso no DoubleCheck?
É uma afirmação certa que voltou sinalizada com divergência ou revisão. Custa tempo de conferência, mas não leva a uma decisão errada: o item chega marcado para você abrir o documento.
Posso conferir os dados?
Sim. As 600 afirmações, com o gabarito e o que o verificador respondeu em cada uma, estão para download na página do DoubleCheck em números. Cada rodada é reproduzível pela semente.
Conteúdo informativo, escrito pela equipe Kasiski. Não substitui a análise jurídica do caso concreto.