KASISKI DoubleCheck™ · teste final de 28/10/2026
Sem DoubleCheck, 130 afirmações erradas chegariam como certas. Com ele, nenhuma.
Toda análise feita por IA erra uma parte do que afirma. O DoubleCheck manda cada afirmação para uma segunda IA, de outro fornecedor, que confere contra o documento, e para regras que conferem página e referência. Medimos quanto isso muda o que chega até você, em 600 afirmações com gabarito.
407 afirmações sobre um dado do documento
Cada quadrado é uma afirmação do tipo que a análise de um edital faz: o valor de um campo num registro (“no registro 54, a modalidade é Pregão”) ou uma comparação entre registros. Duas bases públicas: compras do PNCP e municípios do IBGE. Sabemos a resposta certa de todas, porque ela é calculada a partir do próprio dado; 130 foram erradas de propósito.
130afirmações erradas entregues como certas
0afirmações erradas confirmadas; as 130 voltam sinalizadas
- Certa, confirmada
- Certa, sinalizada à toa
- Errada, sinalizada
- Errada, passou como certa
Do que sai confirmado, 271 de 271 afirmações estão certas (100%; intervalo de 95%: 98,6% a 100%). Dos 130 erros, 130 voltam marcados como divergência ou revisão (100%; intervalo de 95%: 97,1% a 100%).
O custo: 6 das 277 afirmações certas (2,2%) foram sinalizadas sem erro, todas comparações: em duas, entre números negativos (latitudes); nas outras, o verificador leu os valores certos e errou a conclusão.
Que erros ele pega
| Erro inserido | Exemplo | Sinalizados |
|---|---|---|
| Maior no lugar de menor | “o valor do registro 36 é menor que o do 2”, quando é maior | 64 de 64 |
| Página errada | o conteúdo está certo, mas na página 6, não na 3 citada | 30 de 30 |
| Valor trocado | “no registro 7, a UF é SC”, quando é SP | 18 de 18 |
| Registro inexistente | cita o registro 97 num documento que vai até o 60 | 18 de 18 |
Na maior parte das divergências (87% no teste todo), o verificador também disse qual era a resposta certa. Página errada era o ponto fraco no começo (33%): uma regra passou a conferir, no próprio documento, em que página está o trecho que o verificador citou. No teste final, ela corrigiu 28 vereditos, todos de páginas erradas de verdade, e não trocou nenhuma afirmação certa.
Onde ele é mais fraco: varrer o documento inteiro
Contar registros ou achar o maior valor exige ler o documento todo, não um trecho. Nas outras 193 afirmações do teste, desse tipo, o resultado é outro, e publicamos igual.
| Afirmação | Certas | Erradas |
|---|---|---|
| Contagem “há 23 registros da região Sudeste” | 31 confirmadas, 54 para revisão ou divergência (de 85) | 22 de 22 sinalizadas |
| Maior ou menor valor “o maior valor estimado é o do registro 59” | 58 de 58 confirmadas | 13 de 28 passaram como certas |
Nas contagens, o verificador prefere pedir revisão humana a confirmar um total que não está escrito: não deixa erro passar, mas manda muita afirmação certa para conferência. No maior ou menor, ele tende a conferir só o registro citado e não procura um valor maior em outra página. Por isso, na análise de um edital, totais e extremos merecem conferência no documento.
Resultado por tarefa
O DoubleCheck não tem uma taxa de acerto única: depende do que se pede para conferir. Cada linha vale só para a tarefa dela.
| Tarefa | Grupo | Afirmações | Erros sinalizados | Confirmadas e certas | Certas sinalizadas à toa |
|---|---|---|---|---|---|
| Extrair um dado “no registro 54, a modalidade é Pregão” | conferência pontual | 210 | 66 de 66 | 144 de 144 (100%) | 0 de 144 |
| Comparar dois registros “o valor do registro 36 é menor que o do 2” | conferência pontual | 197 | 64 de 64 | 127 de 127 (100%) | 6 de 133 |
| Contar registros “há 23 registros da região Sudeste” | varredura do documento | 107 | 22 de 22 | 31 de 31 (100%) | 54 de 85 |
| Achar o maior ou menor valor “o maior valor estimado é o do registro 59” | varredura do documento | 86 | 15 de 28 | 58 de 71 (81,7%) | 0 de 58 |
| Interpretar cláusulas e fazer análise jurídica “a exigência de atestado é restritiva” | Não medido neste teste. Exige gabarito humano, item a item, em editais: é uma avaliação separada, ainda não publicada. | ||||
Medir mudou o próprio DoubleCheck
A primeira rodada mostrou que o verificador aceitava metade das afirmações erradas. É o efeito que os estudos chamam de premissa falsa: a IA recebe uma afirmação pronta e constrói a resposta em cima dela. Ajustamos o pedido ao verificador (primeiro explicar o que o documento diz, depois dar o veredito), acrescentamos a regra de página e medimos de novo.
Mesmo modelo verificador nas duas medidas. Os 13 erros que ainda passam são todos de maior ou menor valor.
E na sua análise?
Escolha quantas afirmações a primeira IA erra. A conta aplica as taxas medidas na conferência pontual (100% dos erros sinalizados, 2,2% das certas sinalizadas à toa) e mostra também o pior caso do intervalo de 95%.
Referências: assistentes populares erram em 9% a 25% das respostas (First Page Sage, set/2026); em perguntas jurídicas, modelos de 2023 erraram de 58% a 88% (Stanford e Yale).
Como medimos
O backtest transforma uma base de dados em documento com páginas (60 registros por lote, 10 por página), escreve afirmações sobre ela com a resposta certa calculada e erra 30% delas de propósito. O verificador recebe só as afirmações, nunca o gabarito, e confere com a mesma chamada que confere a análise de um edital.
Os ajustes foram feitos em rodadas de desenvolvimento. Os números desta página vêm de um teste final escolhido antes: duas bases, sementes sorteadas e anotadas antes dos últimos ajustes, 15 lotes de 20 afirmações em cada, rodados uma vez só, sem repetir. A divisão entre conferência pontual e varredura também foi fixada antes de rodar. Versão 2026.10.148 da plataforma.
| Base | Afirmações | Confirmadas (pontual) | Erros sinalizados (pontual) | Alarmes (pontual) | Semente | Download |
|---|---|---|---|---|---|---|
| Municípios do IBGE | 300 (15 lotes) | 125 de 125 certas | 61 de 61 | 1,6% | teste-final-ibge-7Q3K | CSV |
| Compras públicas do PNCP | 300 (15 lotes) | 146 de 146 certas | 69 de 69 | 2,7% | teste-final-pncp-M8R2 | CSV |
Limites desta medida
Mede o verificador, não a primeira análise: os erros inseridos não têm a mesma distribuição dos erros reais de uma IA lendo um edital.
As bases são tabelas escritas como documento, mais regulares que um edital. Os intervalos de 95% mostram a margem da amostra, não essa diferença.
O DoubleCheck confere o que a análise trouxe; não acrescenta o que ela deixou de ver. Omissões ficam para a avaliação com revisão humana.
Respostas de IA variam entre rodadas iguais: em repetições de desenvolvimento, os alarmes falsos da conferência pontual variaram de 0 a 7%.
Em editais reais, sem gabarito, medimos com que frequência as duas IAs discordam: veja o backtest em 49 editais do PNCP.
Avaliação independente
Estes números foram medidos e publicados pela própria KASISKI. Para que valham como evidência, eles precisam poder ser refeitos por quem não tem interesse no resultado.
- Para refazer este teste: afirmações da base Municípios do IBGE (CSV) · afirmações da base Compras públicas do PNCP (CSV) · protocolo, escrito antes de rodar. Cada linha traz a afirmação, o gabarito e o que o verificador respondeu.
- Para uma avaliação nova: pesquisadores e especialistas em licitações podem propor uma amostra própria, com gabarito humano e critérios definidos por eles. Rodamos o DoubleCheck sem acesso ao gabarito e publicamos o resultado aqui, seja qual for, com o nome de quem avaliou e qualquer relação comercial com a KASISKI.
Contato: contato@kasiski.com.br. Até agora, nenhuma avaliação externa foi publicada.
Perguntas frequentes
Por que o número principal é o da conferência pontual?
Porque é o que o DoubleCheck faz na análise de um edital: conferir se uma exigência, um prazo ou um valor está no documento, na página citada. Contagens e maior ou menor valor exigem varrer o documento inteiro e aparecem nesta página à parte, com os erros que passaram. A divisão foi decidida antes de rodar o teste.
Esses números valem para editais?
São um indicativo, não a medida exata. As bases são tabelas escritas como documento, mais regulares que um edital, e os erros foram inseridos de propósito, não cometidos por uma IA. A avaliação com revisão humana item a item, em editais, é separada.
Posso conferir?
Sim. As afirmações das duas rodadas estão nesta página para download, com o gabarito e o que o verificador respondeu em cada uma. Cada rodada é reproduzível pela semente.
Fontes externas: First Page Sage, taxas de alucinação por plataforma (setembro de 2026); Dahl, Magesh, Suzgun e Ho, “Large Legal Fictions” (Stanford e Yale).