Dados · · 7 min de leitura
Duas IAs leram os mesmos 49 editais. Em 1 de cada 4 itens, a segunda não confirmou a primeira
Backtest do DoubleCheck em 49 editais do PNCP: 25,6% dos 679 itens não saíram confirmados pela segunda IA, e 39% dos editais tiveram ao menos uma divergência.
Por Daniel Bulha, Fundador da KASISKI
Em resumo: rodamos a análise completa do KASISKI Licitações em 49 editais públicos do PNCP, de 10 temas, em pregões e concorrências. Uma IA analisou cada edital e outra, de outro fornecedor, conferiu cada item de forma independente. Dos 679 itens apontados, 174 (25,6%) não saíram confirmados pela segunda IA: 23 divergências diretas e 151 revisões recomendadas. Em 39% dos editais houve pelo menos um ponto em que as duas leram o mesmo trecho de forma diferente.
O estudo mede discordância, não acerto: não houve gabarito humano. O que ele mostra é quantas vezes uma análise de edital feita por uma IA só chegaria a você com cara de certeza num ponto que outra IA contestou.
Por que fazer esse teste
Quem usa IA para ler edital recebe uma resposta bem escrita, organizada e sem nenhum aviso de dúvida. O problema é que a IA erra com a mesma confiança com que acerta (falamos disso em IA alucina em edital?). Uma ferramenta com um modelo só não tem como saber onde a própria leitura é frágil.
O DoubleCheck™ foi criado para isso: um modelo analisa o edital e outro, de outro fornecedor, confere cada conclusão contra o texto. A pergunta do backtest era simples: em editais reais, com que frequência a segunda IA não assina embaixo da primeira?
Os números
| Medida | Resultado | Intervalo de confiança (95%) |
|---|---|---|
| Itens não confirmados (divergência ou revisão recomendada) | 25,6% (174 de 679) | 22,5% a 29,0% |
| Editais com ao menos uma divergência | 39% (19 de 49) | 26,4% a 52,8% |
| Itens com divergência direta | 3,4% (23 de 679) | 2,3% a 5,0% |
| Itens confirmados pelas duas IAs | 74,4% (505 de 679) | — |
Cada item recebeu um de três selos:
- Confirmado: a segunda IA leu o mesmo trecho e chegou à mesma conclusão.
- Divergência: as duas IAs leram o mesmo trecho de formas diferentes. As duas leituras aparecem lado a lado.
- Revisão recomendada: a segunda IA concluiu que o documento não permite afirmar aquilo com segurança, por exemplo porque o trecho é ambíguo ou a informação depende de um anexo.
Os itens vão de exigências de habilitação a cláusulas restritivas e riscos do contrato.
O que esses números dizem
Duas IAs de fornecedores diferentes, lendo o mesmo edital, não concordam o tempo todo. Em quase 4 de cada 10 editais, pelo menos um ponto (uma exigência, um prazo, uma cláusula) teria chegado à empresa com uma interpretação que a segunda IA contestou.
A divergência direta é rara: 3,4% dos itens. Mas ela se espalha. Os 23 itens divergentes estão em 19 editais diferentes, então a chance de um edital ter pelo menos um ponto contestado é alta, mesmo com a taxa por item baixa. Para quem decide participar ou não de uma licitação, o que importa é justamente isso: basta um ponto de habilitação lido errado para inabilitar a empresa ou fazê-la desistir de uma disputa viável.
A maior parte do que não saiu confirmado é revisão recomendada (151 itens). Não é a segunda IA dizendo "está errado", e sim "o texto não sustenta essa conclusão com segurança". Na prática, são os pontos em que vale abrir o edital na página indicada antes de decidir.
Pregão e concorrência
| Modalidade | Editais | Itens | Divergência | Não confirmados | Editais com divergência |
|---|---|---|---|---|---|
| Pregão eletrônico | 34 | 452 | 3,8% (17) | 20,8% (94) | 38% (13) |
| Concorrência | 15 | 227 | 2,6% (6) | 35,2% (80) | 40% (6) |
Nas concorrências, um terço dos itens não saiu confirmado, contra um quinto nos pregões. A diferença está quase toda nas revisões recomendadas, não nas divergências. Faz sentido: concorrências costumam ser obras e serviços de engenharia, com editais mais longos, muitos anexos e exigências técnicas que dependem do termo de referência ou do projeto básico.
Por tema
| Tema | Editais | Itens | Não confirmados |
|---|---|---|---|
| Obra de pavimentação ou construção | 5 | 80 | 38,8% |
| Projetos de engenharia | 5 | 76 | 35,5% |
| Vigilância e monitoramento | 5 | 64 | 31,2% |
| Reforma | 5 | 71 | 31,0% |
| Alimentação | 5 | 63 | 28,6% |
| Veículos, combustível e transporte | 5 | 74 | 28,4% |
| Tecnologia da informação | 5 | 57 | 26,3% |
| Saúde (medicamentos, equipamentos e insumos) | 4 | 59 | 25,4% |
| Limpeza e conservação | 5 | 65 | 4,6% |
| Material escolar e uniformes | 5 | 70 | 2,9% |
O padrão acompanha o das modalidades: obras e engenharia no topo, compras e serviços mais padronizados (limpeza, material escolar) com quase tudo confirmado. Mas cuidado com a leitura: com 5 editais por tema, as diferenças entre temas ainda não são conclusivas. Um único edital confuso muda bastante a taxa de um tema.
O que esses números não dizem
Este backtest mede discordância, não acerto. Não houve gabarito humano, ou seja, ninguém conferiu item a item qual das duas leituras estava certa. Por isso:
- uma divergência não prova que a primeira leitura estava errada (pode ser a segunda);
- um item confirmado não é garantia de que está certo (as duas IAs podem errar do mesmo jeito);
- o estudo não diz quantos erros uma IA comete ao ler edital, e sim quantas vezes uma segunda leitura independente pede atenção.
É por isso que, no app, cada item vem com a página e o trecho do edital, e a decisão fica com a pessoa. O DoubleCheck não substitui a leitura; ele aponta onde ler primeiro.
Como o estudo foi feito
- A lista de editais foi fixada antes de rodar, por uma regra escrita: editais do PNCP com propostas abertas, valor estimado acima de R$ 50 mil, no máximo 2 do mesmo órgão, 10 temas. A rodada foi encerrada em 50 editais, os 5 primeiros de cada tema na ordem da lista.
- Cada edital passou pela análise completa do KASISKI Licitações, com o mesmo protocolo do app: um modelo analisa e outro, de outro fornecedor, confere cada item de forma independente.
- Foi contado o selo de cada item: confirmado, divergência ou revisão recomendada. Nenhum resultado foi retirado.
- As proporções têm intervalo de confiança de 95% (método de Wilson).
- Um edital foi excluído por erro técnico, sem substituição: o PDF não tinha texto extraível (provavelmente escaneado). Por isso a amostra final tem 49 editais.
A lista completa dos 49 editais, com link para cada um no PNCP, está na página do backtest.
O que fazer com isso ao analisar um edital
Use ou não o Kasiski, os números sugerem um jeito prático de trabalhar com IA em edital:
- Trate a análise como triagem, não como veredito. Ela serve para chegar rápido aos pontos que decidem o Go/No-Go, não para dispensar a leitura deles.
- Exija a página de cada conclusão. Item sem página é item a conferir primeiro.
- Confira com mais cuidado em obras, engenharia e concorrências. Foi onde a segunda IA mais pediu revisão.
- Leia o anexo quando a exigência depender dele. Boa parte das revisões recomendadas nasce de informação que está no termo de referência ou no projeto, não no corpo do edital.
- Se houver divergência num ponto de habilitação, resolva antes da sessão. Um pedido de esclarecimento ao órgão custa menos que uma inabilitação.
Perguntas frequentes
Com que frequência duas IAs discordam ao ler um edital?
No backtest com 49 editais do PNCP, 25,6% dos 679 itens não saíram confirmados pela segunda IA: 3,4% foram divergências diretas e 22,2% revisões recomendadas. Em 39% dos editais houve pelo menos uma divergência.
Uma divergência significa que a análise estava errada?
Não necessariamente. Divergência quer dizer que as duas IAs leram o mesmo trecho de formas diferentes; qualquer uma das duas pode estar certa. Ela mostra onde vale abrir o edital na página indicada antes de decidir.
Se as duas IAs concordam, posso confiar no item?
A concordância de dois modelos de fornecedores diferentes reduz o risco, mas não é garantia. Os dois podem errar do mesmo jeito, principalmente quando a informação está num anexo que não foi lido. Para os pontos que decidem a disputa, confira a página citada.
Por que as concorrências tiveram mais itens não confirmados?
Porque costumam ser obras e serviços de engenharia, com editais longos, muitos anexos e exigências técnicas que dependem do termo de referência ou do projeto. No backtest, 35,2% dos itens de concorrências não saíram confirmados, contra 20,8% nos pregões eletrônicos.
Os editais do estudo podem ser consultados?
Sim. A lista dos 49 editais, com link para cada um no PNCP, está na página do DoubleCheck, junto com o resultado por modalidade e por tema.
Conteúdo informativo, escrito pela equipe Kasiski. Não substitui a análise jurídica do caso concreto.