Kit de piloto
Como testar a precisão de uma ferramenta de análise de edital com os seus editais
Nenhuma ferramenta de análise de edital com IA publica hoje a precisão medida num mesmo conjunto de editais. A forma confiável de comparar é um piloto: 20 a 30 editais do seu segmento, um gabarito montado por uma pessoa antes do teste, as mesmas entradas para cada ferramenta e as mesmas métricas.
Este kit traz o protocolo, as métricas e a planilha. Ele vale para qualquer ferramenta, inclusive a nossa.
Passo a passo
- Escolha 20 a 30 editais do seu segmento, de preferência que a sua equipe já analisou. Misture pregões e concorrências, editais curtos e longos, e pelo menos alguns retificados.
- Monte o gabarito antes de rodar qualquer ferramenta. Para cada edital, preencha na planilha o que o edital diz em cada campo e a página. Quem monta o gabarito não deve ver as respostas das ferramentas antes.
- Rode cada ferramenta nos mesmos editais, com os mesmos arquivos (edital e anexos).
- Confira campo a campo e marque o resultado: acerto, erro, não encontrou, ou sem base no edital (a ferramenta afirmou algo que o edital não diz).
- Calcule as métricas abaixo para cada ferramenta e compare. Dê mais peso aos campos críticos.
As métricas
| Métrica | Como calcular | O que mostra |
|---|---|---|
| Precisão | acertos ÷ tudo o que a ferramenta apontou | Quanto do que ela diz está certo |
| Cobertura (recall) | acertos ÷ tudo o que o gabarito tem | Quanto do edital ela encontrou |
| Itens sem base no edital | afirmações sem base ÷ tudo o que a ferramenta apontou | Quanto ela inventa (alucinação) |
| Rastreabilidade | respostas com a página certa ÷ respostas | Se dá para conferir rápido |
| Erros críticos | erros e omissões nos campos críticos, contados à parte | O risco real de desclassificação |
Campos críticos na planilha: data e hora da sessão pública, prazo de impugnação, prazo de esclarecimento, habilitação jurídica, regularidade fiscal e trabalhista, qualificação econômico-financeira (índices, patrimônio), qualificação técnica (atestados, quantitativos), exigências setoriais (registros, licenças), garantia de proposta, amostra ou prova de conceito, visita técnica, cláusulas restritivas. São os que mais levam a inabilitação, desclassificação ou prazo perdido.
Cuidados para o teste valer
- Use a mesma versão dos arquivos para todas as ferramentas e anote a data do teste.
- Não corrija o gabarito depois de ver as respostas; se achar um erro nele, corrija e reconfira todas as ferramentas.
- Uma resposta certa com a página errada conta como acerto na precisão, mas não na rastreabilidade.
- Com poucos editais a margem de erro é grande: 20 a 30 editais dão uma ideia; menos que 10 não permite concluir.
- Peça a cada fornecedor as mesmas métricas medidas por ele, com a amostra e o método. Afirmação de "alta precisão" sem método não é medida.
Teste o KASISKI Licitações neste protocolo
O teste grátis de 7 dias, sem cartão, inclui 3 análises de edital com a conferência do DoubleCheck™: dá para ver o formato da resposta em editais que você conhece. Para rodar o piloto completo, com 20 a 30 editais, escreva para contato@kasiski.com.br e combinamos o piloto com a sua equipe.
Antes de começar, leia como a análise funciona e o que ela não faz.
Perguntas frequentes
Quantos editais preciso para comparar ferramentas de análise de edital?
Entre 20 e 30 editais do seu segmento dão uma comparação razoável. Com menos de 10, a diferença entre ferramentas pode ser acaso.
O que é alucinação na análise de edital?
É quando a ferramenta afirma algo que o edital não diz: uma exigência, um prazo ou um valor que não está no documento. No piloto, conta como "sem base no edital".
Por que montar o gabarito antes?
Para não ser influenciado pela resposta da ferramenta. Quem já viu a resposta tende a aceitá-la como certa.
Esse protocolo vale para qualquer ferramenta?
Sim. A planilha e as métricas servem para comparar qualquer ferramenta de análise de edital, inclusive a leitura feita por uma pessoa.