# Backtest do DoubleCheck: desenvolvimento e teste final

Para o número publicado medir o DoubleCheck, e não o quanto ele foi ajustado às rodadas que já vimos, as rodadas ficam em
dois grupos.

## Desenvolvimento (ajustar à vontade)

- Base pública de compras, rodadas 1 a 6 (28/10/2026) e qualquer rodada nova com outra semente.
- Qualquer planilha, inclusive `municipios_ibge.csv`, com semente diferente das de teste abaixo.
- Mudanças de prompt, de regra ou de modelo são decididas aqui.

## Teste final (rodar uma vez, depois de encerrar os ajustes)

Escolhido em 28/10/2026, antes de qualquer ajuste novo. Não rodar antes da hora nem trocar depois de ver o resultado:
o número que sair é o que vai para a página, mesmo que seja pior.

| Base | Arquivo | Semente | Lotes x afirmações | Erradas | Prompt | Verificador |
|---|---|---|---|---|---|---|
| Municípios do IBGE (fora de licitação) | `municipios_ibge.csv` | `teste-final-ibge-7Q3K` | 15 x 20 | 30% | produção | padrão do servidor |
| Base pública de compras (PNCP) | a do dia da rodada (fica guardada na rodada) | `teste-final-pncp-M8R2` | 15 x 20 | 30% | produção | padrão do servidor |

- "Reaproveitar respostas" desmarcado: o verificador responde de novo.
- Rodar pelo Admin (Backtest do DoubleCheck → Nova rodada), uma vez por base. Se uma rodada parar por erro técnico,
  **Continuar** retoma sem refazer os lotes prontos; não vale apagar e rodar de novo.
- Publicar as duas, com a data, o modelo verificador e a versão do app. O número principal é o da **conferência
  pontual** (valor e comparação); a **varredura do documento inteiro** (contagem e maior/menor) sai ao lado, com o mesmo
  destaque para o que ela não faz bem. A divisão foi fixada em 28/10/2026, antes do teste.

## `municipios_ibge.csv`

Cadastro de municípios do IBGE (código, nome, UF, região, capital, latitude, longitude e fuso horário), pelo espelho
público https://github.com/kelvins/municipios-brasileiros (o site do IBGE não responde de fora do Brasil). São 4.000 dos
5.570 municípios, sorteados com a semente `ibge-2026`, para caber no limite de 5.000 registros da rodada. Latitude e
longitude são negativas: "maior" é o valor mais próximo de zero, o que testa uma comparação que a base de compras não
tem.