Procurement de IA: uma avaliação cega só vale se a decisão também tiver critérios prévios

O sinal e os factos que mudam a decisão

O piloto de duplo-cego da DeepMind ataca contaminação e assimetria de informação entre avaliador e fornecedor. Para compras, a lição mais ampla é separar identidade comercial e demonstração preparada da execução medida contra critérios definidos antes de conhecer o resultado.

A confidencialidade bilateral do piloto protege ativos diferentes: os prompts do avaliador e os pesos do fornecedor. O AI RMF pede contexto, medição, gestão e governação; uma tabela de resultados não cobre sozinha as quatro funções.

Benchmarks são comparáveis apenas sob condições declaradas; mudar modelo, temperatura, ferramentas, limites ou dataset pode mudar a conclusão. Cegar o nome sem controlar configuração, prompts, infraestrutura ou seleção de amostras preserva enviesamentos invisíveis. E escolher apenas pelo score técnico ignora dependências contratuais e operacionais que aparecem depois da revelação do fornecedor.

Decisão, limites e condição de bloqueio

Antes de comparar fornecedores, fixe casos, pesos, limiares, dados, custo total, latência, segurança, privacidade, acessibilidade, supervisão e condições eliminatórias. Só depois execute os testes sob identificadores neutros e revele a identidade para avaliar contrato, suporte, jurisdição e risco de saída.

Cegar o nome sem controlar configuração, prompts, infraestrutura ou seleção de amostras preserva enviesamentos invisíveis. E escolher apenas pelo score técnico ignora dependências contratuais e operacionais que aparecem depois da revelação do fornecedor.

Execução e prova de conclusão

A execução deve começar por publicar internamente a grelha, pesos, tolerâncias, critérios eliminatórios e protocolo de desempate antes de receber resultados. Depois, executar várias repetições com casos normais, caudas, abusos e falhas, mantendo custos e configuração por execução. O fecho exige revelar o fornecedor apenas para a fase de due diligence e documentar qualquer alteração à classificação técnica.

A decisão é auditável quando outra equipa consegue reconstruir a grelha, repetir a amostra, chegar à mesma classificação dentro da tolerância e explicar separadamente por que o risco contratual alterou ou não o resultado técnico.

• publicar internamente a grelha, pesos, tolerâncias, critérios eliminatórios e protocolo de desempate antes de receber resultados.
• executar várias repetições com casos normais, caudas, abusos e falhas, mantendo custos e configuração por execução.
• revelar o fornecedor apenas para a fase de due diligence e documentar qualquer alteração à classificação técnica.
• A decisão é auditável quando outra equipa consegue reconstruir a grelha, repetir a amostra, chegar à mesma classificação dentro da tolerância e explicar separadamente por que o risco contratual alterou ou não o resultado técnico.