Avaliação externa de IA: sete provas antes de aceitar um relatório
O AI Office está a trabalhar requisitos de independência e qualificação para avaliadores externos de modelos de uso geral com risco sistémico. Mesmo fora desse perímetro, quem compra uma avaliação deve saber distinguir ensaio reproduzível de um selo comercial.
- Natureza
- Análise operacional baseada no AI Act, AI Office, GPAI Code e NIST AI RMF
- Quem deve ler
- Compras, risco, segurança, jurídico e donos de sistemas de IA
- Publicado e verificado
- 3 de agosto de 2026
- Limite
- Não constitui certificação nem parecer jurídico sobre o estatuto do sistema
Em resumo
Contratar uma entidade externa não transfere a responsabilidade pela decisão. Um relatório útil identifica conflitos, equipa, versão exata do modelo e do sistema, ferramentas permitidas, orçamento de teste, cenários de dano, resultados brutos, incerteza e limitações. Sem estes elementos, uma percentagem de sucesso não permite comparar versões, reproduzir falhas nem decidir se o risco residual cabe no uso previsto.
- Independência exige revelar relações financeiras, serviços anteriores, acesso do fornecedor e incentivos ligados ao resultado.
- O objeto avaliado é uma configuração concreta — modelo, system prompt, ferramentas, dados, filtros e limites — e não apenas um nome comercial.
- O cenário de teste deve representar uma via plausível para dano; um benchmark genérico não prova segurança no contexto real.
- A organização que usa o relatório continua responsável por aceitar limitações, impor controlos e definir a próxima reavaliação.
O que está confirmado e o que ainda está a ser construído
O AI Act atribui à Comissão poderes de avaliação sobre modelos de uso geral e impõe aos fornecedores de modelos com risco sistémico avaliações segundo protocolos e ferramentas de referência, incluindo testes adversariais documentados. O GPAI Code desenvolve práticas de avaliação e mitigação para os signatários.
A 15 de julho de 2026, o AI Office reuniu especialistas para discutir independência e qualificação de avaliadores externos. Essa consulta informa requisitos futuros; não criou, por si, uma licença universal ou uma lista de avaliadores aprovados para qualquer sistema.
Cadeia mínima de confiança
- 1 · MANDATOFixar a pergunta
Definir decisão, risco, população, cenário e limiar antes de escolher o teste.
- 2 · INDEPENDÊNCIADeclarar relações
Registar conflitos, remuneração, trabalhos anteriores e intervenção do fornecedor.
- 3 · EXECUÇÃOCongelar configuração
Guardar versões, ferramentas, dados, orçamento, repetições e ambiente.
- 4 · RESULTADOEntregar prova
Separar observações, inferências, incerteza, limitações e falhas de cobertura.
- 5 · DECISÃOAceitar risco explicitamente
Nomear controlos, dono, prazo e gatilhos de reavaliação.
As sete provas que devem acompanhar a conclusão
A qualificação da equipa não substitui a rastreabilidade do ensaio. Peça currículo e experiência, mas também um protocolo que permita a outra equipa perceber o que foi feito e porque é relevante para a decisão.
Gate de aceitação do relatório
| Prova | Pergunta | Falha que bloqueia |
|---|---|---|
| Independência | Quem pagou, influenciou e reviu? | Conflito ou intervenção não declarados |
| Competência | Quem desenhou e executou cada teste? | Experiência apenas genérica ou sem responsáveis |
| Objeto | Que modelo, versão, sistema e ferramentas? | Nome comercial sem configuração |
| Cenário | Que via para dano está a ser medida? | Benchmark sem ligação ao uso |
| Método | Que prompts, dados, orçamento e repetições? | Procedimento não reproduzível |
| Resultado | Quais dados brutos, erros e intervalos? | Pontuação agregada sem dispersão |
| Limites | O que não foi testado ou não generaliza? | Conclusão mais ampla do que a evidência |
Converter o relatório numa decisão útil
Ligue cada resultado a um risco e a um controlo. Uma falha pode exigir bloquear uma ferramenta, reduzir autonomia, reforçar revisão humana, mudar dados, limitar utilizadores ou adiar a entrada em produção. Um resultado favorável num cenário não autoriza extrapolar para outros.
Guarde o relatório com o inventário do sistema e programe nova avaliação quando mudar o modelo, o fornecedor, o prompt de sistema, as ferramentas, os dados, o público, o risco ou o orçamento de inferência.
- Exija anexos executáveis ou amostras suficientes para reproduzir resultados materiais.
- Registe resultados negativos e testes inconclusivos, não apenas o resumo executivo.
- Mantenha separadas a conclusão técnica, a interpretação jurídica e a decisão de negócio.
- Use um avaliador diferente ou revisão por pares quando a materialidade e o conflito o justificarem.
Fontes consultadas
Consultadas na data de atualização indicada.
Abre numa nova janela.- 01Workshop on qualification requirements for external GPAI evaluatorsEuropean AI Office · EU-DIGITAL
- 02European AI Office — mandate and tasksEuropean Commission · EU-DIGITAL
- 03Guidelines on obligations for general-purpose AI model providersEuropean Commission · EU-DIGITAL
- 04Regulation (EU) 2024/1689 — Artificial Intelligence ActEUR-Lex · EU-EURLEX
- 05General-Purpose AI Code of PracticeEuropean Commission · EU-DIGITAL
- 06Artificial Intelligence Risk Management FrameworkNational Institute of Standards and Technology · GL-NISTAI
Participar
Partilhe a análise. Acrescente contexto.
Divulgue a matéria no seu canal ou deixe uma observação ligada ao tema.
Comentários
A carregar a conversa.