NIST TEVV-Athlon: avaliar IA pelo efeito no mundo real, não só pelo output

O sinal e os factos que mudam a decisão

O NIST abriu em 7 de agosto consulta ao rascunho AI 200-2 TEVV-Athlon até 6 de outubro. O enquadramento pretende adaptar teste, avaliação, verificação e validação a sistemas que incluem LLMs, multimodalidade e agentes, com foco no contexto e no impacto.

TEVV separa atividades complementares e liga avaliação a finalidade, ambiente e consequências. O rascunho é extensível e não define uma única bateria universal para todos os sistemas.

Comentários públicos podem alterar o documento; versão e data devem acompanhar qualquer decisão. Adotar um framework em consulta como requisito final pode congelar uma interpretação e esconder mudanças posteriores.

Decisão, limites e condição de bloqueio

Use o rascunho para estruturar um piloto, marcando claramente o que é orientação em consulta e o que é critério interno aprovado.

Adotar um framework em consulta como requisito final pode congelar uma interpretação e esconder mudanças posteriores.

Execução e prova de conclusão

A execução deve começar por selecionar uma decisão de ia e descrever sistema, contexto, stakeholders e impacto. Depois, mapear teste, avaliação, verificação e validação sem duplicar evidência. O fecho exige submeter feedback ao nist quando o piloto revelar lacuna ou ambiguidade.

O piloto guarda versão do rascunho, critério interno, método, resultado, limitação e decisão de adoção.

• selecionar uma decisão de IA e descrever sistema, contexto, stakeholders e impacto.
• mapear teste, avaliação, verificação e validação sem duplicar evidência.
• submeter feedback ao NIST quando o piloto revelar lacuna ou ambiguidade.
• O piloto guarda versão do rascunho, critério interno, método, resultado, limitação e decisão de adoção.