Formação em IA: medir pensamento crítico é mais útil do que contar prompts

O sinal e os factos que mudam a decisão

A OpenAI publicou em 27 de agosto resultados sobre formação de estudantes em pensamento crítico com ChatGPT. A publicação é evidência produzida pelo próprio fornecedor e deve ser lida com a respetiva metodologia; ainda assim, coloca uma pergunta operacional importante: a formação mudou a qualidade da decisão ou apenas aumentou a utilização da ferramenta?

A notícia deve ser citada como resultado reportado pela OpenAI, não como consenso independente sobre aprendizagem com IA. O AI RMF exige métricas ligadas ao contexto e às consequências; adoção e competência são variáveis diferentes.

Pensamento crítico é um conjunto de comportamentos que pode ser avaliado em tarefas, justificações, correções e decisões de escalamento. Uma melhoria num contexto educativo ou num estudo do fornecedor não transfere automaticamente para trabalho real. Participantes, incentivos, tarefas, modelo, duração e avaliadores podem alterar o efeito; sem controlo, a formação pode aumentar confiança sem aumentar precisão.

Decisão, limites e condição de bloqueio

Uma empresa deve definir antes do curso comportamentos observáveis: verificar fontes, declarar incerteza, contestar premissas, comparar alternativas, reconhecer quando não usar IA e escalar decisões de alto impacto. O sucesso deve ser medido com tarefas cegas antes e depois, não por satisfação ou volume de sessões.

Uma melhoria num contexto educativo ou num estudo do fornecedor não transfere automaticamente para trabalho real. Participantes, incentivos, tarefas, modelo, duração e avaliadores podem alterar o efeito; sem controlo, a formação pode aumentar confiança sem aumentar precisão.

Execução e prova de conclusão

A execução deve começar por construir uma amostra de tarefas reais com respostas de referência, riscos, fontes permitidas e critérios de pontuação ocultos ao participante. Depois, medir antes, imediatamente depois e semanas depois, separando precisão, calibração, qualidade de fontes, tempo e escalamento. O fecho exige comparar com um grupo ou baseline equivalente e rever o curso quando a confiança sobe mais do que a qualidade.

A formação só fecha como eficaz quando os dados mostram melhoria sustentada nas tarefas definidas, sem aumento material de erros graves, e quando avaliadores conseguem repetir a classificação com concordância aceitável.

• construir uma amostra de tarefas reais com respostas de referência, riscos, fontes permitidas e critérios de pontuação ocultos ao participante.
• medir antes, imediatamente depois e semanas depois, separando precisão, calibração, qualidade de fontes, tempo e escalamento.
• comparar com um grupo ou baseline equivalente e rever o curso quando a confiança sobe mais do que a qualidade.
• A formação só fecha como eficaz quando os dados mostram melhoria sustentada nas tarefas definidas, sem aumento material de erros graves, e quando avaliadores conseguem repetir a classificação com concordância aceitável.