De Atari a EVE Online: jogos são bons ambientes de teste, não prova automática de generalização

O sinal e os factos que mudam a decisão

A Google DeepMind publicou em 21 de agosto uma retrospectiva de 15 anos de investigação em jogos e anunciou trabalho com developers em novos protótipos. Jogos oferecem regras, feedback e repetibilidade; o mundo real acrescenta consequências, ambiguidade e stakeholders ausentes do ambiente.

Ambientes de jogos permitem repetir e variar condições que seriam caras ou perigosas no mundo real. Recompensa, observabilidade e regras são escolhas do desenho e podem excluir comportamentos relevantes.

Transferência precisa de avaliação externa no contexto de destino, com impacto e falhas próprios. Vitória num benchmark pode ser convertida indevidamente em alegação sobre segurança, colaboração ou robustez fora da distribuição.

Decisão, limites e condição de bloqueio

Use resultados em jogos para testar hipóteses específicas e exija uma ponte explícita entre propriedade medida e tarefa real.

Vitória num benchmark pode ser convertida indevidamente em alegação sobre segurança, colaboração ou robustez fora da distribuição.

Execução e prova de conclusão

A execução deve começar por declarar qual capacidade o ambiente mede e quais propriedades não mede. Depois, variar regras, adversários, observação, recompensa e condições fora da distribuição. O fecho exige testar a tarefa de destino com utilizadores e consequências reais limitadas.

Qualquer alegação de transferência cita o teste intermédio, a amostra real, as falhas e a incerteza restante.

• declarar qual capacidade o ambiente mede e quais propriedades não mede.
• variar regras, adversários, observação, recompensa e condições fora da distribuição.
• testar a tarefa de destino com utilizadores e consequências reais limitadas.
• Qualquer alegação de transferência cita o teste intermédio, a amostra real, as falhas e a incerteza restante.