Benchmark não é SLO: produção precisa de taxa de tarefa, cauda e abstenção

O sinal e os factos que mudam a decisão

Novos modelos chegam acompanhados por benchmarks, mas produção opera com distribuição própria, dependências, falhas de ferramentas e objetivos de serviço. Um score público informa seleção; não define o SLO da aplicação.

Benchmark mede uma amostra sob protocolo; SLO mede serviço real ao longo do tempo. Qualidade precisa de auditoria amostral e sinais indiretos porque nem toda resposta tem rótulo imediato.

Abstenção correta pode ser sucesso em tarefas onde inventar resposta é mais grave do que não responder. O sistema pode manter benchmark alto enquanto falha no dado atual, no idioma local ou quando uma ferramenta devolve resultado parcial.

Decisão, limites e condição de bloqueio

Converta valor do produto em SLOs observáveis: tarefa aceite, fundamentação, latência, custo, segurança, abstenção e recuperação.

O sistema pode manter benchmark alto enquanto falha no dado atual, no idioma local ou quando uma ferramenta devolve resultado parcial.

Execução e prova de conclusão

A execução deve começar por definir tarefa, população, gravidade e resultado aceite. Depois, instrumentar qualidade amostral, latência de cauda, custo e falhas de dependência. O fecho exige ligar breach de slo a fallback, limitação de escopo ou rollback de modelo.

O serviço publica SLO, método de medição, cobertura, error budget e decisões tomadas quando o orçamento é excedido.

• definir tarefa, população, gravidade e resultado aceite.
• instrumentar qualidade amostral, latência de cauda, custo e falhas de dependência.
• ligar breach de SLO a fallback, limitação de escopo ou rollback de modelo.
• O serviço publica SLO, método de medição, cobertura, error budget e decisões tomadas quando o orçamento é excedido.