Disponibilidade e taxa de erro
Availability / Error Rate
Métrica operacional
BásicoCategoria: Evals, testes e métricasSubcategoria: Métricas operacionais
O que significa
Disponibilidade é a fração do tempo (ou das requisições) em que o serviço respondeu corretamente. É expressa em “noves”: 99,9% significa cerca de 8,7 horas de indisponibilidade por ano.
Taxa de erro é a proporção de requisições que falharam: erro de API, timeout, resposta inválida.
Em sistemas de IA, ambas incluem as dependências: se o fornecedor de modelo cai, a disponibilidade do produto cai junto, a menos que exista fallback.
Como usar na prática de produto
Em Produto, vale definir a meta de disponibilidade da capacidade e derivar dela o que precisa existir: fallback, circuit breaker, segundo fornecedor.
Uma capacidade que depende de um único fornecedor com 99,5% de disponibilidade não chega a 99,5% no total, porque as indisponibilidades da sua própria infraestrutura se somam às dele.
Por exemplo, meta de 99,5% no assistente; o fornecedor principal entrega 99,3%. Um segundo fornecedor acionado por fallback torna a meta atingível.
Quando usar este termo ou outro
Use disponibilidade e taxa de erro como indicadores de infraestrutura.
Use fidelidade, taxa de sucesso e alucinação como indicadores de qualidade.
Um painel de capacidade de IA precisa dos dois grupos: pode estar 100% disponível e respondendo mal.
Uma forma simples de diferenciar: disponibilidade é “está no ar?”; qualidade é “está respondendo bem?”.
Exemplos de aplicação
- Meta: definir 99,5% de disponibilidade e derivar a necessidade de fallback.
- Fornecedor: adicionar um segundo fornecedor para atingir a meta.
- Painel: exibir disponibilidade ao lado de métricas de qualidade.
- Dependências: mapear todos os serviços dos quais a capacidade depende.
- Noves: traduzir a meta em horas de indisponibilidade tolerada por ano.
Como calcular
Fórmulas:
Disponibilidade = tempo operacional ÷ tempo total (ou requisições bem-sucedidas ÷ total de requisições).
Taxa de erro = requisições com falha ÷ total de requisições.
Composição de dependências:
Em série (o produto depende de todas): disponibilidade total ≈ produto das disponibilidades. Exemplo: 0,999 × 0,995 ≈ 0,994.
Com fallback independente: indisponibilidade total ≈ produto das indisponibilidades. Exemplo: 0,001 × 0,005 = 0,000005.
Passo a passo:
1. Registre cada requisição com seu resultado (sucesso ou tipo de falha).
2. Calcule a disponibilidade e a taxa de erro no período.
3. Mapeie as dependências e calcule a disponibilidade composta.
Exemplo:
Meta de 99,5%. Fornecedor principal com 99,3% e infraestrutura própria com 99,9%: em série, 0,993 × 0,999 ≈ 99,2%, abaixo da meta. Com segundo fornecedor de 99,3% como fallback, a indisponibilidade dos dois cai para 0,007 × 0,007 ≈ 0,00005, e a meta passa a ser atingível.
Como interpretar:
Cada dependência em série reduz a disponibilidade; cada fallback independente a aumenta. A meta define quantos fallbacks são necessários.
Origem do termo
Engenharia de confiabilidade de sites (Google SRE, 2016); os 'noves' de disponibilidade.
Fonte técnica
Google SRE Book, Service Level Objectives