Economía de modelos
Cómo medir la fiabilidad de un AI Gateway
Define métricas para saber si el gateway está sano y convierte cada métrica en una acción operativa.
Qué aprenderás
- Segment reliability metrics by endpoint and model.
- Separate gateway time from upstream time.
- Every alert needs a threshold, owner, and runbook action.
Antes de empezar
- Basic HTTP and API knowledge
Leave with a concrete implementation checklist and a testable starting point.
Conclusiones clave
- Segmenta por endpoint y modelo.
- Separa tiempo del gateway y del proveedor.
- Cada alerta necesita umbral, responsable y runbook.
Mide resultados
El número de solicitudes no basta. Registra respuestas correctas, errores visibles, tipos de timeout, percentiles de latencia y coste por solicitud correcta.
Segmenta por endpoint y modelo para no ocultar una ruta crítica con un agregado sano.
Panel esencial
Incluye p50, p95 y p99, errores 4xx/5xx, tiempo del gateway frente al proveedor, reintentos, fallbacks y respuestas de rate limit.
Cada métrica debe tener un umbral y una acción concreta.
Salud de la ruta
Combina éxito, latencia y capacidad recientes, con caducidad rápida. Nunca debe saltarse restricciones duras.
Registra la causa de degradación y el modelo alternativo para conservar una línea temporal comprensible.
Cómo elegir
| Criterio | Opción A | Opción B |
|---|---|---|
| Best when | You need predictable behavior and easy auditing | You need adaptive optimization and have reliable telemetry |
| Main risk | May leave performance on the table | Can become difficult to explain or debug |
Pasos de implementación
- 1
Define categorías de éxito y fallo.
- 2
Registra ID, ruta, estado y latencia.
- 3
Crea paneles de percentiles y errores.
- 4
Vincula alertas a runbooks y revísalas tras incidentes.
Ejemplo para copiar
p99_gateway = percentile(total_request_ms, 99)
p99_upstream = percentile(upstream_wait_ms, 99)
fallback_rate = fallback_requests / eligible_requestsPreguntas frecuentes
¿Por qué p99 y no promedio?
El promedio oculta la cola lenta que los usuarios sufren durante una degradación.
Fuentes
- EasyAI documentationFuente verificada 2026-08-27