Prueba y publica con calidad
Casos de prueba, suites, evaluaciones y la puerta de calidad antes de publicar.
Las pruebas de calidad responden una pregunta: ¿esta versión hace lo que espero? Se corren sobre versiones guardadas, nunca sobre el borrador.
Las piezas#
| Pieza | Qué es |
|---|---|
| Conjunto de casos | De 1 a 200 casos. Cada uno tiene un nombre, el mensaje del cliente y, si quieres, la respuesta esperada |
| Suite | Un conjunto de casos, los evaluadores que califican cada respuesta y el porcentaje de casos que debe aprobar |
| Evaluación | Una ejecución de la suite contra una versión del agente |
| Puerta de calidad | Una suite que toda versión debe aprobar antes de poder publicarse |
Evaluadores disponibles#
| Evaluador | Aprueba cuando la respuesta… |
|---|---|
equals | es exactamente la esperada |
contains | contiene un texto |
starts_with | empieza con un texto |
tool_called | usó una herramienta concreta |
output_rubric | cumple una rúbrica, calificada por un modelo juez |
1. Crea los casos#
"Crea casos de prueba para 'Soporte tienda': un cliente pregunta por su envío sin dar el pedido, otro pide un reembolso y otro saluda."
El chatbot propone los casos y los guarda con create_eval_dataset.
2. Arma la suite#
"Arma una suite con esos casos. Que apruebe si el agente pide el número de pedido cuando corresponde y si nunca promete un reembolso. Exige el 100 %."
Para reglas como "nunca promete un reembolso" el chatbot usará output_rubric, que califica con un modelo juez.
3. Corre la evaluación#
"Evalúa la versión 1 con esa suite y dime el resultado."
La evaluación corre en segundo plano. El chatbot consulta get_evaluation hasta que termina y te muestra cada caso con su calificación.
Nota
Cada caso es una conversación real con el modelo. Por eso las evaluaciones consumen créditos, y el modelo juez también.
4. Exige la calidad antes de publicar (opcional)#
"Que ninguna versión de 'Soporte tienda' se publique sin aprobar esta suite."
Con set_quality_gate, publicar una versión que no aprobó falla con el aviso quality_gate_not_met.
5. Publica#
"Publica la versión 1."
publish_agent_version cambia lo que tus clientes reciben en todos los canales. Por eso el chatbot está instruido para confirmar contigo antes.
Importante
Publicar afecta a tus clientes de inmediato. Si algo sale mal, publica la versión anterior: todas siguen guardadas.