E · Embedding · evaluación · EU AI Act

Evaluation

Medir la calidad de respuesta de una IA sobre un conjunto curado de preguntas antes de publicar.

En una frase

La evaluation es la práctica de ejecutar un sistema de IA contra un conjunto curado de preguntas representativas, puntuar sus respuestas contra una referencia y bloquear las decisiones de ship en el resultado.

Cuándo importa

Cada vez que cambiáis el retriever, el reranker, el modelo de embedding o el system prompt — sin evaluation, publicáis regresiones a ciegas.

Un ejemplo real

helpcode ajusta el hybrid retrieval por tenant validando contra 50-100 preguntas reales suministradas por el cliente; el equipo solo publica cambios que mejoran recall + precision en el set de eval.

Curado por helpcode research team · Última revisión 2026-05-22