Una demostración puede parecer convincente en cinco minutos. Un sistema de inteligencia artificial, en cambio, debe responder de manera útil cuando cambian los documentos, aparecen preguntas inesperadas o una persona necesita saber de dónde salió una respuesta.
Entre ambas cosas hay un trabajo menos vistoso y más decisivo: preparar la información, establecer límites, medir calidad y diseñar cómo intervendrán las personas.
La calidad empieza antes del modelo
Si la información está desactualizada, duplicada o mal organizada, el modelo no corrige esos problemas por arte de magia. Un proyecto fiable identifica fuentes autorizadas, define quién las mantiene y establece qué contenido debe quedar fuera.
En sistemas que responden usando documentación propia, hay que evaluar no solo si la respuesta suena bien, sino si está respaldada por las fuentes correctas, si reconoce que no sabe y si evita exponer datos que no corresponden al usuario.
Medir lo que importa
Antes de desplegar, conviene construir un conjunto de preguntas representativas y acordar criterios de evaluación: exactitud, utilidad, referencias, tiempo de respuesta y tasa de derivación a una persona. Después, se revisa el sistema con casos reales, incluidos los incómodos y los excepcionales.
La supervisión humana no debería ser una casilla genérica. Hay que decidir qué decisiones requieren aprobación, cómo se informa de un error y quién tiene autoridad para detener o modificar el servicio.
Un producto vivo
El lanzamiento no es la meta. Cambian los datos, las necesidades del equipo y el comportamiento de los modelos. Por eso, una solución en producción necesita responsables, seguimiento, un canal de comentarios y un proceso de actualización.
La IA pasa de experimento a herramienta cuando cabe en el trabajo diario sin exigir confianza ciega. La parte «inteligente» importa; también importan la operación, la evaluación y las personas que se hacen cargo de sus resultados.