Esto es lo que ocurre cuando despliega un asistente de IA sobre su base de conocimientos interna:
Un nuevo ingeniero pregunta: "¿Cómo configuro el entorno de ensayo?".
La IA busca en su documentación, encuentra tres documentos relevantes, sintetiza una respuesta y la presenta con confianza. El ingeniero sigue las instrucciones. Los dos primeros pasos funcionan. El paso tres hace referencia a una herramienta CLI que quedó obsoleta hace seis meses. El paso cuatro describe una configuración de infraestructura que fue sustituida durante una migración que nadie documentó.
El ingeniero está atascado. Envían un mensaje al canal del equipo. Alguien dice: "Oh, ese documento es muy antiguo". La IA no lo sabía. No puede saberlo. Simplemente buscó todo lo que encontró y lo presentó como verdad.
Este es el comportamiento por defecto de cada sistema RAG, cada herramienta de búsqueda de IA y cada asistente impulsado por LLM que haya utilizado alguna vez en documentos internos. Lo buscan todo. No discriminan. No distinguen lo fresco de lo rancio.
Y está destruyendo la confianza en las herramientas de IA más rápido de lo que esas herramientas pueden construirla.
Por qué los asistentes de IA son ciegos a la calidad
Los grandes modelos lingüísticos y los sistemas de generación aumentada por recuperación (RAG) funcionan encontrando texto que sea semánticamente relevante para una consulta y, a continuación, utilizando ese texto para generar una respuesta. La concordancia de relevancia suele ser excelente. La búsqueda vectorial y las incrustaciones son realmente buenas a la hora de encontrar contenidos relacionados con una pregunta.
Pero relevancia no es lo mismo que fiabilidad.
Un documento escrito en 2023 sobre su proceso de despliegue de Kubernetes es muy relevante para la pregunta "¿cómo despliego en producción?" También es completamente erróneo si usted migró a una plataforma diferente en 2024. La IA ve texto relevante. No ve un documento que está 18 meses desfasado con enlaces rotos y cero lectores.
La mayoría de los sistemas de IA tienen exactamente una señal de clasificación: semejanza semántica con la consulta. Eso es todo. No comprueban:
- ¿Cuándo se revisó este documento por última vez?
- ¿Siguen siendo válidos los enlaces que contiene?
- ¿Hay alguien leyendo realmente este documento?
- ¿Han marcado los lectores el contenido como obsoleto?
- ¿Se trata de un borrador, de una página archivada o de un documento actual?
- Si existe en varios idiomas, ¿están actualizadas las traducciones?
Sin estas señales, la IA está haciendo una concordancia de palabras clave con pasos adicionales. Un cotejo de palabras clave impresionante, sí, pero fundamentalmente incapaz de decirle si la respuesta que está dando se basa en un contenido en el que puede confiar.
El problema de la confianza
Esto no sería tan peligroso si las herramientas de IA presentaran respuestas inciertas con las advertencias adecuadas. Pero no lo hacen. No es así como funcionan las LLM. Generan textos fluidos y seguros independientemente de si el material fuente es actual o antiguo.
Un humano que lea un artículo de wiki podría notar que parece anticuado. El diseño de la página es antiguo. Las capturas de pantalla muestran una interfaz de usuario que ya no existe. Hay un comentario al final que dice "esto está anticuado". Un humano puede aplicar su criterio.
Una IA no puede. Lee el texto, lo procesa como equivalente a cualquier otro texto y genera una respuesta que suena autoritaria. El usuario, especialmente un recién contratado que no sabe cómo es el proceso actual, no tiene motivos para dudar de ella.
Cuanta más confianza suene la IA, más daño hace el material de origen obsoleto.
Lo que la IA realmente necesita
Para que un asistente de IA dé respuestas fiables a partir de su base de conocimientos, necesita algo más que texto e incrustaciones. Necesita metadatos que le digan qué documentos merece la pena utilizar como fuentes. Concretamente:
1. Puntuación de frescura
Una señal numérica que representa la salud de un documento en este momento. No cuándo se editó por última vez, eso es sólo una entrada. Una verdadera puntuación de frescura combina el estado de revisión, la salud de los enlaces, el número de lectores, la alineación de la traducción y la deriva contextual en un único número.
Cuando un documento obtiene una puntuación por encima de un umbral (digamos, 70 sobre 100), es apto para ser utilizado como fuente para las respuestas de la IA. Por debajo de ese umbral, queda excluido. No hay excepciones.
Este único mecanismo elimina la clase más peligrosa de errores de IA: las respuestas erróneas basadas en fuentes obsoletas.
2. Estado de caducidad
¿Este documento se encuentra actualmente dentro de su plazo de revisión o ha caducado sin haber sido reaprobado? Un documento caducado debe ser fuertemente despriorizado o excluido por completo, independientemente de lo relevante que pueda ser su contenido para la consulta.
En Rasepi, los documentos caducados se marcan y su puntuación de frescura desciende automáticamente. Un sistema de IA que consulte la base de conocimientos puede ver este estado y actuar en consecuencia.
3. Etiquetas de clasificación
No todos los documentos sirven para lo mismo. Un borrador no debería utilizarse como fuente. Un documento archivado no debería aparecer en las respuestas de AI. Un documento interno no debe aparecer en las consultas de herramientas externas.
Las etiquetas de clasificación proporcionan a la IA el contexto sobre el tipo de documento que está consultando:
- Publicado. Actual, aprobado, seguro de usar
- Borrador: trabajo en curso, no debe citarse.
- En revisión.** Expirado, en espera de reaprobación
- Archivado. Ya no activo, guardado sólo como referencia
- Interna / Externa. Controla el alcance de la visibilidad
Cuando un asistente de IA procesa una consulta, puede filtrar por clasificación antes incluso de fijarse en la relevancia del contenido. Un borrador de documento que coincida perfectamente con la consulta nunca debe ser servido como respuesta.
4. Señales a nivel de idioma
Si su base de conocimientos es multilingüe, la IA necesita saber si la versión de la que está extrayendo la información es actual. Una traducción al francés que lleva tres meses de retraso con respecto a la fuente en inglés es técnicamente relevante en francés, pero la información podría estar desfasada.
Rasepi realiza un seguimiento de la actualidad a nivel de idioma. Cada traducción tiene su propia puntuación basada en si sus bloques de origen han cambiado desde la última actualización de la traducción. Una IA que consulte la base de conocimientos en francés puede ver que la versión francesa de un documento está obsoleta y, o bien:
- Volver a la fuente inglesa (que es actual)
- Incluir una advertencia de que la versión francesa puede estar anticuada
- Excluir el documento por completo
5. Señales de lectura
Si varios lectores han marcado un documento como obsoleto, esa señal debería reducir el peso del documento en las respuestas de la IA. Las señales de calidad crowdsourced son ruidosas, pero valiosas, especialmente cuando se combinan con otras métricas de frescura.
Cómo funciona en la práctica
Veamos qué ocurre cuando un asistente de IA consulta una base de conocimientos Rasepi:
Consulta: "¿Cuál es nuestro proceso para gestionar un incidente P1 a las 2 de la madrugada?"
Paso 1: Recuperación con filtrado. El sistema busca documentos semánticamente relevantes. Antes de clasificarlos, los filtra:
- Los documentos con una puntuación de frescura inferior al umbral
- Documentos caducados que no han sido reaprobados
- Borradores y contenidos archivados
- Documentos cuya versión lingüística esté obsoleta (si la consulta está en una lengua no primaria)
Paso 2: Clasificación ponderada en función de la frescura. Entre los documentos restantes, los que obtienen puntuaciones de frescura más altas se clasifican mejor. Un documento con una puntuación de 94 supera a otro con una puntuación de 72, incluso si el documento con una puntuación de 72 tiene una similitud semántica ligeramente superior.
**Paso 3: Generación de respuestas La IA genera una respuesta a partir de las fuentes filtradas y clasificadas según su frescura. Cada fuente se cita con su puntuación de frescura visible.
**Paso 4: Advertencias de caducidad: si la mejor fuente disponible tiene una puntuación de frescura límite, la IA incluye una advertencia: "Nota: la fuente principal de esta respuesta se revisó por última vez hace 60 días. Es posible que desee verificarla con el equipo".
Compare esto con el comportamiento por defecto: encontrar el texto relevante, generar una respuesta segura, esperar lo mejor.
Qué ocurre cuando no se hace esto
Las consecuencias de que los sistemas de IA funcionen con bases de conocimientos sin filtrar son predecibles y costosas:
Confusión de los nuevos empleados. El caso de uso más común de la IA para los documentos internos es la incorporación. Los recién contratados, por definición, no saben lo que es actual y lo que es obsoleto. Confían en la IA. La IA confía en todo. Los documentos obsoletos se sirven con confianza.
Exposición al cumplimiento. Si su asistente de IA ofrece orientación sobre procesos normativos utilizando documentos obsoletos, el asesoramiento no sólo puede ser erróneo, sino que puede incumplir la normativa. "La IA me lo dijo" no se sostiene en una auditoría.
Erosión de la confianza. Cada vez que la IA da una respuesta errónea, los usuarios confían un poco menos en ella. Después de tres o cuatro malas experiencias, dejan de utilizarla. La inversión en herramientas de IA no aporta ningún valor porque el contenido subyacente no era digno de confianza.
Conocimiento en la sombra. Cuando la gente pierde la confianza en la base de conocimientos oficial (y en la IA construida sobre ella), crea la suya propia: Mensajes de Slack, notas personales, conocimiento tribal compartido en reuniones. La fragmentación que se suponía que la wiki debía evitar se produce de todos modos, sólo que de forma diferente.
La solución está en la fuente, no en el modelo
Existe la tentación de solucionar esto en la capa de IA: mejores avisos, canalizaciones RAG más sofisticadas, modelos afinados que puedan detectar de algún modo el estancamiento a partir del texto únicamente. Este es el enfoque equivocado.
La solución está en la fuente. Si sus documentos llevan metadatos ricos y precisos sobre su estado actual (puntuación de frescura, estado de caducidad, clasificación, alineación lingüística, señales del lector), entonces cualquier sistema de IA puede utilizar esos metadatos para tomar mejores decisiones. No necesita un modelo más inteligente. Necesita documentos más inteligentes.
Esto es lo que proporciona Rasepi:
- Cada documento tiene una puntuación de frescura en vivo que se actualiza continuamente en función de la salud de los enlaces, el número de lectores, el estado de revisión, etc.
- Cada documento tiene una fecha de caducidad que activa la revisión cuando llega
- Cada documento tiene una clasificación (publicado, borrador, en revisión, archivado)
- Cada versión lingüística tiene su propia señal de frescura para que las traducciones obsoletas se detecten de forma independiente
- Los indicadores de lectura y el seguimiento de referencias cruzadas añaden señales de calidad adicionales
Cuando un sistema de IA consulta la base de conocimientos de Rasepi, todos estos metadatos están disponibles. La IA no tiene que adivinar si un documento es fiable. El documento se lo dice.
Un punto de partida práctico
Si hoy tiene un asistente de IA funcionando en su base de conocimientos, puede empezar a evaluar el problema en 30 minutos:
-
Pregunte a su asistente de IA 10 preguntas de las que conozca las respuestas. Observe qué respuestas utilizan fuentes obsoletas. Probablemente encontrará que al menos 2 ó 3 de cada 10 se basan en contenidos obsoletos.
-
Compruebe los documentos fuente. Para cada respuesta que le haya dado la IA, mire el documento fuente. ¿Cuándo se revisó por última vez? ¿Son válidos los enlaces? ¿Confiaría en él si lo leyera usted mismo?
-
Busque el peor de los casos. Encuentre su documento más antiguo y descuidado que aún aparezca en los resultados de búsqueda. Formule a la IA una pregunta que lo haga aparecer. ¿La IA lo utiliza? Es casi seguro que sí.
-
Estime el impacto. ¿Cuántas consultas al día gestiona su asistente de IA? Si el 20-30% de las respuestas se basan en contenidos obsoletos, ¿cuál es el coste en términos de pérdida de tiempo, decisiones equivocadas y pérdida de confianza?
Los asistentes de IA sólo son tan buenos como el contenido sobre el que se basan. Ahora mismo, la mayoría de ellos tratan todos los documentos de su base de conocimientos como igualmente válidos. Lo buscan todo, el documento que se revisó ayer y el que nadie ha tocado en dos años, y lo presentan todo con la misma confianza.
Eso no es un problema de modelo. Es un problema de calidad de los datos. Y la solución es sencilla: proporcione a sus documentos metadatos que indiquen a las herramientas de IA en qué deben confiar.
Su asistente de IA no debería dar por segura una respuesta procedente de un documento que nadie ha revisado en 18 meses. Con las señales adecuadas, no lo hará.
Rasepi hace que cada documento lleve su propia puntuación de confianza: frescura, estado de caducidad, clasificación, alineación lingüística. Las herramientas de IA consultan la base de conocimientos y obtienen no sólo el contenido, sino el contexto. Las fuentes fiables salen a la superficie. Las obsoletas, no. Así es como debería funcionar la documentación potenciada por la IA.