Ecco cosa succede quando si implementa un assistente AI in cima alla sua base di conoscenza interna:
Un nuovo ingegnere chiede: "Come faccio a configurare l'ambiente di staging?".
L'AI cerca nella sua documentazione, trova tre documenti pertinenti, sintetizza una risposta e la presenta con fiducia. L'ingegnere segue le istruzioni. I primi due passaggi funzionano. Il terzo passo fa riferimento a uno strumento CLI che è stato deprecato sei mesi fa. Il quarto passo descrive una configurazione dell'infrastruttura che è stata sostituita durante una migrazione che non è stata documentata.
Il tecnico è bloccato. Invia un messaggio al canale del team. Qualcuno dice: "Oh, quel documento è molto vecchio". L'AI non lo sapeva. Non può saperlo. Ha semplicemente recuperato tutto ciò che ha trovato e lo ha presentato come verità.
**Questo è il comportamento predefinito di ogni sistema RAG, di ogni strumento di ricerca AI e di ogni assistente LLM che lei abbia mai usato per i documenti interni. Recuperano tutto. Non fanno discriminazioni. Non sanno distinguere le cose fresche da quelle stantie.
E sta distruggendo la fiducia negli strumenti di AI più velocemente di quanto questi possano costruirla.
Perché gli assistenti AI sono ciechi alla qualità
I grandi modelli linguistici e i sistemi di retrieval-augmented generation (RAG) funzionano trovando un testo semanticamente rilevante per una query, quindi utilizzando quel testo per generare una risposta. La corrispondenza di pertinenza è solitamente eccellente. La ricerca vettoriale e le incorporazioni sono davvero ottime per trovare i contenuti che si riferiscono a una domanda.
Ma la pertinenza non è la stessa cosa dell'affidabilità.
Un documento scritto nel 2023 sul suo processo di implementazione di Kubernetes è altamente rilevante per la domanda "come faccio a implementare in produzione?". È anche completamente sbagliato se è migrato a una piattaforma diversa nel 2024. L'AI vede un testo rilevante. Non vede un documento non aggiornato da 18 mesi, con link non funzionanti e zero lettori.
La maggior parte dei sistemi di intelligenza artificiale ha esattamente un segnale di ranking: la somiglianza semantica con la query. Tutto qui. Non controllano:
- Quando è stato rivisto l'ultima volta questo documento?
- I link al suo interno sono ancora validi?
- C'è qualcuno che sta leggendo questo documento?
- Il contenuto è stato segnalato dai lettori come obsoleto?
- Si tratta di una bozza, di una pagina archiviata o di un documento attuale?
- Se esiste in più lingue, le traduzioni sono aggiornate?
Senza questi segnali, l'AI esegue una corrispondenza di parole chiave con passaggi aggiuntivi. Una corrispondenza di parole chiave impressionante, sì, ma fondamentalmente incapace di dirle se la risposta che le sta dando è basata su contenuti di cui si può fidare.
Il problema della fiducia
Questo non sarebbe così pericoloso se gli strumenti di AI presentassero risposte incerte con avvertenze appropriate. Ma non lo fanno. Non è così che funzionano i LLM. Generano un testo fluente e sicuro, indipendentemente dal fatto che il materiale di partenza sia attuale o antico.
Un umano che legge un articolo wiki potrebbe notare che sembra datato. Il layout della pagina è vecchio. Gli screenshot mostrano un'interfaccia utente che non esiste più. C'è un commento in fondo che dice "questo è obsoleto". Un umano può applicare un giudizio.
Un'intelligenza artificiale non può farlo. Legge il testo, lo elabora come equivalente a qualsiasi altro testo e genera una risposta che sembra autorevole. L'utente, soprattutto un nuovo assunto che non conosce il processo attuale, non ha motivo di dubitare.
Più l'IA suona sicura, più il materiale di origine stantio viene danneggiato.
Ciò di cui l'AI ha effettivamente bisogno
Affinché un assistente AI fornisca risposte affidabili dalla sua base di conoscenza, ha bisogno di qualcosa di più del testo e degli embeddings. Ha bisogno di metadati che le indichino quali documenti vale la pena utilizzare come fonti. In particolare:
1. Punteggio di freschezza
Un segnale numerico che rappresenta quanto è sano un documento in questo momento. Non quando è stato modificato l'ultima volta, che è solo un input. Un vero punteggio di freschezza combina lo stato delle recensioni, la salute dei link, la readership, l'allineamento della traduzione e la deriva contestuale in un unico numero.
Quando un documento ottiene un punteggio superiore ad una soglia (ad esempio, 70 su 100), è idoneo ad essere utilizzato come fonte per le risposte dell'AI. Al di sotto di tale soglia, viene escluso. Non ci sono eccezioni.
Questo unico meccanismo elimina la classe più pericolosa di errori di AI: risposte sbagliate e sicure basate su fonti obsolete.
2. Stato di scadenza
Questo documento è attualmente nella sua finestra di revisione o è scaduto senza essere riapprovato? Un documento scaduto dovrebbe essere fortemente deprivato o escluso del tutto, indipendentemente dalla rilevanza del suo contenuto per la query.
In Rasepi, i documenti scaduti vengono segnalati e il loro punteggio di freschezza diminuisce automaticamente. Un sistema AI che interroga la base di conoscenza può vedere questo stato e agire di conseguenza.
3. Etichette di classificazione
Non tutti i documenti servono allo stesso scopo. Una bozza non dovrebbe essere utilizzata come fonte. Un documento archiviato non dovrebbe apparire nelle risposte dell'AI. Un documento esclusivamente interno non dovrebbe apparire nelle query degli strumenti esterni.
Le etichette di classificazione forniscono all'AI un contesto sul tipo di documento che sta esaminando:
- Pubblicato. Attuale, approvato, sicuro da usare
- Draft. Lavoro in corso, non deve essere citato
- In corso di revisione.** Scadenza attivata, in attesa di riapprovazione
- Archiviato.** Non più attivo, conservato solo per riferimento
- Interno / Esterno. Controlli l'ambito di visibilità
Quando un assistente AI elabora una query, può filtrare in base alla classificazione prima ancora di esaminare la rilevanza del contenuto. Una bozza di documento che corrisponde perfettamente alla query non dovrebbe mai essere servita come risposta.
4. Segnali a livello di lingua
Se la sua base di conoscenza è multilingue, l'AI deve sapere se la versione da cui attinge è attuale. Una traduzione francese che è tre mesi indietro rispetto alla fonte inglese è tecnicamente rilevante in francese, ma le informazioni potrebbero essere obsolete.
Rasepi tiene traccia della freschezza a livello di lingua. Ogni traduzione ha il proprio punteggio in base al fatto che i blocchi di origine sono cambiati dall'ultimo aggiornamento della traduzione. Un'IA che interroga la base di conoscenza francese può vedere che la versione francese di un documento è obsoleta e o:
- Ritornare alla fonte inglese (che è aggiornata).
- Includere un'avvertenza che la versione francese potrebbe essere obsoleta.
- Escludere completamente il documento
5. Segnali del lettore
Se più lettori hanno segnalato un documento come obsoleto, questo segnale dovrebbe ridurre il peso del documento nelle risposte dell'AI. I segnali di qualità raccolti dalla folla sono rumorosi, ma sono preziosi, soprattutto se combinati con altre metriche di freschezza.
Come funziona in pratica
Vediamo cosa succede quando un assistente AI interroga una base di conoscenza Rasepi:
Domanda: "Qual è il nostro processo per gestire un incidente P1 alle 2 del mattino?".
Fase 1: Recupero con filtraggio. Il sistema cerca documenti semanticamente rilevanti. Prima di classificare, filtra:
- Documenti con punteggio di freschezza inferiore alla soglia
- Documenti scaduti che non sono stati riapprovati
- Bozze e contenuti archiviati
- Documenti la cui versione linguistica è obsoleta (se la query è in una lingua non primaria).
Fase 2: Classifica ponderata per la freschezza. Tra i documenti rimanenti, quelli con punteggi di freschezza più elevati si posizionano più in alto. Un documento con punteggio 94 supera uno con punteggio 72, anche se il documento con punteggio 72 ha una somiglianza semantica leggermente superiore.
Fase 3: generazione della risposta. L'AI genera una risposta dalle fonti filtrate e classificate per freschezza. Ogni fonte è citata con il suo punteggio di freschezza visibile.
**Se la migliore fonte disponibile ha un punteggio di freschezza borderline, l'AI include un'avvertenza: _"Nota: la fonte principale per questa risposta è stata rivista l'ultima volta 60 giorni fa. Potrebbe voler verificare con il team".
Confrontiamo questo con il comportamento predefinito: trovare il testo pertinente, generare una risposta sicura, sperare per il meglio.
Cosa succede quando non lo fa
Le conseguenze dei sistemi di AI che operano su basi di conoscenza non filtrate sono prevedibili e costose:
**Il caso d'uso più comune dell'AI per i documenti interni è l'onboarding. I nuovi assunti, per definizione, non sanno cosa è attuale e cosa è obsoleto. Si fidano dell'AI. L'AI si fida di tutto. I documenti obsoleti vengono serviti con fiducia.
**Se l'assistente AI fornisce indicazioni sui processi normativi utilizzando documenti obsoleti, il consiglio potrebbe non solo essere sbagliato, ma anche non conforme. "L'AI mi ha detto di farlo" non regge in un audit.
**Ogni volta che l'AI dà una risposta sbagliata, gli utenti si fidano un po' meno. Dopo tre o quattro esperienze negative, smettono di usarla. L'investimento in strumenti di IA non offre alcun valore perché il contenuto sottostante non era affidabile.
**Quando le persone perdono fiducia nella base di conoscenza ufficiale (e nell'AI costruita su di essa), ne creano una propria: Messaggi Slack, note personali, conoscenze tribali condivise durante le riunioni. La frammentazione che il wiki avrebbe dovuto evitare avviene comunque, ma in modo diverso.
La soluzione è alla fonte, non al modello
C'è la tentazione di risolvere questo problema a livello di intelligenza artificiale: suggerimenti migliori, pipeline RAG più sofisticate, modelli perfezionati che possano in qualche modo rilevare la stasi dal solo testo. Questo è l'approccio sbagliato.
La soluzione è alla fonte. Se i suoi documenti contengono metadati ricchi e accurati sul loro stato attuale (punteggio di freschezza, stato di scadenza, classificazione, allineamento linguistico, segnali del lettore), qualsiasi sistema di intelligenza artificiale può utilizzare tali metadati per prendere decisioni migliori. Non le serve un modello più intelligente. Ha bisogno di documenti più intelligenti.
Questo è ciò che offre Rasepi:
- Ogni documento ha un punteggio di freschezza in tempo reale che si aggiorna continuamente in base alla salute dei link, ai lettori, allo stato delle recensioni e altro ancora.
- Ogni documento ha una data di scadenza** che attiva la revisione al suo arrivo.
- Ogni documento ha una classificazione** (pubblicato, in bozza, in revisione, archiviato).
- Ogni versione linguistica ha un proprio segnale di freschezza**, per cui le traduzioni stantie vengono rilevate in modo indipendente.
- I flag del lettore e il tracciamento dei riferimenti incrociati** aggiungono ulteriori segnali di qualità.
Quando un sistema AI interroga la base di conoscenza di Rasepi, tutti questi metadati sono disponibili. L'AI non deve indovinare se un documento è affidabile. Il documento glielo dice.
Un punto di partenza pratico
Se oggi ha un assistente AI in esecuzione sulla sua base di conoscenza, può iniziare a valutare il problema in 30 minuti:
-
Porre al suo assistente AI 10 domande di cui conosce la risposta. Notare quali risposte utilizzano fonti obsolete. Probabilmente scoprirà che almeno 2-3 su 10 si basano su contenuti obsoleti.
-
**Per ogni risposta fornita dall'AI, guardi il documento di origine. Quando è stato rivisto l'ultima volta? I link sono validi? Si fiderebbe se lo leggesse personalmente?
-
**Trova il suo documento più vecchio e trascurato che appare ancora nei risultati di ricerca. Ponga all'AI una domanda che lo faccia emergere. L'AI lo usa? Quasi certamente sì.
-
Stimare l'impatto. Quante query al giorno gestisce il suo assistente AI? Se il 20-30% delle risposte si basa su contenuti obsoleti, qual è il costo in termini di tempo sprecato, decisioni sbagliate e perdita di fiducia?
Gli assistenti AI sono validi solo quanto il contenuto su cui sono costruiti. Al momento, la maggior parte di essi considera ogni documento della sua base di conoscenza come ugualmente valido. Recuperano tutto, il documento che è stato rivisto ieri e quello che nessuno ha toccato in due anni, e lo presentano con la stessa fiducia.
Questo non è un problema di modello. È un problema di qualità dei dati. La soluzione è semplice: fornire ai documenti dei metadati che indichino agli strumenti di intelligenza artificiale di cosa fidarsi.
**Il suo assistente AI non dovrebbe essere sicuro di una risposta ottenuta da un documento che nessuno ha esaminato in 18 mesi. Con i segnali giusti, non lo farà.
Rasepi fa sì che ogni documento abbia il suo punteggio di fiducia: freschezza, stato di scadenza, classificazione, allineamento linguistico. Gli strumenti di AI interrogano la base di conoscenza e ottengono non solo il contenuto, ma anche il contesto. Le fonti affidabili emergono. Quelle obsolete no. Ecco come dovrebbe funzionare la documentazione alimentata dall'AI.