Edoardo Marchesi Intelligenza artificiale e modelli generativi occupano un posto centrale nel dibattito pubblico. Un modello generativo è un sistema statistico che, a partire da grandi quantità di esempi, apprende a prevedere la parola o il pixel successivo e a produrre testi, immagini o codice. In termini semplici, generalizza pattern osservati nei dati e li ricombina in output plausibili. Non comprende come un umano, ma stima probabilità.
Capire questa base è il primo passo per distinguere cosa può fare davvero e dove si fermano le sue capacità.
Il tema è rilevante perché l’uso di questi sistemi tocca privacylavoro e sicurezza. Nella maggior parte dei casi i benefici operativi sono concreti, ma emergono anche limiti come le allucinazioni e vulnerabilità come gli attacchi adversarial.
Questo articolo presenta i principi dell’addestramento, il ruolo del prompt, le cause degli errori, le tecniche di attacco e fornisce criteri pratici per valutare rischi reali rispetto a timori percepiti, con esempi comprensibili e senza riferimenti a mode o tendenze passeggere.
Che cosa significa addestrare un modello generativo
L’addestramento di un modello generativo consiste nell’ottimizzare milioni o miliardi di parametri per ridurre l’errore nel predire elementi successivi in sequenza.
Il dataset contiene testi, immagini o codice scelti per coprire linguaggi e contesti diversi. Dal punto di vista concettuale, il modello costruisce una rappresentazione latente dello spazio dei dati: non memorizza ogni esempio, ma apprende strutture ricorrenti. Fasi tipiche includono pre-addestramento su dati ampi, eventuale messa a punto su compiti specifici e allineamento alle preferenze umane. L’output è guidato da probabilità, non da comprensione semantica profonda, motivo per cui coerenza formale e verità fattuale possono divergere.
Il ruolo del prompt: istruzioni, contesto e limiti
Il prompt è l’insieme di istruzioni e contesto che indirizza il comportamento del modello. Un prompt efficace definisce chiaramente obiettivo, formato e vincoli (per esempio lunghezza, stile e passi logici). In termini pratici, il prompt fornisce un condizionamento che sposta le probabilità dell’output verso regioni desiderate. Tuttavia, un prompt non crea conoscenza: se il modello non ha appreso un concetto o non lo ha generalizzato correttamente, tenderà a produrre risposte plausibili ma errate. Tecniche utili sono la scomposizione in passi, l’uso di esempi e la definizione esplicita di ciò che non si vuole ottenere.
Perché avvengono le allucinazioni
Le allucinazioni sono affermazioni sicure ma false. Nascono dall’ottimizzazione per plausibilità più che per veridicità e dalla tendenza a colmare lacune con pattern simili. Rumore nei dati, ambiguità del prompt e mancanza di verifica esterna amplificano il problema. Un modello può generare una bibliografia inesistente o un dettaglio tecnico inventato perché la struttura della risposta è coerente statisticamente. Strategie di mitigazione includono grounding con fonti verificate, richiesta esplicita di incertezza (per esempio chiedere di indicare quando mancano dati), controllo umano su usi critici e limitazione del dominio a conoscenze comprovate.
Attacchi adversarial: dal prompt injection al data poisoning
Un sistema generativo può essere bersaglio di attacchi adversarial. Il prompt injection tenta di sovrascrivere le istruzioni principali inducendo comportamenti non desiderati, ad esempio spingendo il modello a ignorare vincoli o a rivelare informazioni riservate presenti nel contesto. Il data poisoning mira a inquinare i dati di addestramento o di messa a punto con esempi malevoli, alterando risposte future. Tecniche di evasion modificano gli input per aggirare filtri o classificatori. Difese pratiche includono isolamento delle istruzioni di sistema, filtraggio del contenuto, validazione di fonti, monitoraggio e valutazioni di sicurezza ripetute nel tempo, oltre a politiche di minima esposizione dei dati sensibili.
Rischi reali e rischi percepiti: privacy, lavoro, sicurezza
Per la privacy il rischio reale riguarda l’immissione di dati sensibili nel prompt o nei log di sistema. Evitare informazioni personali, usare controlli di accesso e adottare istanze on-premise o con data controls riduce l’esposizione. Il rischio percepito che il modello “ricordi” automaticamente ogni dato concreto è spesso esagerato: senza addestramento ulteriore, l’input non diventa conoscenza permanente, ma può essere memorizzato nei sistemi che gestiscono le richieste. Sul lavoro i modelli automatizzano compiti ripetitivi e accelerano bozze e prototipi; il rischio reale è la dequalificazione se mancano supervisione e formazione, mentre il timore di sostituzione totale ignora l’importanza del controllo umano e delle competenze di dominio. In termini di sicurezza i rischi concreti sono fuga di segreti tramite prompt, generazione di codice vulnerabile e manipolazioni; mitigazioni: policy d’uso, revisione, test e segregazione dei dati.
Esempi classici e buone pratiche operative
Un esempio classico: un’azienda chiede bozza di email includendo un numero di carta di credito nel prompt. Rischio reale: esposizione del dato nei log; soluzione: rimuovere o redigere i campi sensibili. Altro caso: uno studente chiede referenze bibliografiche specifiche e ottiene titoli plausibili ma inesistenti; pratica migliore: fissare il requisito “solo fonti verificate” e controllare manualmente. In ambito tecnico, un modello propone codice elegante ma con vulnerabilità note; mitigazione: code review e strumenti di analisi statica. Per la sicurezza contro il prompt injection, si definiscono confini tra dati esterni e istruzioni di sistema, si sanificano input e si applicano checklist di risposta.
Criteri pratici per valutare affidabilità e rischio
Una valutazione robusta considera: 1) dominio dell’uso (basso rischio per bozze creative, alto per decisioni sanitarie o legali), 2) verificabilità degli output (presenza di fonti o calcoli ricontrollabili), 3) tracciabilità del processo (log controllati, versioni del prompt), 4) failsafe e revisione umana, 5) protezione dei dati (minimizzazione, cifratura, isolamento), 6) esposizione ad attacchi (superfici di input, integrazioni esterne). Applicare questi principi rende l’uso più prevedibile e fa emergere dove servono procedure formali rispetto a contesti sperimentali o a basso impatto.
I modelli generativi restano strumenti potenti quando impiegati con obiettivi chiari, controllo umano e disciplina operativa. Comprendere addestramento, prompt, allucinazioni e attacchi consente di separare i pericoli concreti dai timori generici e di massimizzare utilità e sicurezza. La differenza tra uso ingenuo e uso professionale non è l’algoritmo, ma la qualità del contesto, delle verifiche e delle regole che lo circondano.