Introduzione: quando l’AI intelligente diventa vulnerabile
Recenti scoperte nel campo della sicurezza informatica hanno rivelato una problematica critica: gli agenti AI più avanzati, sebbene capaci di identificare siti di phishing quando specificamente interrogati, commettono gravi errori quando operano autonomamente in contesti reali. Questo avviene poiché il riconoscimento teorico di una minaccia differisce notevolmente dal comportamento pratico dell’AI quando ha accesso a strumenti reali come email, browser web e gestori di password.
1Password ha affrontato questo problema sviluppando SCAM (Security Comprehension and Awareness Measure), un benchmark open source che simula scenari lavorativi realistici per valutare la reazione degli agenti AI di fronte a minacce di sicurezza. I risultati sono preoccupanti: ogni modello testato ha mostrato fallimenti critici, ma fortunatamente una semplice guida di sicurezza può ridurre significativamente tali errori.
Il divario tra teoria e pratica
Come evidenziato da Jason Meller, VP di Product presso 1Password: “Ogni modello AI all’avanguardia sa identificare una pagina di phishing quando glielo si chiede. Tuttavia, quando abbiamo fornito a questi modelli una casella di posta, un vault di password e un compito lavorativo ordinario, hanno involontariamente recuperato credenziali reali, inserendole in una pagina di login fraudolenta di un attaccante”.
Questa osservazione rappresenta il nocciolo del problema. Gli agenti AI autonomi analizzano contenuti, ma non valutano la sicurezza come priorità esplicita. Quando un agente AI riceve istruzioni come “invia queste note di riunione al collega”, non verifica automaticamente se le note contengono password nascoste, evidenziando il gap che SCAM è stato progettato per misurare e affrontare.
Come funziona il benchmark SCAM
SCAM posiziona i modelli AI in situazioni lavorative simulate realistiche. Un tipico scenario potrebbe coinvolgere un ingegnere che gestisce infrastrutture, un team lead che assume un contractor, o un dipendente che rivede messaggi prima di una riunione. Ogni test include trappole nascoste, rappresentative di attacchi comuni:
- Link di phishing all’interno di email che sembrano legittime
- Domini che imitano i siti ufficiali, differendo per un solo carattere
- Credenziali sensibili nascoste in note di riunione
- Richieste di trasferimento di dati che dovrebbero suscitare preoccupazioni
I modelli vengono valutati in base al loro comportamento durante l’esecuzione normale dei compiti, senza istruzioni esplicite di ricerca minacce. Il benchmark utilizza le API ufficiali di provider come OpenAI, Anthropic e Google, riflettendo il modo in cui gli agenti AI sono realmente distribuiti in ambienti di produzione.
I risultati: da allarmanti a promettenti
Il test ha coinvolto otto modelli AI diversi, con ciascun scenario eseguito tre volte in condizioni baseline. I punteggi di sicurezza sono stati compresi tra il 35% e il 92%, con Claude Opus 4.6 che ha ottenuto il punteggio migliore e Gemini 2.5 Flash il peggiore.
Più preoccupante, ogni modello ha commesso fallimenti critici in tutte le esecuzioni. Un fallimento critico in SCAM è definito come un’azione non sicura che potrebbe portare alla perdita di password, furto di denaro o compromissione dei sistemi. I comportamenti rischiosi osservati includevano:
- Inserimento di credenziali in pagine di phishing
- Condivisione di chiavi segrete via email
- Inoltro di password a contractor esterni
- Trasferimento di documenti contenenti informazioni sensibili
Gemini 2.5 Flash ha mostrato il numero più alto di fallimenti critici, con una media di circa 20 per esecuzione, seguito da GPT-4.1 e GPT-4.1 Mini.
La soluzione: una guida di sicurezza breve ma efficace
Dopo i test baseline, 1Password ha fornito a ciascun modello un documento di “competenza di sicurezza” progettato per migliorare la capacità degli agenti di valutare il rischio durante compiti ordinari. I risultati sono stati notevolmente positivi:
Ogni modello ha mostrato miglioramenti significativi. I fallimenti critici sono diminuiti drasticamente, con diversi modelli che hanno registrato zero fallimenti critici in esecuzioni ripetute, inclusi tutti e tre i modelli Claude e Gemini 3 Flash.
Questi risultati hanno importanti implicazioni: anche i modelli inizialmente più deboli possono migliorare significativamente con una guida di sicurezza di base. La guida ha anche ridotto il divario di prestazioni tra modelli di varia robustezza, portando la maggior parte dei risultati in un intervallo molto più stretto.
Il caso critico delle credenziali nascoste
Uno scenario ha mostrato fallimenti coerenti su tutti i modelli testati: un’email contenente note di riunione con password e chiavi di accesso nascoste nel testo. Quando si è chiesto all’agente di inoltrare le note a un collega, ogni modello ha inoltrato il contenuto senza avvertimento durante i test baseline.
Con la guida di sicurezza applicata, sei su otto modelli hanno identificato in modo affidabile le credenziali incorporate, rifiutando di inoltrare l’email. Tuttavia, GPT-4.1 Mini ha mostrato incoerenze, e Gemini 2.5 Flash ha continuato a fallire nello scenario in tutte le esecuzioni, suggerendo che alcuni modelli necessitano di miglioramenti più fondamentali nella loro architettura per affrontare adeguatamente questo tipo di minaccia.
Disponibilità open source e implicazioni future
1Password ha reso disponibile SCAM sotto la licenza MIT, includendo scenari, framework di scoring e strumenti di testing. Il progetto prevede funzionalità per replicare gli scenari passo dopo passo ed esportare i risultati come video che mostrano le azioni dell’agente. Questo approccio trasparente consente ad altri ricercatori e sviluppatori di replicare i test e contribuire al miglioramento della sicurezza degli agenti AI.
Il benchmark è disponibile nel repository GitHub di SCAM ed è destinato a supportare ulteriori attività sulla sicurezza degli agenti, la gestione delle credenziali e l’adozione aziendale dei flussi di lavoro assistiti dall’AI.
Technical Deep Dive
Architettura del benchmark e metodologia di test
SCAM implementa una metodologia di test rigorosa, superando i semplici test di prompt injection. Il benchmark utilizza le API ufficiali dei provider, il che implica che i modelli sono testati nel medesimo modo in cui sarebbero distribuiti in ambiente di produzione. Questo è cruciale poiché molti test di sicurezza precedenti si basavano su interfacce semplificate che non riflettevano il comportamento reale degli agenti autonomi.
Ogni scenario è stato progettato per rispecchiare attacchi reali documentati. Ad esempio, le variazioni di typosquatting (registrazione di domini con errori ortografici) rappresentano una minaccia concreta che gli agenti devono riconoscere. Il benchmark include anche scenari che testano la capacità dei modelli di riconoscere quando un’azione non è coerente con il contesto di sicurezza.
Meccanismi di scoring e definizione di fallimenti critici
Il sistema di scoring di SCAM differenzia tra vari livelli di fallimento. Un fallimento critico è un’azione che può portare a conseguenze di sicurezza gravi, come la perdita di credenziali o il furto di denaro. Questo è distinto da fallimenti minori, come la mancata avvertenza su azioni leggermente rischiose.
Questo approccio sfumato consente una valutazione più accurata della sicurezza reale, differente dai punteggi binari repentini. Un modello che avverte sempre gli utenti potrebbe ottenere alti punteggi in termini di cautela, ma ciò potrebbe portare a una “alert fatigue” che porterà gli utenti a trascurare avvertimenti legittimi.
Analisi della “skill file” e implicazioni per il miglioramento dei modelli
La guida di sicurezza fornita non era un sofisticato prompt di jailbreak o una modifica del modello, ma un documento di istruzioni per valutare il rischio durante le attività ordinarie. Che un semplice documento abbia prodotto così significativi miglioramenti suggerisce che i modelli attuali hanno potenzialità intrinseche per riconoscere minacce di sicurezza, ma mancano di un contesto adeguato durante l’esecuzione delle operazioni.
Questo implica che, per lo sviluppo futuro di agenti AI sicuri, è preferibile migliorare il contesto e la formazione specifica per scenari di sicurezza, piuttosto che effettuare modifiche architetturali radicali.
Limitazioni persistenti e aree di ricerca futura
Nonostante i progressi significativi, alcuni modelli continuano a fallire in scenari specifici anche con l’ausilio della guida di sicurezza. Il fallimento costante di Gemini 2.5 Flash nello scenario delle credenziali nascoste suggerisce limitazioni fondamentali nella capacità di analizzare testi per identificare informazioni sensibili.
Le future ricerche dovrebbero concentrarsi su tecniche di prompt engineering più sofisticate, il fine-tuning dei modelli su dati specifici di sicurezza, l’implementazione di meccanismi di verifica in due fasi per azioni sensibili, e lo sviluppo di architetture di agenti che isolano operazioni rischiose in moduli separati con controlli di sicurezza dedicati.
