Un chatbot risponde. Un agente può scegliere uno strumento, preparare parametri, attivare un'azione e osservare il risultato. Questa capacità apre a usi utili: creare un ticket, preparare un ordine, aggiornare un fascicolo o orchestrare una ricerca. Cambia anche la natura del rischio. Una risposta errata diventa un'operazione reale.
La sicurezza di un agente non si basa sulla sua buona volontà né su un prompt che gli chiede di essere prudente. Si basa su strumenti limitati, autorizzazioni verificate, convalide, un'idempotenza e una tracciabilità indipendenti dal modello.
Distinguere conversazione, decisione ed esecuzione
Il sistema deve separare:
- l’intenzione espressa dall’utente;
- l'interpretazione e il piano proposti dal modello;
- la decisione di autorizzare;
- l’esecuzione da parte di un servizio deterministico;
- la verifica del risultato.
Il modello può suggerire. Lo strato di politica decide se lo strumento è disponibile, se l’utente possiede il diritto e se è necessaria un’approvazione. Il servizio aziendale convalida le impostazioni e applica le regole come per qualsiasi altra interfaccia.
Propagare l'identità dell'utente
Un agente non deve agire con un account amministratore generico. L'azione deve essere collegata all'identità, all'organizzazione e al contesto della persona che la richiede. Quando l'agente utilizza un account di servizio, trasporta una delega verificabile e limitata.
I diritti sono controllati per ogni strumento e risorsa. Una conversazione precedente non costituisce un'autorizzazione duratura. Le deleghe scadono e non possono essere estese dal modello.
Progettare strumenti stretti
Uno strumento sicuro corrisponde a una capacità professionale precisa: creer_brouillon_commande, rechercher_dossiers_autorises o proposer_creneaux. Possiede uno schema di ingresso rigoroso, delle convalide, un perimetro e un risultato strutturato.
Al contrario, uno strumento executer_sql, appeler_url o lancer_commande dà al modello uno spazio troppo ampio. Anche protetto da un’istruzione, aumenta notevolmente il rischio di esfiltrazione o distruzione.
Gli strumenti espongono il minimo dei dati e nascondono i segreti. Non accettano parametri liberi quando è possibile una lista consentita.
Classificare le azioni per livello di rischio
Una classificazione pragmatica può distinguere:
- lettura di dati già autorizzati ;
- proposta senza modifiche ;
- creazione reversibile in bozza ;
- azione con conferma dell’utente;
- azione con approvazione indipendente;
- azione vietata all’agente.
Il livello dipende dall'impatto, dalla portata e dalla reversibilità. Inviarsi una bozza e inviare un contratto a mille destinatari non rientrano nella stessa politica.
Ciclo sicuro di un'azione agentica dall’intenzione fino alla verifica e alla compensazione.
Anteprima prima di agire
Per un'azione sensibile, l'agente produce una rappresentazione chiara: oggetto, destinatari, dati modificati, importo, conseguenze e possibilità di ritorno. L'utente conferma l'azione esatta, non una formula vaga come « continua » dopo diversi scambi.
La conferma scade ed è collegata a un hash dei parametri. Se l'agente modifica l'ordine, è necessaria una nuova convalida.
Applicare l'idempotenza
Gli agenti possono ripetere una chiamata dopo un intervallo di tempo o una risposta ambigua. Ogni operazione di creazione o pagamento utilizza una chiave di idempotenza e restituisce lo stato di un tentativo esistente.
Lo strumento distingue tra fallimento prima dell'esecuzione, risultato sconosciuto e successo. Il modello non deve indovinare che un'operazione è fallita e rilanciarla liberamente.
Verificare il risultato
Una risposta HTTP riuscita non garantisce che l’obiettivo di business sia raggiunto. Dopo l’esecuzione, il sistema rilegge lo stato, verifica gli invarianti e confronta il risultato atteso.
L'agente annuncia solo ciò che è confermato. Può dire che una richiesta è «registrata e in attesa» piuttosto che «elaborata» quando il flusso di lavoro non è completato.
Prevedere la compensazione
Alcune azioni possono essere annullate; altre richiedono un'operazione inversa o un intervento. Ogni strumento documenta:
- finestra di annullamento;
- compensazione possibile ;
- dati da conservare;
- responsabile ;
- comunicazione da inviare.
Una transazione finanziaria o un messaggio esterno può essere difficilmente reversibile. La soglia di approvazione deve tenerne conto.
Difendere contro l'iniezione di prompt
Le email, le pagine e i documenti consultati possono contenere istruzioni dannose. Il sistema li tratta come dati. Non possono modificare l'elenco degli strumenti, le politiche o i segreti.
I dati recuperati sono delimitati, le azioni richiedono regole indipendenti e le uscite sono filtrate prima di essere utilizzate come parametri. Un'istruzione proveniente da un contenuto esterno non può attivare un'approvazione.
Limitare l'esfiltrazione
Uno strumento di invio o di archiviazione esterna può servire a esfiltrare dati. Le destinazioni sono controllate: domini, account, canali e volumi. Gli allegati e i campi sensibili sono rilevati secondo la politica dell'organizzazione.
L'agente non riceve i segreti API. I connettori li utilizzano lato server e non li restituiscono mai nei risultati.
Memoria e contesto
La memoria conversazionale può mescolare cartelle, utenti o periodi. Ogni elemento memorizzato ha un proprietario, un perimetro e una durata. I dati sensibili non vengono conservati per impostazione predefinita.
Prima di un'azione, i parametri critici vengono riletti dalla fonte di verità, non da un riassunto di conversazione potenzialmente vecchio.
Diario di revisione
Il diario deve permettere di ricostruire:
- domanda e identità;
- versione della politica ;
- piano e strumenti selezionati;
- parametri convalidati;
- approvazioni ;
- chiamate e risultati;
- verifica;
- errore o compensazione.
I prompt completi non devono essere conservati senza necessità. La registrazione rispetta la minimizzazione, i diritti di accesso e la durata di conservazione.
Ambienti e limiti
Gli agenti di test non utilizzano gli strumenti di produzione. Le azioni sono limitate per importo, volume, frequenza, orario e ambito. Un meccanismo di interruzione permette di disattivare rapidamente uno strumento o un agente.
Le chiamate in uscita, i download e l'esecuzione di codice possono essere collocati in ambienti isolati con rete e durata limitate.
Testare gli scenari avversi
I test comprendono:
- istruzione dannosa in un documento;
- utente senza diritto;
- accumulo di ruoli;
- parametro fuori schema;
- ripetizione dopo ritardo;
- strumento non disponibile;
- risposta parziale;
- tentativo di inviare a una destinazione vietata ;
- approvazione scaduta;
- cambiamento delle impostazioni dopo la convalida.
I comportamenti attesi sono automatizzati quando possibile e riprodotti a ogni cambiamento di modello o prompt.
Sorvegliare l'autonomia
Gli indicatori seguono il tasso di azioni proposte, approvate, modificate, fallite, annullate e compensate. Le discrepanze tra piano e risultato vengono analizzate. Un volume insolito o una nuova destinazione genera un avviso.
L'autonomia può essere aumentata progressivamente per uno strumento stabile, su importi e popolazioni limitati. Può anche essere ridotta immediatamente.
Costruire un primo caso d'uso
Il miglior pilota è frequente, limitato, reversibile e misurabile. Ad esempio: cercare informazioni autorizzate, preparare una bozza, chiedere una convalida e poi creare un compito. Evita pagamenti, cancellazioni di massa o decisioni normative.
Il pilota stabilisce le fondamenta riutilizzabili: identità, motore di policy, registro degli strumenti, approvazione, audit e osservabilità.
L’agente come nuovo utente del SI
Un agente deve essere trattato come un attore ad alto livello di automazione, sottoposto a maggiori controlli, non a meno. Le regole aziendali restano nei servizi, i poteri sono limitati e ogni azione è dimostrabile.
Partitech può progettare agenti collegati ad applicazioni, API e dati, con strumenti specifici, una governance delle autorizzazioni e una convalida umana. Il valore deriva dall'automazione sicura di un processo, non dal numero di strumenti accessibili al modello.
Parliamo del tuo progetto
Identificare e mettere in sicurezza un primo processo agentico con Partitech. Contatta Partitech.