Un agente AI dovrebbe poter dimostrare chi lo controlla, per conto di chi agisce e quale sia il perimetro della delega ricevuta. È l’interessante proposta dello Stanford Institute for Human-Centered Artificial Intelligence (HAI) in Designing Loyalty: AI Agents and Conflicts of Interest.
Tra le misure proposte, una prima misura è sulla verificabilità dell’identità dell’agente. Stanford propone credenziali crittografiche di breve durata, task-scoped e revocabili in tempo reale. Traggono esempi applicativi su banca, ospedale o merchant che potrebbero verificare identità dell’utente, soggetto che controlla l’agente e ampiezza dell’autorizzazione, prima di eseguire una richiesta. Oggi l’agente può utilizzare le credenziali dell’utente apparendo alla controparte come l’utente stesso. E’ una criticità evidente per tracciabilità, controllo della delega e attribuzione della responsabilità.
Un secondo livello proposto è quello del #data_minimization, con l’agente che dovrebbe accedere esclusivamente ai dati e ai sistemi necessari al task. Non è difficile, infatti, comprendere che permessi più estesi aumentano contemporaneamente privacy risk e attack surface.
Nel report viene evidenziato anche l’ importanza dell’ #incident_reporting. Azioni non autorizzate, danni finanziari e deviazioni rilevanti dalle istruzioni, dovrebbero essere segnalati alla FTC secondo una tempistica proporzionata alla severità dell’evento. Stanford identifica così una classe di rischio agentico distinta dai rischi catastrofici associati ai frontier models.
Si arriva, poi, al nucleo del paper con l’introduzione di #duty_of_loyalty per developer e deployer, inizialmente nei settori consumer ad alto impatto come finanza e sanità. La proposta comprende disclosure dei rapporti commerciali che possono condizionare le decisioni, contrasto al self-preferencing, consenso informato per utilizzi dei dati ulteriori rispetto al mandato e consenso affermativo per determinate operazioni sensibili.
La ragione della proposta è strutturale, perché un agente può scegliere ed eseguire azioni mentre developer e deployer mantengono propri incentivi economici. L’utente può, quindi, delegare una decisione senza conoscere le alternative scartate né sapere se la scelta sia stata influenzata da advertising, partnership o interessi della piattaforma.
Stanford evidenzia come protocolli come MCP, ACP e A2A risolvono l’interoperabilità, senza incorporare necessariamente consenso, minimizzazione dei dati, limiti agli utilizzi commerciali o obblighi di lealtà. In questo vuoto, il protocollo diventa governance de facto e ciò che l’architettura permette per default tende a diventare comportamento ammesso dall’ecosistema.
Dottoressa Valeria Lazzaroli
Valeria Lazzaroli è Presidente dell’Ente Nazionale per l’Intelligenza Artificiale (ENIA) e Chief AI & Risk Officer di ARISK®, spin-off deeptech del Politecnico di Torino specializzato in AI per il Risk Management. Economista, psicologa del lavoro e sociologa dell’innovazione.