Il sistema AI è pronto. E la tua azienda? 3 domande da farsi prima di adottare l'AI.

Introduzione

Negli ultimi due anni l'intelligenza artificiale è passata da argomento da convegno a strumento di lavoro quotidiano: basta un abbonamento, un plugin o un tool acquistato online per iniziare a usarla in un reparto amministrativo, in un ufficio HR, nel customer service.

Il più delle volte l’adozione avviene senza una vera decisione aziendale: è un dipendente, o un singolo reparto, che inizia a usare uno strumento perché “fa risparmiare tempo”.

È proprio in questa adozione informale, silenziosa, che si nasconde il rischio maggiore.

L'AI Act non chiede alle aziende di rinunciare a questi strumenti, ma chiede loro di sapere cosa stanno usando, per fare cosa e con quali conseguenze. Il caso che segue è volutamente comune, perché la situazione che descrive si ripete con protagonisti e settori diversi in moltissime PMI italiane.

Il venerdì pomeriggio che cambia tutto

Marco è titolare di una piccola impresa. Da qualche mese, come tante altre aziende di ogni settore, ha iniziato a usare un assistente basato su intelligenza artificiale per velocizzare alcune attività quotidiane: rispondere più rapidamente alle email dei clienti, effettuare una prima selezione dei curriculum ricevuti, preparare bozze di documenti e report. Nessuna decisione formale, nessuna valutazione preventiva: lo strumento si è semplicemente inserito nella routine di lavoro, un compito alla volta.

Un venerdì pomeriggio arriva una richiesta che Marco non si aspettava. Un candidato escluso da una selezione chiede di sapere quale ruolo abbia avuto il sistema di AI nella valutazione della sua candidatura, quali elementi siano stati considerati e se il risultato sia stato effettivamente riesaminato da una persona.

Marco si rende conto che nessuno in azienda ha mai verificato in modo strutturato quale funzione svolga quello strumento, quale livello di rischio presenti e quali obblighi possano derivare dal suo utilizzo. Non sa rispondere. E soprattutto non sa se quella verifica avrebbe dovuto essere effettuata prima di inserirlo nel processo aziendale.

Non è un caso limite, né legato a un settore specifico. È lo scenario che moltissime PMI italiane rischiano di vivere nei prossimi mesi, qualunque sia l'attività che svolgono.

Perché questo conta adesso

L'intelligenza artificiale in azienda si è diffusa più velocemente delle regole pensate per governarla. Per anni l'adozione di un tool AI è stata una scelta puramente operativa: si valutava il costo, la facilità d'uso, il risparmio di tempo. Il quadro normativo europeo cambia questa prospettiva.

L’AI Act adotta un approccio basato sul rischio: gli obblighi variano in funzione della finalità prevista del sistema, del contesto nel quale viene utilizzato, dei suoi possibili effetti e del ruolo assunto dall’impresa. I sistemi impiegati in ambiti particolarmente delicati, come il lavoro, il credito, l’istruzione o l’accesso a servizi essenziali, possono essere classificati ad alto rischio e sono soggetti a requisiti più rigorosi.

La cosa che sorprende molti imprenditori è che questi obblighi non riguardano solo chi sviluppa l'intelligenza artificiale, ma anche chi la utilizza nella propria organizzazione. In altre parole, se in azienda si usa un sistema di IA per selezionare candidati, contribuire alla valutazione del merito creditizio di una persona oppure assumere o supportare decisioni che producono effetti significativi sugli interessati, l’impresa può essere soggetta a obblighi specifici. La natura e l’intensità di tali obblighi dipendono però dalla funzione concreta del sistema, dalla sua classificazione e dal ruolo assunto dall’impresa.

Chi aspetta che tutti gli obblighi diventino pienamente applicabili rischia di trovarsi, come Marco, a dover rispondere a una domanda per la quale non si è mai preparato.

Le 3 domande da farsi prima di premere "attiva"

Non serve un team di giuristi per iniziare. Serve porsi, con onestà, tre domande fondamentali prima di introdurre un sistema di intelligenza artificiale in un processo aziendale.

1. Che tipo di decisioni prende (o influenza) questo sistema?

La prima domanda riguarda il ruolo concreto che il sistema di intelligenza artificiale svolge nel processo aziendale.

Un conto è utilizzare uno strumento che prepara una bozza, organizza informazioni o propone un suggerimento che viene poi valutato criticamente da una persona. Un altro conto è impiegare un sistema che attribuisce punteggi, ordina priorità, esclude determinate opzioni o orienta in modo significativo una decisione che riguarda clienti, lavoratori o candidati.

Pensiamo, per esempio, a un processo di selezione del personale. Un sistema di supporto potrebbe analizzare i curriculum ricevuti e segnalare quelli nei quali sono presenti determinate competenze o esperienze professionali. Il selezionatore, tuttavia, esamina comunque i profili, verifica le informazioni e decide autonomamente quali candidati convocare.

Diverso è il caso di un sistema che assegna automaticamente un punteggio ai candidati, li colloca in una graduatoria o esclude quelli che non superano una determinata soglia. In questa situazione, anche se la decisione finale viene formalmente attribuita a una persona, il risultato prodotto dal sistema può condizionare in modo determinante l’intero processo.

La presenza di un essere umano, infatti, non è sufficiente, da sola, a garantire una supervisione effettiva.

Se il dipendente si limita a confermare sistematicamente il risultato prodotto dall’intelligenza artificiale, senza disporre delle competenze, delle informazioni, del tempo o dell’autorità necessari per valutarlo e modificarlo, il controllo umano rischia di essere soltanto apparente.

È il fenomeno comunemente definito automation bias: la tendenza a considerare attendibile il risultato prodotto da un sistema automatizzato e ad accettarlo senza una verifica realmente critica.

Per questo motivo, prima di adottare uno strumento di intelligenza artificiale, non basta chiedersi se una persona intervenga formalmente nel processo. Occorre verificare se quella persona sia concretamente in grado di:

• comprendere il significato dell’output prodotto;
• conoscere i principali limiti del sistema;
• individuare eventuali errori o risultati anomali;
• decidere di non utilizzare l’output oppure modificarlo quando necessario;
• assumere una decisione autonoma e consapevole.

L’AI Act adotta un approccio basato sul rischio e presta particolare attenzione ai sistemi impiegati in contesti nei quali l’output può incidere sui diritti o sulle opportunità delle persone, come la selezione del personale, la valutazione dei lavoratori, l’accesso al credito o a determinati servizi essenziali.

La questione decisiva, quindi, non è stabilire se il sistema “decida da solo” in senso assoluto, ma comprendere quanto il suo risultato condizioni, in concreto, la decisione umana.

Prima di premere “attiva”, l’azienda dovrebbe quindi chiedersi: questo strumento si limita ad assistere le persone oppure sta diventando, di fatto, il soggetto che determina la scelta?

2. Su quali dati si basa, e chi può spiegarne il funzionamento?

La seconda domanda riguarda la trasparenza e la tracciabilità del sistema.

Se fosse necessario ricostruire il ruolo svolto dall’intelligenza artificiale in un processo aziendale, comprendere gli elementi che hanno inciso sul risultato o rispondere alla richiesta di un cliente, di un dipendente o di un’autorità, l’azienda disporrebbe delle informazioni necessarie?

Molti strumenti di intelligenza artificiale, soprattutto quelli basati su modelli complessi, producono risultati attraverso meccanismi che non sono immediatamente comprensibili da chi li utilizza ogni giorno. Per questo vengono spesso descritti come una “scatola nera”: si conoscono i dati inseriti e il risultato ottenuto, ma non sempre è semplice ricostruire il percorso seguito dal sistema.

Ciò non significa che l’azienda debba conoscere il codice sorgente o comprendere ogni dettaglio matematico del modello. Significa, però, che deve disporre di informazioni sufficienti per utilizzare lo strumento in modo consapevole.

Prima dell’adozione, è quindi opportuno verificare:

• quale sia la finalità prevista del sistema;
• quali dati o categorie di dati vengano trattati;
• quali output possa produrre;
• quali siano le sue capacità e i suoi limiti conosciuti;
• quali errori o risultati inattendibili possano verificarsi;
• come debbano essere interpretati gli output;
• quali forme di supervisione umana siano necessarie.

Queste informazioni dovrebbero risultare dalla documentazione e dalle istruzioni fornite dal fornitore e, quando necessario, essere integrate dalle procedure interne dell’impresa.

Per i sistemi classificati ad alto rischio, l’AI Act prevede specifici obblighi di trasparenza e richiede che il fornitore metta a disposizione istruzioni sufficientemente chiare da consentire al deployer di comprendere e utilizzare correttamente il sistema.

Anche quando il sistema non è ad alto rischio, la mancanza di informazioni sulle sue caratteristiche, sui suoi limiti e sulle condizioni di utilizzo costituisce un segnale da non sottovalutare.

Prima di premere “attiva”, l’azienda dovrebbe quindi chiedersi: conosciamo abbastanza questo strumento da poterlo usare, controllare e spiegare in modo responsabile?

3. Chi, in azienda, è responsabile se qualcosa va storto?

La terza domanda è forse la più scomoda, perché costringe a superare la logica secondo cui "l'abbiamo comprato da un fornitore serio, quindi è a posto".

L’acquisto da un fornitore qualificato non trasferisce integralmente su quest’ultimo la responsabilità dell’impresa. L’AI Act distribuisce obblighi differenti tra i soggetti coinvolti nella catena del valore. Il fornitore risponde della conformità del sistema e degli adempimenti che gli competono. L’impresa che utilizza il sistema, invece, deve governarne l’impiego concreto all’interno della propria organizzazione.

Acquistare una soluzione conforme non significa, infatti, che essa possa essere utilizzata per qualsiasi finalità, in qualsiasi contesto e senza controlli.

L’azienda deve verificare che il sistema venga impiegato secondo le istruzioni ricevute, da persone adeguatamente formate e nell’ambito delle finalità e dei processi per i quali è stato valutato. Deve inoltre predisporre controlli proporzionati ai rischi e intervenire quando emergono anomalie, errori o effetti inattesi.

Per questo è necessario definire con chiarezza ruoli e responsabilità interne:

• chi autorizza l’introduzione dello strumento;
• chi valuta la documentazione e le informazioni fornite dal fornitore;
• chi controlla che il sistema venga utilizzato correttamente;
• chi monitora errori, anomalie o cambiamenti nelle prestazioni;
• chi gestisce reclami, incidenti e richieste di chiarimento;
• chi può decidere di limitarne o sospenderne l’utilizzo.

Non è sempre necessario creare una nuova figura professionale dedicata esclusivamente all’intelligenza artificiale. I compiti possono essere distribuiti tra direzione, funzione IT, risorse umane, compliance, privacy e responsabili dei processi coinvolti. Ciò che conta è evitare che il sistema venga utilizzato senza una responsabilità effettivamente attribuita.

In assenza di ruoli definiti, quando si verifica un problema la reazione è spesso prevedibile: il reparto operativo chiama l’IT, l’IT rinvia al fornitore, il fornitore richiama le condizioni contrattuali e nessuno è in grado di assumere rapidamente una decisione.

Prima di premere “attiva”, l’azienda dovrebbe quindi chiedersi: se domani questo sistema producesse un risultato errato o contestato, sapremmo chi deve intervenire, cosa deve fare e con quali informazioni?

Cosa puoi fare da domani

Non serve fermare tutto e sospendere l'uso dell'intelligenza artificiale in azienda. Serve un metodo. Alcuni passi concreti, applicabili anche da una PMI senza un ufficio legale interno:

• Fai un inventario reale degli strumenti AI già in uso in azienda, spesso sono più di quanti si pensi, introdotti reparto per reparto senza un quadro d'insieme.
• Verifica la finalità prevista e il concreto contesto di utilizzo di ogni sistema, prestando particolare attenzione agli strumenti che incidono su decisioni riguardanti lavoratori, candidati, clienti o utenti. La classificazione non dipende da quanto il sistema sia tecnologicamente avanzato, ma dalla funzione che svolge e dai rischi connessi al suo impiego.
• Chiedi al fornitore la documentazione minima su dati utilizzati e logica di funzionamento. Se non esiste, è già un segnale da non ignorare.
• Individua uno o più referenti interni, in proporzione alle dimensioni e alla complessità dell’organizzazione, che tenga il polso della situazione e sappia rispondere a domande come quella ricevuta da Marco.
• Forma chi lavora quotidianamente con questi strumenti, perché la conformità non è solo un documento firmato, ma un comportamento quotidiano.

Tornando a Marco

Marco, alla fine, ha risposto al suo cliente, ma con due settimane di ritardo, dopo aver ricontattato il fornitore del software, ricostruito la documentazione mancante, ricostruito la documentazione mancante e compreso solo allora quanto poco sapesse davvero dello strumento che la sua azienda utilizzava ogni giorno.

La domanda che gli ha aperto gli occhi il venerdì pomeriggio non era complicata. Era semplicemente una domanda che nessuno, prima, si era preso il tempo di porre.

Il sistema AI, in fondo, era pronto a lavorare. La vera domanda, quella che ogni azienda dovrebbe farsi prima di attivare qualsiasi strumento simile è se l'organizzazione intorno a quello strumento sia altrettanto pronta.

Ed essere pronti non significa solo avere un referente interno o una checklist da seguire: significa che tutte le persone che, ogni giorno, usano questi strumenti sappiano riconoscerne le potenzialità e i limiti.

Non a caso, uno dei primi obblighi dell’AI Act già applicabili riguarda proprio l’alfabetizzazione in materia di intelligenza artificiale. L’articolo 4 richiede ai fornitori e ai deployer di adottare, per quanto possibile, misure idonee a garantire un livello sufficiente di alfabetizzazione del personale e delle altre persone che si occupano del funzionamento e dell’utilizzo dei sistemi di AI per loro conto, tenendo conto delle loro conoscenze tecniche, dell’esperienza, dell’istruzione, della formazione e del concreto contesto d’uso.

Vuoi arrivare preparato a queste domande, invece di rincorrere le risposte dopo che è sorto un problema?

Il nostro corso dedicato all’AI Act e all’adozione responsabile dell’intelligenza artificiale in azienda ti guida, passo dopo passo, nella comprensione degli obblighi, nella valutazione degli strumenti già utilizzati e nella costruzione di un processo di adozione più consapevole e coerente con il quadro normativo. Scopri i contenuti del corso e iscriviti. 

Scopri i corsi formativi

 

Avv. Andrea Battistella

Avvocato Cassazionista e consulente in digital compliance. Mi occupo di diritto e innovazione con focus su trasformazione digitale, Intelligenza Artificiale, e-commerce e protezione dei dati personali (GDPR), unendo analisi giuridica e impatto operativo. 

Avv. Andrea Battistella

Avvocato Cassazionista e consulente in digital compliance. Mi occupo di diritto e innovazione con focus su trasformazione digitale, Intelligenza Artificiale, e-commerce e protezione dei dati personali (GDPR), unendo analisi giuridica e impatto operativo.