Bias cognitivi: i potenziali esiti discriminatori dell’Intelligenza Artificiale nella giustizia penale predittiva
A cura di Lorenzo Perini
Vincitore Legal Debate Elsa Ferrara
Nell’era dell’intelligenza artificiale, anche la giustizia penale si confronta con strumenti predittivi sempre più sofisticati. Ma cosa accade quando questi strumenti – basati su dati statistici e algoritmi – finiscono per replicare distorsioni sociali e pregiudizi sistemici? Il fine dell’articolo è proprio quello di analizzare il delicato equilibrio tra innovazione tecnologica e tutela dei diritti fondamentali, soffermandosi sui rischi discriminatori dei sistemi di giustizia predittiva e interrogandosi sulla compatibilità di tali strumenti con i principi costituzionali, in primis quello di uguaglianza.
A partire dal noto caso COMPAS[1], viene proposta una riflessione critica sulla necessità di un’IA “costituzionalmente orientata” e sulle sfide che le legislazioni, nazionali e sovranazionali, si ritrovano ad affrontare sempre più frequentemente.
- Introduzione
In un sistema in cui il dogma della giustizia come appannaggio esclusivo degli esseri umani inizia ad essere messo in discussione sempre più frequentemente, sono molti i dubbi relativi all’attendibilità e all’affidabilità degli esiti (out–puts) prodotti dai sistemi di intelligenza artificiale tramite machine learning, soprattutto se applicati all’ambito della giustizia penale predittiva.
Preliminarmente, occorre ricordare che ci si riferisce alla “giustizia predittiva” guardando alla c.d. funzione previsionale del diritto[2]: a tal fine, i sistemi predittivi vengono utilizzati per prevedere la pericolosità sociale di un individuo – indagato, imputato o condannato -, per valutare il rischio di recidiva ed applicare (o negare all’evenienza) particolari istituti di natura processuale[3].
Chiarito questo primo punto, è necessario specificare poi che si definisce “machine learning”[4] (“apprendimento automatico”) quel sistema di IA cui viene affidato un obiettivo e fornita una cospicua quantità di dati presenti all’interno di specifici database, da utilizzare come esempi per raggiungere l’obiettivo prefissato. In termini tecnici, dunque, i sistemi in questione hanno il vantaggio di analizzare ed elaborare in frazioni di secondo i dati che vengono loro trasmessi, arrivando a conclusioni spesso svincolate dall’intervento umano. Lo stesso Arthur Lee Samuel, informatico statunitense e pioniere nel campo dell’intelligenza artificiale (nonché colui che, nel 1959, coniò il termine “machine learning”), ha descritto l’apprendimento automatico come la “capacità di una macchina ad apprendere senza essere programmata esplicitamente[5].
Proprio il ricorso ai sistemi di IA – dotati di una capacità di calcolo incomparabilmente superiore rispetto a quella di un essere umano – consentirebbe di accorciare i tempi della giustizia e di modificare altresì il c.d. disposition time, la cui riduzione rientra tra gli obiettivi del ministero della giustizia da perseguire entro il 2026 (auspicando ad una diminuzione pari al 25% con riferimento alla giustizia penale e del 40% per il settore civile)[6].
Se da un lato è ormai evidente come l’IA possa portare a numerosi vantaggi pratici, dall’altro è però fondamentale porre l’accento sui possibili e numerosi rischi che potrebbero derivare dall’utilizzo di queste nuove tecnologie e come questo possa influire sulla tutela dei diritti costituzionali.
2. Tra bias cognitivi e prospettiva costituzionale
Come detto in precedenza, gli algoritmi di apprendimento automatico vengono “caricati” di una mole di informazioni vastissima. Non si porrebbero problemi se i dati utilizzabili fossero emancipati dalle discriminazioni ontologicamente presenti all’interno dei più disparati contesti sociali, ma cosa succede quando questi vengono condizionati da pregiudizi etici, storici o sociali? Da qui sono partiti alcuni tra gli spunti riflessivi più interessanti in materia, che hanno contribuito ad alimentare un dibattito che continua ad investire tutt’oggi tanto la dottrina, quanto la giurisprudenza[7].
Per comprendere meglio l’oggetto di queste riflessioni, è opportuno anzitutto spiegare cosa si intende per bias.
Con l’utilizzo di un anglicismo, ad oggi ci si riferisce ai c.d. bias in termini di “distorsioni cognitive”[8], ossia costrutti mentali fondati su preconcetti e ideologie stereotipate, che rappresenterebbero la causa di decisioni e previsioni spesso – ma non per forza sempre – errate.
In virtù di ciò, possono essere considerati discriminatori i sistemi che – lavorando tramite bias – “negano benefici o assegnano risultati indesiderati per motivi irragionevoli e inappropriati, quali l’appartenenza ad un gruppo preso di mira, l’etnia, la confessione religiosa [..]”[9]. Ciò detto, risulta maggiormente comprensibile come ad oggi il suddetto termine venga utilizzato da molti per riferirsi a quei sistemi informatici che – basandosi su dati compromettenti per talune categorie di soggetti – “discriminano sistematicamente e ingiustamente certi individui o gruppi di individui, in favore di altri”[10], intaccando inevitabilmente la struttura basilare degli stati costituzionali di diritto.
In un’ottica costituzionalmente orientata, l’IA non dovrebbe mai calpestare i diritti fondamentali, ma deve essere progettata e utilizzata in modo da garantire il pieno rispetto dei principi sanciti dalla Carta costituzionale. È questa la ragione per cui molti propendono più verso una concezione “protettiva”, piuttosto che “predittiva”, dell’algoritmo stesso[11], in linea con la logica personalistica e solidaristica che permea l’intero ordinamento italiano. In questa visione, l’uso dell’intelligenza artificiale nella giustizia penale non può prescindere da un’adeguata selezione dei dati e da una valutazione critica degli strumenti, affinché questi non diventino veicolo di discriminazioni sistemiche.
Assolvendo a tale finalità, l’uso dell’IA contribuisce in primo luogo a rimuovere quegli ostacoli di ordine economico e sociale che impediscono il pieno sviluppo della persona umana (art. 3, comma 2 della Costituzione italiana), rafforzando così il principio di eguaglianza sostanziale.
In questa prospettiva, il Consiglio di Stato, con la sentenza n. 7891 del 25 novembre 2021[12], ha operato una chiara distinzione tra il concetto di algoritmo e quello di intelligenza artificiale. Il primo viene inteso come una serie finita e ben definita di istruzioni, prive di ambiguità, eseguibili in modo automatico per ottenere un risultato determinato. L’intelligenza artificiale, invece, si fonda su modelli di apprendimento automatico, i quali consentono al sistema di andare oltre la mera applicazione di regole e parametri prefissati.
Una posizione in parte convergente è stata espressa dalla Corte di Cassazione (sez. I civ., ord. n. 28358 del 10 ottobre 2023[13]), che ha riconosciuto la sussistenza della trasparenza di un algoritmo nel momento in cui l’utente viene messo in condizione di comprendere lo schema logico-funzionale seguito dal sistema, cioè l’insieme delle operazioni che collegano determinati input al risultato prodotto. Tali operazioni devono essere definite univoche, in numero finito e comprensibili in tempi ragionevoli, con un esito univoco. Inoltre, la spiegazione fornita deve essere chiara e accessibile, redatta in linguaggio ordinario e non tecnico-scientifico, affinché l’utente possa comprenderne il funzionamento anche in assenza di competenze matematiche specifiche. Solo così la sfera costituzionale può essere preservata, consentendo una garanzia volta a valorizzare la persona umana senza incorrere in discriminazioni etico-sociali[14].
Ma un robot eticamente orientato (constitutional-friendly) costituirebbe anche un ausilio per valorizzare ulteriormente la terzietà e l’imparzialità dell’autorità giudiziaria, capisaldi che fondano la disciplina di cui all’art. 111 secondo comma della nostra Costituzione[15].
- La vicenda COMPAS (Loomis vs Wisconsin)
Tra i casi più discussi relativi ai pregiudizi legati alla presenza di bias cognitivi nei sistemi di apprendimento automatico – applicati all’ambito della giustizia predittiva – giova illustrare quello di Eric Loomis, deciso nel 2016 dalla Corte suprema del Wisconsin[16].
Nel 2013 Eric Loomis si trovava alla guida di un’automobile usata precedentemente per una sparatoria nello stato del Wisconsin (USA). Una volta fermato dalla polizia, gli venivano imputati ben cinque capi d’accusa, tutti in recidiva.
Nel determinare la pena – ammontante a sei anni di reclusione e cinque di extended supervision, a causa della sua potenziale pericolosità sociale – il giudice di primo grado prendeva in considerazione gli esiti elaborati da COMPAS, un sistema di intelligenza artificiale basato su un algoritmo che consente di calcolare e valutare il pericolo di recidiva. L’acronimo corrispondente a “Correctional Offender Management Profiling for Alternative Sanctions” si riferisce ad un software – sviluppato dalla società privata statunitense Northpointe (attuale Equivant) – in grado di
incamerare ed elaborare dati provenienti per lo più da precedenti giudiziari, decidendo poi sulle modalità di applicazione ed esecuzione delle sanzioni penali.
Il signor Loomis – ricorrendo davanti alla Corte Suprema del Wisconsin – lamentava la violazione del diritto ad un giusto processo ai sensi del XIV Emendamento della costituzione degli Stati Uniti d’America[17], allegando un difetto di trasparenza della decisione. Essendo COMPAS un software privato, infatti, le informazioni e le caratteristiche del funzionamento dell’algoritmo risultavano protette dal segreto commerciale e dal diritto d’autore, e ciò comportava l’impossibilità di verificare- con riferimento al caso concreto – come il sistema fosse arrivato a tale soluzione. Nonostante ciò, la Corte si è pronunciata a sfavore dell’uomo, adducendo come motivazione il carattere meramente tutorio dell’algoritmo – il quale non avrebbe sostituito la figura del giudice – e spiegando che la decisione sarebbe stata la medesima anche senza l’utilizzo di COMPAS[18].
A partire dalla condanna di Loomis, in molti hanno iniziato ad interessarsi alla vicenda e centrale in materia è stata senza dubbio la ricerca portata avanti da Jeff Larson, Surya Mattu, Lauren Kirchner e Julia Angwin, giornalisti di ProPublica (organizzazione statunitense che mira a produrre giornalismo investigativo di interesse pubblico)[19].
L’analisi effettuata su COMPAS ha rilevato da subito come il software risultasse pregiudizievole soprattutto nei confronti delle persone facenti parte della comunità afroamericana. Analizzando più di settantamila casi, ci si era resi conto di come gli imputati neri avessero molte più probabilità rispetto a quelli bianchi di essere erroneamente giudicati a più alto rischio di recidiva; questo perché l’algoritmo tendeva a sovrastimare la probabilità di recidiva dei condannati neri, e a sottostimare quella dei condannati bianchi. Ci si è chiesti per quale motivo ciò accadesse. Evidentemente perché la macchina non era consapevole ex ante di quale fosse il presupposto giuridico cui fare riferimento (principio di uguaglianza) ed ha dunque mostrato un pregiudizio originato dai dati fortemente compromettenti – forniti dalle pubbliche autorità – connessi alla comunità afroamericana[20].
Il caso rappresenta un chiaro esempio di come le decisioni fondate su statistiche pregiudizievoli possano condurre inevitabilmente a discriminazioni ingiustificate e per questo, onde evitare il protrarsi di un fenomeno che rischia di intaccare i principi inviolabili radicati in ogni ordinamento costituzionale, l’accento ad oggi ricade principalmente sulla necessità di svolgere un’accurata selezione ed un filtraggio scrupoloso dei dati che verranno poi utilizzati dai sistemi di IA.
- I parametri normativi: un’IA costituzionalmente orientata?
Verrebbe da chiedersi se un caso simile a quello di Eric Loomis possa verificarsi anche all’interno del panorama europeo e se esistano strumenti normativi che, a livello europeo, consentano di scongiurare esiti simili. Fondamentali, per delineare i confini legali entro cui l’IA potrà operare nella giustizia penale, sono il Regolamento (UE) 2024/1689 (c.d. AI Act) e il Regolamento (UE) 2016/679 (c.d. GDPR).
Il principale testo normativo settoriale di riferimento è – attualmente – il regolamento UE 2024/1689 il quale “stabilisce norme armonizzate sull’intelligenza artificiale” e “fornisce agli sviluppatori e agli operatori di IA requisiti e obblighi chiari per quanto riguarda gli usi specifici dell’IA”, affrontando le potenziali incognite legate all’utilizzo delle nuove tecnologie e ponendo l’Europa in una posizione di leadership a livello globale[21]. Un unicum nel suo genere che rappresenta il primo atto normativo contenente disposizioni vincolanti imposte a chi produce ed utilizza sistemi di IA.
Ci si potrebbe chiedere per quale motivo l’UE abbia reputato necessario introdurre, all’interno del panorama normativo (sovra)nazionale, un regolamento dotato di una simile portata. Consapevole dei numerosi benefici che questa nuova famiglia di tecnologie fornisce alle più disparate attività sociali, allo stesso tempo il legislatore europeo ha voluto evidenziare come l’IA possa generare rischi e causare danni agli interessi pubblici e ai diritti fondamentali protetti dal diritto dell’Unione: « depending on the circumstances regarding its specific application, use, and level of technological development, AI may generate risks and cause harm to public interests and fundamental rights that are protected by Union law »[22].
Sono tre i livelli di rischio legati all’utilizzo dell’IA: rischio elevato (high risk), rischio limitato (limited risk), rischio minimo o nullo (minimal risk)[23]; ed è proprio tra i sistemi a rischio elevato che vengono classificati quelli «destinati a essere utilizzati dalle autorità di contrasto o per loro conto, oppure da istituzioni, organi e organismi dell’Unione a sostegno delle autorità di contrasto, per determinare il rischio di commissione del reato o di recidiva […] »[24].
Quanto al regolamento UE 2016/679 (GDPR)[25] riguardante il trattamento e la protezione dei dati personali, pur non essendo dedicato specificamente all’intelligenza artificiale, contiene disposizioni fondamentali per l’applicazione di questi sistemi alla giustizia predittiva.
Per fronteggiare le potenzialità discriminatorie connesse alle procedure di utilizzo delle nuove tecnologie, un punto di riferimento fondamentale in materia è costituito dal considerando n. 71 del predetto regolamento, che enuncia quello che è stato propriamente definito come “principio di non discriminazione per via algoritmica”.
Al fine di garantire un trattamento corretto e trasparente nel rispetto dell’interessato, è essenziale che il titolare del trattamento «utilizzi modalità organizzative che tengano conto dei rischi esistenti per gli interessi e i diritti dell’interessato e che impediscano effetti discriminatori nei confronti di persone fisiche […]».
Tra le altre disposizioni rilevanti per il tema in discussione, risulta opportuno riferirsi all’articolo 22 GDPR, la norma che più di tutte fornisce una protezione in termini pratici e che introduce il divieto di essere sottoposti a decisioni “unicamente” automatizzate[26]. Si può ben intuire tuttavia che – laddove l’algoritmo abbia ottemperato unicamente ad una funzione giudiziale tutoria, e non sostitutiva – lo scudo giuridico previsto dalla norma in questione non possa comunque essere applicato.
5. Conclusioni
È evidente, ormai, come il progresso stia esponenzialmente apportando sempre più benefici, ma si può facilmente intuire come – al contempo – sia stato capace di produrre disuguaglianze e favorire nuove forme di classificazione a livello sociale. Le preoccupazioni si infittiscono ulteriormente se si pensa allo sviluppo incontrollato di nuovi sistemi, che spesso risulta sprovvisto di discipline e regolamentazioni specifiche (le quali – se presenti – sono ancora troppo acerbe). In un simile scenario, il rischio che l’intelligenza artificiale amplifichi ingiustizie preesistenti e normalizzi decisioni discriminatorie non è affatto remoto.
Quanto evidenziato ha messo in luce la natura ambivalente dell’IA, alla quale si può ovviare esclusivamente tramite l’introduzione di una normativa costituzionale sempre più all’avanguardia che riesca ad affrontare le continue sfide insite nella necessità di riuscire a conciliare sviluppo e giustizia sociale. Non si tratta soltanto di predisporre nuove regole tecniche o settoriali, ma di riformulare i criteri etici e giuridici alla base dell’intervento algoritmico, garantendo che ogni applicazione dell’IA nel settore penale sia guidata dai principi fondamentali della nostra Carta: uguaglianza, dignità, trasparenza, responsabilità e imparzialità.
L’insegnamento che proviene da casi come quello di Loomis e dalle analisi critiche svolte dalla dottrina e dalle istituzioni europee deve essere accolto con consapevolezza: la tecnologia non è neutra, e proprio per questo deve essere governata, non subita. La giustizia predittiva, se opportunamente disciplinata e costituzionalmente orientata, può rappresentare una risorsa per la razionalizzazione del sistema penale, ma solo a condizione che non svuoti di significato il ruolo del giudice e i diritti della persona.
In conclusione, il compito dell’interprete è oggi più che mai quello di assicurare un equilibrio tra efficienza e garanzie, accompagnando l’innovazione con strumenti giuridici adeguati, affinché la trasformazione digitale della giustizia non tradisca i principi dello stato costituzionale di diritto.
Parole chiave: algoritmi; bias; rischi; recidiva; principio di uguaglianza.
[1] Caso COMPAS, Supreme Court of Wisconsin, 881 N.W.2d 749, 13 luglio 2016, https://www.biodiritto.org/ocmultibinary/download/4565/53305/1/94fbf4c069f096799d72f3a40e818ae5/file/2016-2015ap000157-cr.pdf.
[2] Sul punto, si veda: https://www.treccani.it/enciclopedia/giustizia-predittiva_%28Diritto-on-line%29/ .
[3] F. Donati “Intelligenza artificiale e giustizia”, 2 Marzo 2020, in Rivista AIC, 1/2020, disponibile https://www.rivistaaic.it/images/rivista/pdf/1_2020_Donati.pdf
[4] S. Brown, “Machine Learning, explained”, 21 Aprile 2021: https://mitsloan.mit.edu/ideas-made-to-matter/machine- learning-explained .
[5] Crf. si veda: Arthur Lee Samuel, “Machine Learning is the field of study that gives computers the ability to learn without being explicitly programmed”, 1950.
[6] Ministero della giustizia, “obiettivi nazionali: riduzione disposition time”: datiestatistiche.giustizia.it/it/ dt_ob_nazionali_riduzione.page .
[7] G. De Minico, “Giustizia e intelligenza artificiale: un equilibrio mutevole”, in Rivista AIC, n. 2/2024, disponibile: https://www.rivistaaic.it/images/rivista/pdf/2_2024_04_DeMinico.pdf .
[8] Sul punto, si veda: https://www.treccani.it/vocabolario/neo-bias_(Neologismi)/ .
[9] European Union Agency for Fundamental Rights, “Bias in algorithms – Artificial intelligence and discrimination”, 8 dicembre 2022: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2022-bias-in-algorithms_en.pdf .
[10] B. Friedman – H. Nissembaum, “Bias in Computer Systems, in 14 ACM Transactions on Information Systems”, 1996, 332: “we use the term bias to refer to computer systems that systematically and unfairly discriminate against certain individuals or groups of individuals in favor of others”, disponibile al link: https://dl.acm.org/doi/pdf/10.1145/230538.230561.
[11] R. Trezza, “L’algoritmo “protettivo: gli istituti di protezione della persona alla prova dell’Intelligenza Artificiale”, in Revista de Derecho Procesal y de Derechos Humanos Journal of Procedural Law and Human Rights, Universidad Nacional de Córdoba, Argentina, n. 1/2022, disponibile al link: https://ratioiuris.it/intelligenza-artificiale-e-persona-umana-la-multiforme-natura-degli-algoritmi-e-la- necessita-di-un-vaglio-di-meritevolezza-per-i-sistemi-intelligenti/ .
[12] Consiglio di stato, sez. III – sentenza del 25 novembre 2021, n. 7891: https://www.biodiritto.org/AI-Legal-Atlas/AI-Giurisprudenza/Consiglio-di-Stato-sez.-III-sentenza-n.-7891-2021-definizione-di-algoritmo-e-di-intelligenza-artificiale .
[13] Cassazione Civile, sez. I – ordinanza del 10 ottobre 2023, n. 28358: lecito il rating reputazionale a mezzo di algoritmo quando l’utente ne conosce il procedimento, https://www.biodiritto.org/AI-Legal-Atlas/AI-Giurisprudenza/Cassazione-Civile-sez.-I-ordinanza-n.-28358-2023-lecito-il-rating-reputazionale-a-mezzo-di-algoritmo-quando-l-utente-ne-conosce-il-procedimento
[14] E. Spiller, “Il diritto di comprendere, il dovere di spiegare. Explainability e intelligenza artificiale costituzionalmente orientata” in BioLaw Journal – Rivista di BioDiritto, n. 2/2021, https://teseo.unitn.it/biolaw/article/view/1671/1675 .
[15] Art. 111 Costituzione italiana.
[16] R. Celella, “L’algoritmo che condanna: i limiti della giustizia predittiva”, 7 maggio 2019: https:// www.dataprotectionlaw.it/2019/05/07/lalgoritmo-che-condanna-i-limiti-della-giustizia-predittiva/.
[17] XIV Emendamento, Sezione 1, Costituzione degli Stati Uniti d’America: “[…] nor shall any state deprive any person of life, liberty, or property, without due process of law; nor deny to any person within its jurisdiction the equal protection of the laws”.
[18] Supreme Court of Wisconsin, 881 N.W.2d 749, 13 luglio 2016, la Corte Suprema ha affermato: “holding (1) if used properly, a circuit court’s consideration of a COMPAS risk assessment at sentencing does not violate a defendant’s right to due process”, https://law.justia.com/cases/wisconsin/supreme-court/2016/2015ap000157-cr.html.
[19] Jeff Larson, Surya Mattu, Lauren Kirchner, Julia Angwin, “How We Analyzed the COMPAS Recidivism Algorithm”, 23 maggio 2016: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
[20] R. Trezza, “La tutela della persona umana nell’era dell’intelligenza artificiale: rilievi critici, in Federalismi.it, 16/2022, https://www.federalismi.it/nv14/articolo-documento.cfm .
[21] Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations: https://eur-lex.europa.eu/legal-content/EN/TXT/? uri=CELEX%3A32024R1689.
[22] Considerando n° 5, AI act: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689.
[23] Commissione Europea, “Legge sull’IA”, 14 ottobre 2024: https://digital-strategy.ec.europa.eu/it/policies/regulatory- framework-ai.
[24] Allegato III, comma 6, lett. d) AI Act: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689.
[25] Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio, del 27 aprile 2016, relativo alla protezione delle persone fisiche con riguardo al trattamento dei dati personali: https://eur-lex.europa.eu/eli/reg/2016/679/oj? locale=IT
[26] Articolo 22, Regolamento (UE) 2016/679, cit.: “L’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”.
