Algorismes en els jutjats, una ajuda o un perill?

I si la pròxima sentència que decidisca el nostre futur l'escriguera un programa tan complex que ni els seus creadors saben explicar del tot com raona?

El dret ha anat sempre de la mà de la tecnologia. Moltes fites jurídiques han sigut possibles a causa de prèvies fites tecnològiques: l'escriptura va fer possible la publicitat normativa; la impremta va multiplicar l'accés a les fonts jurídiques; la informatització i digitalització han marcat a les professions jurídiques des de finals del segle passat. I hui dia, la intel·ligència artificial –sobretot, els grans models de llenguatge– se senta en l'estrada.

Esta nova “col·laboradora” és poderosa: resumix milers de folis en segons i identifica patrons de decisió en la legislació, ca jurisprudència i la doctrina amb un zel i rapidesa extraordinaris. També pot revisar les proves; per exemple, les gravacions de testimoniatges, trobant matisos que passen desapercebuts a l'humà.

Però la seua entrada a la sala de vistes no és innòcua.

La jurisdicció és, al costat del legislador, un òrgan vital de l'Estat de dret. La seua legitimitat descansa a resoldre els casos particulars sobre la base exclusiva de normes jurídiques (normes preestablides). “El jutge és la boca que pronuncia les paraules de la llei; éssers inanimats que no poden moderar ni la força ni el rigor de les lleis”, escrivia Montesquieu en 1748, en la seua obra L'esperit de les lleis.

La inevitable subjectivitat humana

Malgrat l'ideal de jutge neutral, el jutge real inevitablement patix de subjectivitat. No parlem ací ni de politització de la justícia, ni molt menys de prevaricació. Per més virtuós que siga, interpretarà la realitat jurídica des dels seus esquemes cognitius.

Els juristes, teòrics i pràctics, s'han esforçat per preservar el principi de legalitat, és a dir, per salvaguardar la imparcialitat i la independència dels jutges. Encara que este objectiu siga inassolible al cent per cent a causa de la irremeiable subjectivitat humana.

Resulta per això paradoxal que ara, que gràcies a la IA estem cada vegada més prop de que un ser verdaderament inanimat i impassible (un algorisme) puga fer justícia, la Unió Europea no dubte a qualificar de “alt risc” a qualsevol sistema d'IA que ajude els jutges i magistrats a interpretar fets o normes (segons arreplega l'article 6 del Reglament 2024/1689 d'Intel·ligència Artificial).

El missatge és contundent: la tecnologia pot assistir, mai substituir a la decisió d'un jutge humà.

Sistemes d'alt risc

La IA genera tant entusiasme com inquietuds i dubtes. Ja en 2014, el filòsof suec Nick Bostrom ressaltava que l'automatització de l'aprenentatge, aspecte clau en la IA, pot conduir a una “explosió d'intel·ligència”.

La “superinteligencia artificial” implicaria no sols nous esquemes conceptuals incomprensibles per a l'humà, sinó algorismes lliures, desvinculats dels nostres valors, de manera que les màquines pogueren dirigir tota la seua actuació a objectius absurds o perjudicials per a la humanitat.

Sense necessitat de plantejar un escenari a llarg termini o futurista com el que indica Bostrom, els riscos presents són palpables. Pel que fa a la IA jurisdiccional, els models, sovint, “al·lucinen”, arribant a inventar resolucions de tribunals inexistents. Així mateix, operen com “caixes negres”, sense traçabilitat ni explicabilidad de les seues respostes. I interactuen amb qui els usa sense deixar rastre del legal prompting –preguntes introduïdes, aplicant el processament del llenguatge natural– que haja tingut lloc.

A més, hereten biaixos ideològics de les dades amb els quals van ser entrenats. És a dir, conformen les seues respostes sobre la base de l'aprenentatge de premisses o patrons infundats en relació amb la raça, el gènere, les tendències sexuals, la capacitat adquisitiva, el nivell d'endeutament, etc.

Juntament amb els problemes que suposen estos biaixos, és consubstancial a la IA el biaix estadístic, entenent per tal la prevalença de les dades que estadísticament tenen més pes. Pel que fa al dret, això pot suposar una sort de “clonació” del passat jurisprudencial, congelant l'evolució en la interpretació de les normes.

L'última paraula per al jutge

La solució? Disseny conscient i responsable de tals problemes i supervisió humana. Per a això resulta essencial un marc de treball pluridisciplinari, d'estreta col·laboració entre experts en sistemes d'IA i experts en dret.

El Reglament d'IA exigix documentació tècnica exhaustiva, auditories de biaix i la possibilitat de recrear cada pas del raonament jurídic algorítmic. La Carta de la Comissió Europea per l'Eficàcia en la Justícia (CEPEJ), de 2018, o el Dictamen XXIV de la Comissió Iberoamericana d'Ètica Judicial recorden que tota recomanació generada per un sistema automàtic ha de ser revisada críticament pel jutge, qui conserva l'última paraula i la càrrega de motivar la seua decisió.

Res d'això significa demonitzar la tecnologia. Ben governada, la intel·ligència artificial allibera temps, tan necessari perquè la tutela judicial siga verdaderament efectiva. Però si es desplega sense salvaguardes, la promesa d'efectivitat pot mutar en una justícia algorítmica “mecanicista” en el pitjor dels sentits, perquè no per ser una màquina seria objectiva, sinó aleatòria i opaca en l'elecció de les normes que aplica.

Un cervell sintètic que mai es cansa no és preferible a un jutge de carn i os –amb l'experiència de les complexitats de la pràctica jurídica–. Més prompte el jutge dels nostres dies ha de ser tant un expert en el dret com en l'algorisme que l'ajuda a aplicar-lo.

Gema Marcilla Córdoba, Professora Titular de Filosofia del Dret, Universitat de Castella-la Manxa

Este article va ser publicat originalment en The Conversation. Llija el original.