 |
| varuna/Shutterstock |
En les administracions públiques d'Europa, ja s'utilitzen àmpliament sistemes d'intel·ligència artificial (IA) i presa de decisions automatitzada (ADM).
Aquests sistemes, sovint construïts amb algorismes "caixa negra" opacs, reconeixen els nostres rostres en públic, organitzen programes d'atur i fins i tot pronostiquen notes d'exàmens. La seva tasca és predir el comportament humà i prendre decisions, fins i tot en àrees sensibles com l'assistència social, la salut i els serveis socials.
Com es va veure als Estats Units, on la policia algorítmica s'ha adoptat àmpliament, aquestes decisions estan inherentment influïdes per biaixos i errors subtils. Això pot tenir conseqüències desastroses: a Michigan al juny de 2020, un home negre va ser detingut, interrogat i retingut tota la nit per un crim que no havia comès. Havia estat identificat erròniament per un sistema d'IA.
Aquests sistemes estan entrenats amb dades humanes preexistents, que ja són defectuoses per la seva pròpia natura. Això significa que poden perpetuar formes existents de discriminació i biaix, portant al que Virginia Eubanks ha anomenat "automatització de la desigualtat".
Exigir responsabilitats a l'IA
L'ampla adopció d'aquests sistemes planteja una pregunta urgent: què caldria fer per exigir responsabilitats a un algorisme per les seves decisions?
Això es va provar recentment al Canadà, quan els tribunals van ordenar a una aerolínia que compensés un client que havia actuat segons un mal consell donat pel seu xatbot alimentat per IA. La companyia aèria va intentar rebutjar la reclamació afirmant que el xatbot era "responsable de les seves pròpies accions".
A Europa, hi ha hagut un moviment institucional per regular l'ús de l'IA, en forma de la recentment aprovada Llei de la Intel·ligència Artificial.
Aquesta llei pretén regular els grans i poderosos sistemes d'IA, evitant que representin amenaces sistemàtiques i protegint els ciutadans del seu ús indegut. El llançament de la llei ha estat acompanyat per una àmplia gamma d'accions directes prèvies, iniciatives i campanyes llançades per organitzacions de la societat civil als estats membres de la UE.
Aquesta creixent resistència als sistemes problemàtics d'IA ha guanyat impuls i visibilitat en els darrers anys. També ha influït de manera decisiva en les decisions dels reguladors, pressionant-los per introduir mesures que salvaguardin els drets fonamentals.
El Projecte D'Error Humà
Com a part del Projecte D'Error Humà, amb base a la Universitat de St. Gallen a Suïssa, hem estudiat les maneres com els actors de la societat civil estan resistint l'auge de la discriminació automatitzada a Europa. El nostre projecte es centra en els errors d'IA, un terme que engloba el biaix, la discriminació i la manca de responsabilitat dels algorismes i l'IA.
El nostre últim informe de recerca es titula "La Lluita de la Societat Civil Contra la Injustícia Algorítmica a Europa". Basat en entrevistes amb activistes i representants d'organitzacions de la societat civil, explora com les organitzacions de drets digitals europees interpreten els errors d'IA, com qüestionen l'ús dels sistemes d'IA i destaca la necessitat urgent d'aquests debats.
La nostra recerca ha revelat un panorama de preocupació, ja que la majoria de les persones que hem entrevistat comparteixen la visió ara àmpliament acceptada pels acadèmics d'IA: sovint l'IA pot ser racista, discriminatoria i reduccionista a l'hora de comprendre els éssers humans.
Molts dels nostres entrevistats també van assenyalar que no hauríem de considerar els errors d'IA com una qüestió purament tecnològica. Més aviat, són símptomes de qüestions socials sistèmiques més àmplies que precedeixen els desenvolupaments tecnològics recents.
La predicció policial n'és un clar exemple. Com que aquests sistemes es basen en dades policials anteriors, potencialment falsificades o corrompudes, perpetuen formes existents de discriminació racial, sovint portant al perfilatge racial i fins i tot a detencions il·legals.
L'IA ja està impactant la teua vida diària
Per als actors de la societat civil europea, un problema clau és la manca de consciència entre el públic que s'utilitza l'IA per prendre decisions en nombroses àrees de les seves vides. Fins i tot quan la gent en té coneixement, sovint no queda clar com funcionen aquests sistemes o qui hauria de ser responsable quan prenen decisions injustes.
Aquesta manca de visibilitat significa que la lluita per la justícia algorítmica no és només una qüestió política, sinó també simbòlica: posa en qüestió les nostres pròpies idees d'objectivitat i precisió.
Debats sobre l'IA estan notòriament dominats per entusiasme dels mitjans i pànic, com va mostrar el nostre primer informe de recerca. En conseqüència, les organitzacions de la societat civil europees es veuen obligades a perseguir dos objectius: parlar clarament sobre la qüestió i qüestionar la visió de l'IA com a panacea per als problemes socials.
L'importància de nomenar el problema és evident en el nostre nou informe, on els entrevistats es mostren reticents a utilitzar frases com "Ètica de l'IA", o ni tan sols mencionen "IA". En canvi, utilitzen termes alternatius com "estadístiques avançades", "Presa de Decisions Automatitzada" o "sistemes ADM".
Domar la gran tecnologia
A més de crear consciència entre el públic en general, un dels principals problemes és restringir el poder dominant de la gran tecnologia. Diverses organitzacions amb les quals vam contactar han participat en iniciatives relacionades amb la Llei d'IA de la UE i, en alguns casos, han tingut un paper directe en destacar problemes i tancar escletxes que les empreses tecnològiques podrien explotar.
Segons algunes organitzacions, hi ha elements, com la identificació facial biomètrica en espais públics, on res menys que una prohibició total serà suficient. Altres fins i tot prenen una visió escèptica de la legislació en conjunt, creient que la regulació sola no pot resoldre tots els problemes que planteja la continuació de la difusió de sistemes algorítmics.
La nostra recerca mostra que, per abordar el poder dels sistemes algorítmics, hem de deixar de veure l'error d'IA com una qüestió tecnològica i començar a veure-la com una qüestió política. El que cal arreglar no és un error tecnològic en el sistema, sinó les desigualtats sistèmiques que aquests sistemes perpetuen.
Philip Di Salvo, Investigador postdoctoral i professor, Universitat de St.Gallen i Antje Scharenberg, Investigadora postdoctoral internacional, Universitat de St.Gallen
Aquest article és republicat des de The Conversation sota una llicència Creative Commons.
Traduït per Àgora CT
Crónica CT
* ho pots llegir perquè som Creative Commons
Cap comentari :