Algoritmes
Algoritmes
Per Anna Reig i Cristina Batlle
Publicat el 02 d’agost 2021

Els algoritmes i la intel·ligència artificial (IA) poden tenir un biaix masclista. Es tracta d’un masclisme molt subtil i de difícil identificació, però que no deixa de contribuir a perpetuar el sistema patriarcal que hi ha a la nostra societat. El motiu pel qual aquests biaixos ideològics queden ocults és que generalment es té la imatge que la tecnologia és neutra, ja que pertany al camp de les ciències i la tecnologia. Però s’ha de tenir en compte que les persones que les programen no ho són, ja que per la seva condició humana, presenten un biaix en el seu raonament i en la seva manera de pensar.

Xavier Serra, professor del departament d’Information and Comunication Technologies a la Universitat Pompeu Fabra, afirma al Diari de Barcelona que “els algoritmes estan fets per persones. Si una persona és masclista, els algoritmes que creï probablement també ho seran”. A aquest fet s’hi suma que la majoria de programadors i enginyers que es dediquen a la intel·ligència artificial són homes, la qual cosa provoca que en aquest àmbit es perdi la visió del 50% de la població.

Un altre factor que afecta la manera en què es constitueixen els algoritmes de la intel·ligència artificial són les dades a partir de les quals s’alimenten. Normalment se solen acumular dades de molts anys enrere i que, en alguns casos, no han estat actualitzades. Si aquestes no se seleccionen bé, a partir de criteris ètics i tenint en compte la perspectiva de gènere, és probable que els algoritmes resultants siguin masclistes.

“S’han de seleccionar bé les dades amb les quals es nodreixen els algoritmes. Una manera de fer-ho és utilitzant equips multidisciplinaris. Si tu has de crear un producte nou, has de comptar amb un enginyer que pugui elaborar l’algoritme, una persona experta en aquest camp que conegui les dades, i a partir d’aquí, formar grups amb les quals arribar a conclusions de com s’han de seleccionar aquestes dades”, afegeix Beatriz López, professora d’Enginyeria de Sistemes i Automàtica a la UdG.

 

Què és un algoritme?

La intel·ligència artificial utilitza algoritmes per a fer les seves operacions. Un algoritme, en el context de la informàtica, és una sèrie d’instruccions que especifiquen una tasca definida i formalitzada per algú. No té per què ser una eina molt complexa, ja que consisteix en la llista de passes o instruccions que donem a una màquina per a complir algun propòsit o dur a terme alguna tasca. 

Ana Freire, doctora en Ciències Informàtiques i fundadora de Wisibilízalas, puntualitza que “l’algoritme no té per què ser intel·ligent, ja que és simplement una llista d’instruccions detallades perquè una màquina pugui resoldre una tasca que pot ser tan senzilla com una multiplicació o una arrel quadrada”. Els algoritmes no necessàriament s’han d’associar amb la intel·ligència artificial. 

Ara bé, “Quan apareix el Machine Learning, és a dir, quan als algoritmes els hi fem fer tasques d’aprenentatge i de presa de decisions pròpies dels éssers humans, és quan diem que és un algoritme d’intel·ligència artificial. Es tracta d’un algoritme capaç d’aprendre, de decidir, de criticar i fins i tot de recomanar quina és la millor acció”, afegeix Beatriz López.

Els algoritmes d’intel·ligència artificial pretenen imitar el raonament i les tasques dels éssers humans, volen ser tan realistes com sigui possible. Per fer-ho, es nodreixen de bases de dades creades per les persones i que representen un reflex de la nostra societat. “Si aquestes dades tenen un biaix masclista, l’algoritme també el tindrà. I la realitat de la societat actual és que és masclista”, comenta Xavier Serra.

 

D’on prové el biaix de gènere en els algoritmes?

La tecnologia no és masclista, sinó que el biaix de gènere és responsabilitat de les persones que la programen. Moltes expertes coincideixen en afirmar que poques vegades hi ha una voluntat malintencionada per part dels professionals que desenvolupen els algoritmes o la intel·ligència artificial, si no que els biaixos són causats per altres raons. Un cas de biaix pot ser que el disseny de l’algoritme estigui basat en hipòtesis que no són certes.

Un exemple que posa Karina Gibert, enginyera informàtica especialista en IA, és el de l’algoritme dissenyat a un hospital d’Anglaterra que servia per prioritzar les urgències: “El problema era que l’algoritme prioritzava els casos amb més possibilitats d’èxit, és a dir, de supervivència, amb menor cost hospitalari. D’aquesta manera, passava abans un mal de queixal que un infart perquè amb un mal de queixal el cost hospitalari és petit i la supervivència és molt alta, en canvi amb un infart passa al revés”.

Gibert afegeix: “Si a això li sumem que les dones gairebé no van mai a urgències si no es troben molt malament, i quan hi van no són ben ateses a causa d’aquest algoritme, al final hi ha una incidència en la mortalitat de les dones”.

L’altre cas, el més habitual, és que la base de dades amb la qual l’algoritme d’Intel·ligència Artificial es nodreix, estigui esbiaixada. Un exemple que va mostrar el Diario.es en un reportatge és que quan es buscava al Google Imatges la paraula “CEO” (director/a executiu/va), dels 112 resultats consultats la majoria d’imatges eren d’homes. La cerca es va dur a terme el 28 de febrer de 2020, i els resultats van incloure noranta homes que apareixien sols, nou dones soles, cinc grups d’homes i vuit grups mixtes. Encara que aquesta selecció no sigui representativa, només el 8% de les imatges que representaven els directius/ves van mostrar dones no acompanyades.

Per tant, el que feia l’algoritme era reproduir un biaix ja existent a la societat, reforçant l’estereotip de l’home ocupant el poder. Tal com ens explica Marga Vilalta, consultora IT i pèrit judicial tecnològica, “una persona de noranta anys no pensa igual que una de vint. Estan convivint aquestes dues maneres de veure el món, però la que té més força és la més antiga, perquè en tenim una acumulació de dades més gran”.
 


Quin impacte té sobre la nostra societat?

“Els biaixos de gènere en els algoritmes són greus perquè poden magnificar els problemes que ja tenim com a societat”, explica Beatriz López. Afegeix que això no només s’aplica a la discriminació de gènere, sinó a la qualsevol col·lectiu discriminat per motius d’ètnia, raça, religió, orientació sexual i un llarg etcètera. A més, també cal tenir en compte aquí la interseccionalitat, ja que una mateixa persona pot pertànyer a diferents col·lectius oprimits.

Aquest és el cas de les dones racialitzades. Per exemple, un estudi publicat a The New York Times explicava que la intel·ligència artificial de reconeixement facial de les empreses International Business Machines (IBM), Microsoft i Megvii podia identificar el gènere d’una persona en una fotografia el 99% de les vegades, però només en el cas dels homes blancs. Per les dones de pell fosca, la precisió es reduïa al 35%.

La tecnologia té un impacte directe en les nostres vides, perquè hi vivim submergits i la fem servir quotidianament. Pot existir una retroalimentació entre el món digital i el món real, ja que els algoritmes masclistes nodrits amb dades actuals i històriques esbiaixades, en reproduir-les, poden amplificar tant els estereotips com les discriminacions de gènere. En aquest sentit, les dones es poden veure perjudicades en tots els àmbits: laboral, financer, cultural, domèstic, etc.

Tal com apunta Núria Agell, matemàtica especialista en IA i professora d'Esade, “aquestes discriminacions venen d’una forma molt anònima, i això fa que no t’hi enfrontis. La discriminació de gènere a Internet passa molt desapercebuda, i com més desapercebuda passi, més difícil serà aturar-la. No hi estem prestant prou atenció”.

Si a les bases de dades dels treballadors d’una empresa només hi ha homes, i l’algoritme aprèn a establir com a criteri el sexe per contractar nou personal, es redueix la probabilitat de què les dones ocupin aquests llocs de treball. O bé, si l’algoritme d’un banc s’ha entrenat amb dades històriques dels últims vint o trenta anys, en què la solvència més elevada la tenien els homes, s’oferiran menys crèdits a les dones pel fet de ser-ho. Fins i tot es pot veure afectada la seva salut.

Un reportatge elaborat per El País mostra com un algoritme comet errors persistentment en diagnosticar malalties cardiovasculars en dones. L’algoritme diagnostica falsos negatius més freqüentment en pacients de sexe femení que en pacients de sexe masculí. Cal tenir en compte que les dones moren per malalties del cor un 6% més que els homes.

Segons les últimes dades de l’Institut Nacional d’Estadística (2019), 62.104 dones van morir a causa d’alguna malaltia cardiovascular, en comparació a 54.511 homes. Per tant, l’algoritme diagnostica més els problemes de salut relacionats amb malalties cardiovasculars en homes que en dones, encara que elles acabin morint més per aquest tipus de patologies.


Com es pot corregir el biaix masclista dels algoritmes?

És important que aquest biaix de gènere en els algoritmes es corregeixi per tal que la tecnologia funcioni a partir d’un sistema més igualitari i que no discrimini a certs col·lectius. Perquè això succeeixi i la intel·ligència artificial no discrimini per gènere, Ana Freire, doctora en ciències informàtiques, especialista en IA i professora de la UPF, considera que “s’ha de formar molt bé a la gent que crea aquests sistemes perquè siguin conscients que aquests biaixos poden existir i que probablement la màquina els amplificarà i perpetuarà”.

A partir d’aquí, els experts també parlen de diverses tècniques que es poden aplicar a la tecnologia i a la intel·ligència artificial per a corregir aquests biaixos. Les més conegudes són les tècniques de discriminació positiva. Aquestes fan que les bases informàtiques que utilitzen els algoritmes tinguin la mateixa proporció de dades d’homes que de dones multiplicant per un nombre determinat les relatives a les dones. Una altra via també podria ser reduir la mostra de dades corresponent als homes, provocant que aquesta s’iguali a la de les dones. 

Un cop fet l’algoritme i abans que s’implementi en algun sistema o producte, s’ha de validar perquè no hagi après cap mena de biaix. ”L’algoritme s’ha de posar a prova, s’han de separar els resultats per gènere i veure si s’estan proposant igualment homes i dones per la mateixa feina, o si els hi donen la mateixa quantitat de crèdit al banc o l’exemple que sigui”, puntualitza Aïda Valls, enginyera informàtica especialista en Intel·ligència artificial.

Però no sempre és fàcil detectar si un sistema d’intel·ligència artificial presenta un biaix de gènere. Karina Gibert, enginyera informàtica especialista en Intel·ligència Artificial i Big Data, i professora de la UPC, considera que aquest fet “no és una cosa trivial i que és molt complicat detectar si hi ha un biaix de gènere en determinats àmbits perquè sovint les dades d’entrenament dels algoritmes ni tan sols tenen el sexe de les persones registrat”. Això exemplifica que si no s’és conscient del biaix de gènere que existeix en determinats sectors de la societat relacionats amb la tecnologia, és molt difícil corregir-lo.


Quina és la solució al problema?

Tenim les eines per corregir els biaixos de gènere en els algoritmes, però tot i això se segueixen perpetuant. La solució no és senzilla ni propera. La clau és analitzar detalladament el funcionament d’aquests algoritmes per poder detectar qualsevol biaix, però per aconseguir-ho cal més transparència. Com explica Karina Gibert, "a banda del debat sobre si s’han d’obrir els codis de funcionament dels algoritmes o no, que jo crec que és qüestionable, és important que cada algoritme indiqui per a quin context està dissenyat”.

En aquest sentit, és il·lustratiu l’exemple que posa Aïda Valls, que actualment treballa en un programa que analitza fotografies de la retina per trobar lesions oculars. Explica que la retina de les persones de pell fosca no té els mateixos contrastos que el d’una persona blanca, perquè el de la primera és més marró, i el de la segona és més vermella. Aleshores si l’algoritme busca taques vermelles i no en troba, pot afirmar que aquella persona té la retina bé i no ho estigui realment.

Valls afirma: “Cal tenir clar que si l’algoritme s’ha provat només en un col·lectiu concret de persones, allò ho ha de comprar algú que pertanyi a aquest col·lectiu, perquè si ho fa servir un altre no es pot garantir que funcioni”. Aquest seria un primer pas, perquè tal com afirma Marga Vilalta, “hem de tenir molta cura de no estar creant o implantant tecnologia al nostre dia a dia que només serveixi per a una població relativament petita. No podem pensar que si no creem tecnologia per a determinats col·lectius, no els farem cap mal, perquè no és així”.

Tampoc es podrà resoldre el problema si no augmenta la diversitat en els equips de creació d’algoritmes i intel·ligència artificial. Segons l’informe del 2019 de la IA Now Institute, un prestigiós Institut de Recerca en IA de Nova York, el sector passa actualment per una gran crisi de diversitat, no només de gènere sinó en tots els àmbits. Tal com afirma Ana Freire, "aquest sector està altament masculinitzat i és fonamental que més dones s’incorporin en els equips de treball. Si no, la tecnologia que desenvoluparem no representarà a més del 50% de la població”.

Si més dones estudien carreres científico-tecnològiques i posteriorment s’introdueixen al mercat laboral d’aquest àmbit, pot haver-hi una reducció dels biaixos de gènere important. Tot tenint en compte, tal com apunta Aïda Valls, que “a vegades ni nosaltres mateixes ens adonem d’aquests biaixos masclistes. A mi em passa, ara perquè fa uns anys que estic més posada en el tema, però abans moltes coses m’havien passat per alt”.

Un altre dels problemes en què es troben moltes dones de l’àmbit tecnològic és el que destaca Karina Gibert: “les dones que arriben a ocupar professions tecnològiques, es troben soles envoltades de potser trenta homes, i per tant, allà és difícil que puguin teniu una veu amb la mateixa autoritat que la dels seus companys. Quan la teva mirada és sempre complementària i només la tens tu i ningú més, és molt difícil que prosperi”.

L’absència de dones en l’àmbit científico-tecnològic


La incorporació de l’ètica a la tecnologia

“L’ètica ha d’anar de la mà de la ciència sempre, i encara ens falta incorporar més aquesta perspectiva humanística a les carreres tecnològiques, jo quan vaig estudiar no hi havia cap assignatura d’aquest àmbit que recordi”, explica Anna Morales, nanocientífica i divulgadora. Tot i això, com explica Ana Freire, els nous graus tecnològics ja estan incorporant algunes assignatures com Ètica, Justícia Algorítmica o Transparència dels Algoritmes. “Ja anem evolucionant cap a la multidisciplinarietat”, afirma.

En la mateixa línia, Beatriz López explica que algunes universitats fora d’Espanya demanen als estudiants d’Enginyeria cursar un mínim de crèdits en carreres d’Humanitats per aconseguir el títol. “Els enginyers agafem els avenços científics i a través de la tecnologia els posem a disposició de la societat, i per fer-ho, necessitem saber com és aquesta societat”, argumenta. Al final, els equips de treball estan formats per gent especialitzada en diversos àmbits, són equips pluridisciplinaris. 

Ana Freire apunta que, per exemple, “cada vegada hi ha més lingüistes treballant en equips de desenvolupament de tecnologia, perquè per crear agents conversacionals com Alexa o Siri, cal fer una anàlisi del llenguatge natural dels humans i es necessiten lingüistes amb aquests coneixements”.

L’ètica en la intel·ligència artificial ja és una branca de recerca específica en l’actualitat. Karina Gibert, que ha participat en la redacció del Pla Estratègic de la Intel·ligència Artificial del govern català i és assessora de la Comissió Europea en qüestions d’ètica i IA, assegura que “Europa s’ha posat les piles i ha fet unes recomanacions perquè les IA siguin ètiques“. Segons aquestes, els productes desenvolupats han de posar al centre la persona i els drets humans han de ser les línies vermelles que no es poden traspassar.

Des de l’Observatori d’Ètica de la IA a Catalunya “s’està engegant també un projecte per assegurar-nos que la indústria catalana produeixi intel·ligències artificials ètiques”, afegeix Gibert. El gran problema, segons l’experta, és que parar atenció en aquestes qüestions augmenta els costos de producció i allarga els terminis de sortida al mercat dels productes.

Aleshores, “també s’ha de permetre que la indústria europea sigui competitiva internacionalment. Al final estem parlant d’un mercat intangible, deslocalitzat i globalitzat. La gent no sap si l’aplicació que s’està baixant al mòbil és europea, compleix amb totes les condicions ètiques, etc., o bé ve de la Xina o dels Estats Units i vulnera tots els codis ètics”, explica l’enginyera.

No es tracta de demonitzar la tecnologia, titllant-la de masclista o de discriminatòria. Com explica Marga Vilalta, “no li hem de tenir por, sinó que li hem de tenir respecte. La IA té usos molt bons perquè, per exemple, amb la detecció de malalties pot arribar a salvar moltes vides. Però hi ha una línia fina que hem de tenir controlada”. És necessari implementar una visió ètica en la intel·ligència artificial i els algoritmes perquè, segons Vilalta, “hem de començar a valorar el cost a mig i llarg termini dels productes que se’n deriven”.

Al final la tecnologia impacta en com és la nostra societat i la nostra cultura, i s’ha d’analitzar amb molta cura si s’estan repetint errors del passat, o fins i tot si s’estan amplificant, perquè és l’única manera de fer-los desaparèixer en el present i el futur.

— El més vist —
- Comentaris -
- Etiquetes -
— El més vist —