Dia rere dia surten notícies d'empreses que utilitzen o volen utilitzar el reconeixement facial per a diferents temes que es vinculen, sobretot, amb la seguretat. Un dels últims casos que han sonat a casa nostra ha estat el de Renfe, que ha aixecat polèmica. Fa poc més de tres setmanes que una setantena d'experts van redactar una carta adreçada al govern que demanava una moratòria a l'aplicació d'aquestes tecnologies. Parlem amb el Doctor Ariel Guersenzvaig, professor d'Elisava i especialista en ètica i intel·ligència artificial i un dels signants de la carta.

Què és el reconeixement facial?
D’una manera no tècnica, el reconeixement facial és una tècnica que utilitza sistemes informàtics per analitzar imatges. És important destacar que un ordinador no veu les imatges de persones com a éssers humans, sinó que aquestes es descomponen en números. A partir d’aquí, hi ha diferents sistemes que el que fan és bàsicament identificar que hi ha una cara o algun element que pot ser una cara a la imatge. Llavors la idea no és només reconèixer que hi ha una cara, sinó reconèixer quina és la identitat de la persona, o bé afegir-la a una imatge d’una base de dades sense necessitat de saber qui és aquella persona.

I per què serveix?
La idea del reconeixement facial és que es poden fer coses que no tinguin la intenció d’identificar algú, per exemple quan hi ha anàlisi facial. Pot ser que miris vídeos, per exemple, per saber si la persona està mentint, si està alegre... Òbviament això funciona molt malament, però els fabricants d’aquests sistemes diuen això, que poden analitzar imatges i que poden treure conclusions a partir d’aquesta anàlisi. Per exemple, segons diuen els venedors, tu pots estar en una entrevista de feina i predir si una persona, en funció del seu llenguatge corporal, inclús amb la forma de la cara, menteix. No té només a veure amb el tema d’identificar algú, que també és un tema central.

Quins aspectes positius té?
Pot haver-hi parts positives, sens dubte pot haver-n’hi.  El que passa és que avui en dia la tecnologia és molt poc robusta. Ara per ara és una tecnologia molt feble, és per això que els que firmem la carta proposem una moratòria. Una moratòria no significa una prohibició, una moratòria significa parar una mica el desplegament de la tecnologia fins a esbrinar quins són els beneficis i els danys que pot causar i de quina manera els danys que pot causar valen la pena en funció dels beneficis que aporta. I ens sembla que els beneficis que aporta no són clars.

"Pot haver-hi parts positives, sens dubte pot haver-n’hi. El que passa és que avui en dia la tecnologia és molt poc robusta"

Quins són els danys que pot causar?
Quan tens la cara de les persones, en moviment inclús, pots fer tota classe d’anàlisis en funció d’altres dades que tens i a partir d’aquí pots treure conclusions. En molts casos, com que hi ha un gran volum de dades, trobaràs correlacions estadístiques. Però que trobis aquestes correlacions no significa que tinguin sentit ni que siguin útils. Quan tens milers i milers o desenes de milers de dades, pots trobar paral·lelismes, correlacions, però no significa que hi hagi una causalitat entre un element i l’altre. Això pot portar a estigmatitzar aquelles persones que tinguin una determinada característica quan, ara per ara, no hi ha cap ciència que digui que la violència, mantenir l’atenció o l’honestedat, per exemple, tinguin cap relació amb la forma dels teus ulls o del teu crani. I aquest és el gran perill, que amb les correlacions pots fer aquest tipus d’afirmacions.

"Que trobis aquestes correlacions no significa que tinguin sentit ni que siguin útils. Això pot portar a estigmatitzar aquelles persones que tinguin una determinada característica"

Però els programes no discriminen...
El programa no té el que s’anomena agència, no decideix per si mateix. Hi ha un tipus de discriminació que sí que es troba a les dades amb què el programa ha sigut entrenat, també pot ser que el problema sigui en el propi model i no només en les dades. És com el cas dels pulsioxímetres. Aquests funcionen molt millor en pell blanca que en pell fosca perquè el que fa és emetre un feix de llum que travessa la pell i la manera en què està calibrat fa que fallin més amb persones de pell negra o molt fosca.

I què passa amb el reconeixement facial?
L’aparell no és racista perquè el racisme té una intencionalitat, el que passa és que l’aparell dona errors que es produeixen a vegades perquè són errors inadmissibles del mateix disseny del sistema, però llavors hi ha vegades que no és aquesta qüestió. Pots dir: si el sistema discrimina les dones, posem la mateixa quantitat d’homes que de dones, això seria una manera molt fàcil de resoldre-ho i podria estar bé, el sistema des del punt de vista estadístic podria estar molt bé.

"L’aparell no és racista perquè el racisme té una intencionalitat, el que passa és que l’aparell dona errors"

Però?
Per exemple, en una aplicació d’un sistema de recursos humans d’Amazon que, és clar, està basada en el que és un bon empleat i està determinada per certes paraules que estaven a l’històric dels bons empleats d’Amazon. Els bons empleats, però, eren majoritàriament homes. Llavors què passa? Que quan vas a una entrevista de feina com a dona tendeixes a usar altres tipus de paraules que els homes, quan parles dels teus èxits, de tu mateixa o del que saps fer. Això fa que amb aquest sistema les dones siguin penalitzades perquè estan valorant paraules que són, podem dir simplificant, masculines. El problema no és que el reconeixement facial estigui esbiaixat, és que és la realitat la que ho està i, per tant, la història de les dades també. Tot això passa i és més difícil que el simple biaix estadístic que tradicionalment busquem evitar quan utilitzem un estudi quantitatiu.

I què comporta?
Pot portar a fer que t’identifiqui com a persona potencialment perillosa —quan no ho ets—, perquè simplement tens unes característiques físiques, una manera de caminar o una manera de vestir que fa que t’identifiquin així. Això ja passa a la vida real. L’estigmatització ja existeix. Què passa? Passa a una escala menor i a més es pot atribuir a un segon biaix més conegut. En canvi, amb un sistema d’intel·ligència artificial és molt més ocult, queda molt més opac. No és que visquem en un món perfecte i que la intel·ligència artificial hagi inventat el racisme o els prejudicis, el problema és que queda molt més... bé, són menys transparents.

"L’estigmatització ja existeix, però passa a una escala menor i a més es pot atribuir a un segon biaix més conegut"

Al document esmenteu tangencialment el condicionament coercitiu. Què representa això en relació amb el reconeixement facial?
La llibertat necessita que tu sàpigues que tens una capacitat d’actuar que no està controlada constantment. Si tu saps que t’estan vigilant tota l’estona això és coercitiu perquè t’impedeix fer el que vulguis fer, i no parlo només de delictes. Per exemple furgar-te el nas, si saps que estàs controlat tota l’estona, potser no ho fas. I furgar-te el nas no és delicte, però si saps que t’estan vigilant i que això pot aparèixer en algun tipus d’índex de bones formes o de bons costums, doncs igual deixes de fer-ho. Òbviament les llibertats estan restringides per lleis i per costums, no estic dient que ara tinguis total llibertat, però si a sobre t’estan vigilant tota l’estona, això simplement s’accentua.

També esmenteu aspectes com la seguretat, la privacitat o la protecció de dades.
Hi ha qüestions de seguretat que s’han de pensar molt bé i regular molt bé. No únicament perquè es pot piratejar, sinó perquè l’empresa pot desaparèixer i, què passa si l’empresa té una pila de dades teves biomètriques facials o de la manera de treballar i de la manera de moure’t? Imagina’t que després o bé ho pirategen o bé l’empresa fa fallida i algú obté aquestes dades d’una manera legal. La llei europea ja regula moltes d’aquestes coses. La llei de protecció de dades no és perfecte, però que existeixi és un fet positiu.

Quines solucions s'hi poden trobar?
A la carta, primer reconeixem que és una situació molt complexa que s’ha d’estudiar. La carta només aporta uns arguments suficients però mínims per recolzar una comissió que treballi sobre el tema. El que ens sembla raonable ara és paralitzar aquestes tecnologies abans que se segueixin estenent, el que diem és que s'aturin i que llavors es pugui decidir on i quan es poden fer servir. I és una cosa que s’ha de fer per llei i el lloc per tenir aquest debat és el Congrés.

"El que ens sembla raonable ara és paralitzar aquestes tecnologies abans que se segueixin estenent, el que diem és que s'aturin i que llavors es pugui decidir on i quan es poden fer servir"

La Unió Europea està treballant en una normativa sobre el tema...
Bé, sí, està a punt de sortir una regulació europea que en principi sortirà a finals d'abril. Una de les coses que sí que sembla que proposaran és l'ús de reconeixement facial en aeroports. S'haurà d'esperar que surti, però fa poc s'ha filtrat un esborrany del marc per a la regulació de la intel·ligència artificial i la veritat és que és un document molt ben treballat i que planteja un marc regulador molt prometedor. Reconeix certs àmbits com d'alt risc, com per exemple la salut, els recursos humans, l'educació o la seguretat. A més, estableix unes condicions molt estrictes per als sistemes d'intel·ligència artificial en aquests àmbits. S'haurà d'esperar que surti la normativa final, però crec que molt pocs sistemes actuals compliran aquesta normativa.