{"id":3517,"date":"2023-07-28T06:18:00","date_gmt":"2023-07-28T06:18:00","guid":{"rendered":"https:\/\/preblogs.deusto.es\/viviendodeusto\/?p=3517"},"modified":"2024-08-30T08:17:30","modified_gmt":"2024-08-30T08:17:30","slug":"lorena-fernandez-sombra-aqui-sombra-alla-reconocimiento-facial-discriminatorio","status":"publish","type":"post","link":"https:\/\/blogs.deusto.es\/viviendodeusto\/2023\/07\/28\/lorena-fernandez-sombra-aqui-sombra-alla-reconocimiento-facial-discriminatorio\/","title":{"rendered":"Lorena Fern\u00e1ndez: \u00abSombra aqu\u00ed, sombra all\u00e1: reconocimiento facial discriminatorio\u00bb"},"content":{"rendered":"\n

Art\u00edculo publicado en El Obrero (27\/07\/2023)<\/strong><\/p>\n\n\n

\n
\"\"
Directora de Identidad Digital<\/figcaption><\/figure>\n<\/div>\n\n\n

Con los avances en inteligencia artificial los sistemas de reconocimiento facial han proliferado. Se han desarrollado muchos servicios para identificar a personas en las multitudes, analizar sus emociones y detectar su g\u00e9nero, edad, raza y caracter\u00edsticas faciales. Ya se utilizan con una gran variedad de prop\u00f3sitos: desde contratar o mejorar sistemas de marketing hasta aspectos relacionados con seguridad y vigilancia.<\/p>\n\n\n\n

Sin embargo, a pesar de los amplios esfuerzos para mejorar su fiabilidad, los estudios demuestran que los algoritmos de aprendizaje autom\u00e1tico pueden discriminar seg\u00fan el g\u00e9nero y la raza. Tambi\u00e9n bajan su rendimiento en personas trans y no son capaces de clasificar a personas no binarias. Adem\u00e1s, elementos como el maquillaje tienen un alto impacto en la precisi\u00f3n de los sistemas.<\/p>\n\n\n\n

Los algoritmos de aprendizaje autom\u00e1tico (Machine Learning<\/em>) establecen patrones tras procesar grandes cantidades de datos. Son como estudiantes en un colegio: aprenden del libro de texto (informaci\u00f3n con la que se les entrena para que generen reglas de inferencia) y del profesorado (quien decide qu\u00e9 temas entrar\u00e1n en el examen y les dice a sus estudiantes qu\u00e9 par\u00e1metros son importantes). Su limitaci\u00f3n es que se pueden cargar de sesgos en varios puntos y de varias maneras.<\/p>\n\n\n\n

La primera casu\u00edstica se da cuando la realidad de la que aprenden est\u00e1 ya llena de prejuicios. La segunda, cuando les ense\u00f1amos solo una parte que no es representativa, que hace que los algoritmos piensen<\/em> que esa es la \u00fanica realidad. Otro punto de perversi\u00f3n se puede introducir durante la etapa de preparaci\u00f3n de datos y la selecci\u00f3n de modelos, cuando se hacen las preguntas equivocadas o se toman en consideraci\u00f3n los par\u00e1metros err\u00f3neos.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Indicadores de equidad: Infraestructura escalable para sistemas de machine learning justos. Catherina Xu y Tulsee Doshi, Google Research. Google<\/p>\n\n\n\n

Empecemos analizando la recopilaci\u00f3n de datos. Entre 1940 y 1990 compa\u00f1\u00edas como Kodak y Polaroid solo usaron modelos blancos<\/strong><\/a> para calibrar sus productos. Treinta a\u00f1os despu\u00e9s, seguimos teniendo los mismos sesgos raciales con la tecnolog\u00eda.<\/p>\n\n\n\n

El estudio Gender Shades<\/strong><\/a> midi\u00f3 la precisi\u00f3n de la clasificaci\u00f3n comercial de sistemas de Microsoft, IBM y Face ++ para descubrir que las mujeres de piel m\u00e1s oscura eran clasificadas err\u00f3neamente con mayor frecuencia que el resto. Los sistemas funcionaban mejor en rostros de hombres que de mujeres y en pieles claras que oscuras.<\/p>\n\n\n\n

Una actualizaci\u00f3n del estudio en 2019 volvi\u00f3 a probar los tres sistemas comerciales previamente examinados y ampli\u00f3 la revisi\u00f3n para incluir Amazon Rekognition y Kairos. IBM, Face ++ y Microsoft hab\u00edan mejorado su precisi\u00f3n. Sin embargo, las plataformas de Amazon y Kairos ten\u00edan unas brechas de precisi\u00f3n del 31 % y 22,5 %, respectivamente, entre hombres de piel m\u00e1s clara y mujeres de piel m\u00e1s oscura.<\/p>\n\n\n\n

Amazon, en vez de tomar nota y tratar de corregir el problema, comenz\u00f3 toda una campa\u00f1a de desprestigio de la investigaci\u00f3n y, m\u00e1s en concreto, de la figura de una de sus responsables, Joy Buolamwini.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Informe Gendered Innovations 2.<\/p>\n\n\n\n

Este es un ejemplo de sesgo interseccional, donde diferentes tipos de discriminaci\u00f3n amplifican los efectos negativos para un individuo o grupo. La interseccionalidad describe formas cruzadas de opresi\u00f3n y desigualdad que surgen de ventajas y desventajas estructurales derivadas de la pertenencia a m\u00faltiples categor\u00edas sociales superpuestas como g\u00e9nero, sexo, etnia, edad, nivel socioecon\u00f3mico, orientaci\u00f3n sexual, ubicaci\u00f3n geogr\u00e1fica\u2026 Es decir, cada persona sufre opresi\u00f3n u ostenta privilegio en base a su pertenencia a m\u00faltiples categor\u00edas sociales.<\/p>\n\n\n\n

El sesgo tambi\u00e9n puede introducirse durante la preparaci\u00f3n de datos y la selecci\u00f3n del modelo, lo que implica escoger atributos que el algoritmo deber\u00eda considerar o ignorar, como los cosm\u00e9ticos faciales o la evoluci\u00f3n de las caras de personas trans durante la transici\u00f3n.<\/p>\n\n\n\n

Maquillaje y personas trans<\/strong><\/p>\n\n\n\n

Un estudio<\/strong><\/a> mostr\u00f3 que el maquillaje (usado principalmente por las mujeres en la mayor\u00eda de sociedades) reduce enormemente la precisi\u00f3n de los m\u00e9todos de reconocimiento facial comerciales y acad\u00e9micos. La raz\u00f3n es que los cosm\u00e9ticos no se han establecido como un par\u00e1metro en las bases de datos faciales disponibles p\u00fablicamente.<\/p>\n\n\n\n

Una propuesta para desarrollar sistemas que sean robustos es mapear y correlacionar varias im\u00e1genes de la misma persona con y sin maquillaje. Estas soluciones tambi\u00e9n deben tener en cuenta las diferentes pr\u00e1cticas de maquillaje en las distintas culturas.<\/p>\n\n\n\n

Otro de los desaf\u00edos emergentes son las caras de las personas trans, especialmente durante los per\u00edodos de transici\u00f3n. Por ejemplo, salt\u00f3 a los medios el caso de una conductora trans de Uber<\/strong><\/a> que ten\u00eda que viajar todos los d\u00edas dos horas para ir a una oficina local de la compa\u00f1\u00eda dado que no funcionaba con ella la app<\/em> que solicita peri\u00f3dicamente a conductores que env\u00eden selfies<\/em> para verificar su identidad antes de comenzar un turno.<\/p>\n\n\n\n

La terapia hormonal redistribuye la grasa facial y cambia la forma y textura general del rostro. Dependiendo de la direcci\u00f3n de la transici\u00f3n (es decir, de hombre a mujer o de mujer a hombre), los cambios m\u00e1s significativos en la cara transformada afectan las arrugas y l\u00edneas, las estr\u00edas, el engrosamiento o adelgazamiento de la piel y las variaciones de textura. La terapia con hormonas, por ejemplo, hace que la cara sea m\u00e1s angular.<\/p>\n\n\n\n

\u00bfLa soluci\u00f3n es corregir los prejuicios asegurando que se incluyan muchas personas trans en los datos de entrenamiento de la IA? La idea, en un primer momento, puede sonar bien, pero recoger y almacenar datos de una comunidad que tiene motivos para sentirse inc\u00f3moda con esta recopilaci\u00f3n, no es la mejor pr\u00e1ctica. En este caso, puede ser importante revisar los par\u00e1metros algor\u00edtmicos. Los m\u00e9todos existentes indican que en estos casos, la regi\u00f3n ocular (o periocular) se puede utilizar de forma m\u00e1s fiable en comparaci\u00f3n con el uso de la regi\u00f3n de rostro completo, ya que se ve menos afectada por el cambio que otras.<\/p>\n\n\n\n

Otro estudio<\/strong><\/a> hall\u00f3 que cuatro servicios comerciales (Amazon Rekognition, Clarifai, IBM Watson Visual Recognition y Microsoft Azure) tuvieron un desempe\u00f1o deficiente en personas trans y no pudieron clasificar g\u00e9neros no binarios.<\/p>\n\n\n\n

Usando el hashtag proporcionado por las personas en sus publicaciones de Instagram (#woman, #man, #transwoman, #transman, #agender, #genderqueer, #nonbinary), el equipo calcul\u00f3 la precisi\u00f3n de los resultados de clasificaci\u00f3n de g\u00e9nero en 2 450 im\u00e1genes. En promedio, los sistemas clasificaron a las mujeres cis (#women) con un 98,3 % de precisi\u00f3n y a los hombres cis (#man) con un 97,6 %. La precisi\u00f3n disminuy\u00f3 para las personas trans, con un promedio de 87,3 % para #transwoman y 70,5 % para #transman. Aquellas personas que se identificaron como #agender, #genderqueer o #nonbinary fueron mal caracterizadas el 100 % de las veces.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Informe Gendered Innovations 2 Informe Gendered Innovations 2.<\/p>\n\n\n\n

Hora de repensar la tecnolog\u00eda<\/strong><\/p>\n\n\n\n

Ante todas estas inc\u00f3gnitas \u00e9ticas, compa\u00f1\u00edas como IBM han cesado por completo<\/strong><\/a> el desarrollo de software<\/em> de reconocimiento facial, mientras que Amazon<\/strong><\/a> y Microsoft<\/strong><\/a> han hecho un par\u00f3n temporal en la venta de sus sistemas a la polic\u00eda.<\/p>\n\n\n\n

Visto lo sucedido con el despido por parte de Google de Timnit Gebru<\/strong><\/a>, una de sus l\u00edderes de \u00e9tica (y precisamente otra de las impulsoras del estudio de Gender Shades<\/em>), es peligroso dejar las llaves del gallinero al zorro.<\/p>\n\n\n\n

Como bien dice Cathy O’Neil<\/strong><\/a>, otra activista por una IA \u00e9tica: \u201cNo se puede confiar en que las empresas verifiquen su propio trabajo, especialmente cuando el resultado pueda entrar en conflicto con sus intereses financieros.\u201d<\/p>\n\n\n\n

Para no perpetuar e incluso amplificar los patrones sociales de injusticia al codificar consciente o inconscientemente los prejuicios humanos, tenemos que pasar del \u201cmodo reactivo\u201d (poniendo parches cuando se encuentran los problemas) al \u201cmodo proactivo\u201d, incorporando el an\u00e1lisis interseccional desde la misma concepci\u00f3n de los proyectos.<\/p>\n\n\n\n

Para ello, desde la Comisi\u00f3n Europea se ha publicado un informe (Gendered Innovations 2<\/strong><\/a>) en el que hemos desarrollado quince estudios de caso y m\u00e9todos para mostrar c\u00f3mo ayudar a la investigaci\u00f3n a desarrollar tecnolog\u00edas m\u00e1s justas y responsables. Nuestro objetivo es concienciar a la ciudadan\u00eda, a las organizaciones y a la administraci\u00f3n p\u00fablica de este problema y as\u00ed crear tecnolog\u00edas que funcionen para toda la sociedad y no solo para las mayor\u00edas con poder.<\/p>\n\n\n\n

Art\u00edculo publicado en theconversation.com<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Art\u00edculo publicado en El Obrero (27\/07\/2023) Con los avances en inteligencia artificial los sistemas de reconocimiento facial han proliferado. Se han desarrollado muchos servicios para identificar a personas en las multitudes, analizar sus emociones y detectar su g\u00e9nero, edad, raza y caracter\u00edsticas faciales. Ya se utilizan con una gran variedad de prop\u00f3sitos: desde contratar o […]<\/p>\n","protected":false},"author":515,"featured_media":3520,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_genesis_hide_title":false,"_genesis_hide_breadcrumbs":false,"_genesis_hide_singular_image":false,"_genesis_hide_footer_widgets":false,"_genesis_custom_body_class":"","_genesis_custom_post_class":"","_genesis_layout":"","footnotes":""},"categories":[37,11],"tags":[128],"class_list":{"0":"post-3517","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-opinion","8":"category-voces-expertas","9":"tag-lorena-fernandez","10":"entry"},"_links":{"self":[{"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/posts\/3517","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/users\/515"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/comments?post=3517"}],"version-history":[{"count":2,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/posts\/3517\/revisions"}],"predecessor-version":[{"id":3523,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/posts\/3517\/revisions\/3523"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/media\/3520"}],"wp:attachment":[{"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/media?parent=3517"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/categories?post=3517"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.deusto.es\/viviendodeusto\/wp-json\/wp\/v2\/tags?post=3517"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}