6 de marzo de 2023
Cómo se reproduce la discriminación de género en los algoritmos
Un algoritmo que cuando es consultado por personas destacadas o idóneas para ciertas profesiones sólo ofrece el perfil de varones y otro� que aprendió a asociar imágenes de artefactos domésticos con mujeres son sólo dos ejemplos de la temática que abordaron especialistas en diálogo con Télam.
Por MarÃa Clara Olmos 06-03-2023 | 20:20 Iilustración: Pablo Blasberg.
Un algoritmo que aprendió a asociar imágenes de artefactos domésticos con mujeres y otro que cuando es consultado por personas destacadas o idóneas para ciertas profesiones sólo ofrece el perfil de varones: dos ejemplos que ayudan a pensar cómo se reproduce la discriminación por razones de género en los datos -sociales e históricos- con los que se entrena la inteligencia artificial (IA), cuyos impactos en la vida de mujeres y LGBTIQ+ son abordados por especialistas en diálogo con Télam.
Que la IA está cada vez más presente en la vida cotidiana no es algo nuevo, aunque sà su capacidad de dar respuestas a demandas cada vez más complejas como generar textos académicos, imágenes o producciones artÃsticas casi indistinguibles de las que podrÃa producir una persona humana.
Se logra a través de las técnicas de aprendizaje automático, o machine learning, con las que se entrena a la IA para que pueda emular comportamientos o generar predicciones o recomendaciones a partir de una gran cantidad de datos y con diversos grados de autonomÃa.
El problema es que, si nunca hubo -o no se reconoce- la participación de mujeres y LGBTIQ+ en determinados ámbitos de la vida y, por ende, no existen datos que den cuenta de eso, probablemente la IA reproducirá por defecto este tipo de disparidades.
Esto ocurre porque "se suele pensar a los datos como algo objetivo, olvidando que son el producto de relaciones sociales subjetivas y asimétricasâ€, explicó Victoria Dumas, directora del equipo de Ciencia de Datos e Inteligencia Artificial de la Fundación Sadosky.
En diálogo con Télam, enfatizó en la necesaria "formación y sensibilización en sesgos (de género, de clase, de raza) para las personas que están a cargo de diseñar y programar los algoritmos de IA", en tanto que solo podrán desarrollar sistemas que no discriminen "si son capaces de identificar y dominar sus propios sesgos inconscientesâ€.
No es extraño, entonces, que ante la consulta a un chatbot por el nombre de personas destacadas de la filosofÃa, por ejemplo, la respuesta sea un listado sólo de hombres, dado que “estadÃsticamente las mujeres filósofas están subrepresentadas en los datos de entrenamientoâ€, ejemplificó.
Esto es particularmente problemático por el creciente uso de estas respuestas "inteligentes" en distintos ámbitos, incluso educativos y laborales.
Tiempo atrás, la empresa Amazon tuvo que retirar un software de reclutamiento de personas trabajadoras que discriminaba a las mujeres de sus ofertas en puestos técnicos, al haber sido entrenada con “los perfiles de solicitantes de (esos) empleos en los últimos años, que en su mayorÃa eran hombresâ€.
“Los modelos de IA conocen cómo somos y cómo fuimos como sociedad, pero no saben hacia dónde queremos ir, y en esto está la clave donde es necesario que accionemosâ€, apuntó la experta.
Foto: 123RF.
Por su parte, la cofundadora y directora del Observatorio de Datos "DataGénero", Ivana Feldfeber, aseguró que una de las “grandes preocupaciones†en la materia es que cada vez más gobiernos “implementan algoritmos de IA que inciden en nuestras vidas y no sabemos nada al respectoâ€.
Operando inadvertidamente, estos sistemas se usan “para tomar decisiones que afectan directamente a las personasâ€, por ejemplo para determinar a quiénes entregar préstamos, atención médica o social, o incluso para medir una pena judicial o el riesgo de reincidencia, indicó.
El proyecto “Not my AI†(“No mi IAâ€, en español), desarrolló un mapa de "proyectos problemáticos†que usan IA en Latinoamérica, y Argentina registró al menos tres, dos de ellos relacionados a la video vigilancia.
También se encuentra la Plataforma Tecnológica de Intervención Social, un programa que el gobierno de Salta y la mega empresa Microsoft impulsaron en 2018 y que aspiraba a poder predecir el embarazo adolescente mediante inteligencia artificial.
“Además de lo estigmatizante que es la propuesta, que sólo recopila datos de niñas pero no de las personas que las dejan embarazadas, la pregunta es qué se hace después con esos datos que refieren a una problemática tan complejaâ€, cuestionó Feldfeber, quien enfatizó en que estos proyectos “lo único que buscan es marcar†grupos sociales mediante la IA.
Pese a las complejidades que presenta, las especialistas destacaron las oportunidades que puede brindar la IA, abordada desde una perspectiva de género, en las luchas de mujeres y LGBTIQ+.
Ejemplos de esto son los chatbots diseñados para la recepción de denuncias por violencia de género para agilizar los tiempos judiciales, o Themis, un corrector de textos que advierte sobre las palabras sexistas y propone alternativas inclusivas.
También lo es AymurAI, un programa para computadora basado en IA, que tiene como objetivo ayudar a los poderes judiciales a recolectar y disponer datos anonimizados sobre la violencia de género, desarrollado por DataGénero junto a colegas mexicanas y suecas.
Consultada por Télam, YasmÃn Quiroga, abogada e integrante del observatorio, explicó que la iniciativa surgió a partir de la carencia de datos unificados sobre violencia de género en el paÃs y, a su vez, el bajo nivel de confianza en el poder judicial argentino, que la última encuesta de Latinobarómetro ubicó en un 16%.
En casos de violencia de género, esto se traduce en “bajos niveles de denuncia, desconfianza en el sistema de justicia y menor acceso†a la misma, aseguró.
En ese marco, AymurAI fue pensada como una forma de agilizar la recolección de datos sobre la violencia de género a partir de la automatización de su registro, de manera que permita “comprender la violencia de género y respaldar el desarrollo de polÃticas públicasâ€, detallaron sus creadoras.
“Los datos tienen una capacidad transformadora porque permiten conocer la realidad de las personas. Son una evidencia concreta, más allá de que no son objetivosâ€, indicó Quiroga.
“Estos datos ya existen y son muy demandados por la sociedad, es cuestión de empezar a trabajarlos y publicarlos", sostuvieron las creadoras de AymurAI, que ya está en funcionamiento y disponible "para quienes lo quieran implementar".
Y concluyeron: “No esperamos que estas herramientas solucionen el problema de la violencia de género, pero sà creemos que tienen mucho que aportarâ€.
Un algoritmo que aprendió a asociar imágenes de artefactos domésticos con mujeres y otro que cuando es consultado por personas destacadas o idóneas para ciertas profesiones sólo ofrece el perfil de varones: dos ejemplos que ayudan a pensar cómo se reproduce la discriminación por razones de género en los datos -sociales e históricos- con los que se entrena la inteligencia artificial (IA), cuyos impactos en la vida de mujeres y LGBTIQ+ son abordados por especialistas en diálogo con Télam.
Que la IA está cada vez más presente en la vida cotidiana no es algo nuevo, aunque sà su capacidad de dar respuestas a demandas cada vez más complejas como generar textos académicos, imágenes o producciones artÃsticas casi indistinguibles de las que podrÃa producir una persona humana.
Se logra a través de las técnicas de aprendizaje automático, o machine learning, con las que se entrena a la IA para que pueda emular comportamientos o generar predicciones o recomendaciones a partir de una gran cantidad de datos y con diversos grados de autonomÃa.
El problema es que, si nunca hubo -o no se reconoce- la participación de mujeres y LGBTIQ+ en determinados ámbitos de la vida y, por ende, no existen datos que den cuenta de eso, probablemente la IA reproducirá por defecto este tipo de disparidades.
Esto ocurre porque "se suele pensar a los datos como algo objetivo, olvidando que son el producto de relaciones sociales subjetivas y asimétricasâ€, explicó Victoria Dumas, directora del equipo de Ciencia de Datos e Inteligencia Artificial de la Fundación Sadosky.
“Los modelos de IA conocen cómo somos y cómo fuimos como sociedad, pero no saben hacia dónde queremos ir, y en esto está la clave donde es necesario que accionemosâ€.Victoria Dumas
En diálogo con Télam, enfatizó en la necesaria "formación y sensibilización en sesgos (de género, de clase, de raza) para las personas que están a cargo de diseñar y programar los algoritmos de IA", en tanto que solo podrán desarrollar sistemas que no discriminen "si son capaces de identificar y dominar sus propios sesgos inconscientesâ€.
No es extraño, entonces, que ante la consulta a un chatbot por el nombre de personas destacadas de la filosofÃa, por ejemplo, la respuesta sea un listado sólo de hombres, dado que “estadÃsticamente las mujeres filósofas están subrepresentadas en los datos de entrenamientoâ€, ejemplificó.
Esto es particularmente problemático por el creciente uso de estas respuestas "inteligentes" en distintos ámbitos, incluso educativos y laborales.
Tiempo atrás, la empresa Amazon tuvo que retirar un software de reclutamiento de personas trabajadoras que discriminaba a las mujeres de sus ofertas en puestos técnicos, al haber sido entrenada con “los perfiles de solicitantes de (esos) empleos en los últimos años, que en su mayorÃa eran hombresâ€.
“Los modelos de IA conocen cómo somos y cómo fuimos como sociedad, pero no saben hacia dónde queremos ir, y en esto está la clave donde es necesario que accionemosâ€, apuntó la experta.
Por su parte, la cofundadora y directora del Observatorio de Datos "DataGénero", Ivana Feldfeber, aseguró que una de las “grandes preocupaciones†en la materia es que cada vez más gobiernos “implementan algoritmos de IA que inciden en nuestras vidas y no sabemos nada al respectoâ€.
Operando inadvertidamente, estos sistemas se usan “para tomar decisiones que afectan directamente a las personasâ€, por ejemplo para determinar a quiénes entregar préstamos, atención médica o social, o incluso para medir una pena judicial o el riesgo de reincidencia, indicó.
El proyecto “Not my AI†(“No mi IAâ€, en español), desarrolló un mapa de "proyectos problemáticos†que usan IA en Latinoamérica, y Argentina registró al menos tres, dos de ellos relacionados a la video vigilancia.
También se encuentra la Plataforma Tecnológica de Intervención Social, un programa que el gobierno de Salta y la mega empresa Microsoft impulsaron en 2018 y que aspiraba a poder predecir el embarazo adolescente mediante inteligencia artificial.
“Además de lo estigmatizante que es la propuesta, que sólo recopila datos de niñas pero no de las personas que las dejan embarazadas, la pregunta es qué se hace después con esos datos que refieren a una problemática tan complejaâ€, cuestionó Feldfeber, quien enfatizó en que estos proyectos “lo único que buscan es marcar†grupos sociales mediante la IA.
Pese a las complejidades que presenta, las especialistas destacaron las oportunidades que puede brindar la IA, abordada desde una perspectiva de género, en las luchas de mujeres y LGBTIQ+.
Ejemplos de esto son los chatbots diseñados para la recepción de denuncias por violencia de género para agilizar los tiempos judiciales, o Themis, un corrector de textos que advierte sobre las palabras sexistas y propone alternativas inclusivas.
También lo es AymurAI, un programa para computadora basado en IA, que tiene como objetivo ayudar a los poderes judiciales a recolectar y disponer datos anonimizados sobre la violencia de género, desarrollado por DataGénero junto a colegas mexicanas y suecas.
Consultada por Télam, YasmÃn Quiroga, abogada e integrante del observatorio, explicó que la iniciativa surgió a partir de la carencia de datos unificados sobre violencia de género en el paÃs y, a su vez, el bajo nivel de confianza en el poder judicial argentino, que la última encuesta de Latinobarómetro ubicó en un 16%.
En casos de violencia de género, esto se traduce en “bajos niveles de denuncia, desconfianza en el sistema de justicia y menor acceso†a la misma, aseguró.
En ese marco, AymurAI fue pensada como una forma de agilizar la recolección de datos sobre la violencia de género a partir de la automatización de su registro, de manera que permita “comprender la violencia de género y respaldar el desarrollo de polÃticas públicasâ€, detallaron sus creadoras.
“Los datos tienen una capacidad transformadora porque permiten conocer la realidad de las personas. Son una evidencia concreta, más allá de que no son objetivosâ€, indicó Quiroga.
“Estos datos ya existen y son muy demandados por la sociedad, es cuestión de empezar a trabajarlos y publicarlos", sostuvieron las creadoras de AymurAI, que ya está en funcionamiento y disponible "para quienes lo quieran implementar".
Y concluyeron: “No esperamos que estas herramientas solucionen el problema de la violencia de género, pero sà creemos que tienen mucho que aportarâ€.
COMPARTIR:
Notas Relacionadas
El Gobierno oficializó el aumento del presupuesto en defensa y las sanciones por la explotación de recursos en Malvinas
Tras la cadena nacional de Javier Milei, los decretos publicados en el Boletín Oficial apuntan a reforzar la política oficial sobre soberanía, recursos estratégicos y presencia estatal en el Atlántico Sur
Rescataron con vida a dos trabajadores atrapados durante 10 días en un túnel tras las riadas que afectaron Nepal
Los supervivientes fueron identificados como Sanjay Sah y Kabir Maharjan, según responsables de la operación de rescate. Los datos iniciales de la Asociación Independiente de Productores de Energía de Nepal señalaron que 42 empleados quedaron atrapados
Las operadoras del yacimiento Sea Lion en las islas Malvinas respondieron a las sanciones de Milei: "No tendrán efectos materiales"
Rockhopper y Navitas emitieron un comunicado conjunto en el que aseguran que sus licencias son válidas, que están respaldadas por el Reino Unido y que el proyecto de extracción petrolera avanza según la agenda previstaComentarios
Comentarios
Aun no hay comentarios, sé el primero en escribir uno.
