Month: February 2021

Uno de los grandes retos presentes y del futuro de la Inteligencia Artificial (IA) son los sesgos en los algoritmos. En los últimos años, han salido a la luz varios casos en los que la IA ha actuado de forma injusta o discriminatoria hacia ciertos colectivos. Ejemplos que han tenido un gran impacto mediático son los casos de Amazon, que en 2018 tuvo que desechar un sistema de reclutamiento por su sesgo contra las mujeres, de Google, que en 2015 tuvo que pedir disculpas después de que el algoritmo de Google Photos etiquetara como “gorilas” la foto de dos afroamericanos, y de Microsoft, que en 2016 se vio obligada a retirar el chatbot llamado “Tay” por elaborar mensajes racistas y xenófobos, por mencionar algunos de ellos.

La mediatización de estos casos produce dudas e incertidumbre en la opinión pública sobre el presente y futuro de la Inteligencia Artificial. Por este motivo y, para intentar dar respuesta a por qué se producen los sesgos, cómo podemos minimizar sus consecuencias, y cómo podemos garantizar un futuro con una Inteligencia Artificial más justa, inclusiva y equitativa, el Centro de Visión por Computador (CVC), en colaboración con la Fundación ”la Caixa”, organizó el pasado 26 de enero en el Palau Macaya el debate “Algoritmos sesgados: sin dejar a nadie atrás“, dentro de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”. El debate, moderado por el Director de Comunicación del CVC, el Dr. Carlos Sierra, contó con el siguiente panel de ponentes:

• Dra. Maria Vanrell, investigadora del CVC y catedrática de la Universidad Autónoma de Barcelona.
• Sr. Daniel Santanach, Coordinador de la estrategia de Inteligencia Artificial de Cataluña (Catalonia.AI) en el Departamento de Políticas Digitales y Administración Pública de la Generalitat de Catalunya.
• Dra. Marta Ruiz Costa-Jussà, investigadora ERC de la Universidad Politécnica de Cataluña (UPC)
• Sra. Mayte Hidalgo, responsable de estrategia y ética de la IA en everis
• Sra. Judith Membrives, mentora e investigadora de Experiencia de Persona Usuaria e Innovación en el UXLab de Barcelona Activa.

A pesar que el debate se vio afectado por las restricciones a causa de la pandemia de la COVID-19, que redujo el aforo de la sala de actos del Palau Macaya a la mitad, el acto contó con más de 300 espectadores gracias a la emisión en directo a través de las redes sociales del CVC.

 

Algoritmos o datos: ¿Dónde radica el problema?

El sesgo en la Inteligencia Artificial es uno de los temas más discutidos dentro de este ámbito. Estos sesgos, tal y como explicó el coordinador de la estrategia Catalonia.AI, Daniel Santanach, aparecen porque detrás de cada tecnología siempre hay una o varias personas, con una serie de prejuicios y valores inherentes, que pueden transferirlos a las tecnologías: “Detrás de la IA hay personas que programan los algoritmos, que seleccionan los datos con los que se entrenan y que evalúan los resultados. Y, nos guste o no, las personas estamos sesgadas por un determinado contexto histórico o situación geográfica”.

Por lo tanto, la presencia de sesgos es un hecho innegable y el problema es que, muchas veces, pasan inadvertidos. Sin embargo, una de las preguntas que en el debate suscitó más diversidad de opiniones fue el verdadero origen de estos sesgos: ¿Son los algoritmos los que discriminan? ¿Son los datos los que ya vienen sesgados de serie? ¿O bien se trata de una combinación de ambas situaciones?

En este aspecto, la Dra. Maria Vanrell y Daniel Santanach coincidieron en sus respuestas: no podemos separar el algoritmo de los datos. “La amenaza está en todo: quién lo usa, cómo se programa, con qué datos se ha entrenado, etc. No se puede separar una cosa de la otra”, puntualizó la Dra. Vanrell, a lo que el Sr. Santanach añadió: “por este motivo es importante crear comités éticos para validar tanto los algoritmos que se desarrollan como los datos que se usan para entrenarlos”.

Sin embargo, la Dra. Marta R. Costa-Jussà consideró que el problema reside principalmente en los datos: “En mi comunidad científica, que es el tratamiento del lenguaje natural, atribuimos el sesgo a los datos. Los algoritmos, en el aprendizaje automático, estadísticamente cogen lo que es más probable. Por lo tanto, los algoritmos son neutros, pero pueden amplificar el sesgo de los datos”. Para entender esto, la Dra. Costa-Jussà lo ejemplifica con el caso de los sistemas de traducción automática, que tienden a traducir las palabras neutras del inglés “doctor”, siempre en masculino y, “nurse”, como enfermera en femenino ya que, en el histórico de los datos, aparecen más hombres como doctores y mujeres como enfermeras y el algoritmo tiende a generalizar.

En este sentido, Mayte Hidalgo, que no se decantó por uno u otro, quiso dar un especial énfasis en los datos y la perpetuación del sesgo: “Es importante hacer foco en qué nos puede estar diciendo un determinado grupo de datos acerca de un sesgo inherente y ver si es necesario tomar cautelas para no perpetuar el sesgo que pudieran estar expresando un comportamiento del pasado que quizás ahora deberíamos volver a evaluar”.  

Por último, Judith Membrives, secundó la opinión de que es el dato el que provoca que haya más sesgo y reivindicó la necesidad de una supervisión humana para reducirlos: “La tecnología, como materialización de algo producido por los humanos, no es neutral. Eso no significa que sea mala o buena, el problema está cuando sabemos que los algoritmos trabajan en base de una estadística concreta y no ponemos una supervisión humana a corregir estos sesgos, sino que es a partir de la realidad post-test cuando nos damos cuenta de sus consecuencias. Estas consecuencias, si nos damos cuenta pronto, las podemos arreglar, pero si las detectamos tarde pueden ser daños colaterales de la innovación tecnológica. A mí me preocupa que sabiendo que somos capaces de detectar ciertas cosas e imaginar las consecuencias, tengamos que aceptar estos daños colaterales”.

Educación y regulación, dos soluciones a corto y largo plazo

Como ya hemos visto en los anteriores ejes de este ciclo, la educación tecnológica es clave para que la sociedad pueda enfrentarse a los retos de futuro que conllevará la Inteligencia Artificial. Y como no podía ser menos, en este debate también fue una premisa en la que todos los ponentes coincidieron: “Los cambios tecnológicos avanzan más rápido de lo que los humanos podemos absorber. Conviene tener una fuerte educación en tecnología para evitar la desinformación o la poca familiarización, empezando por los niños, que son los que en un futuro diseñarán estos algoritmos”, afirmó la Dra. Costa-Jussà.

Por su parte, la responsable de estrategia y ética de la IA en everis, Mayte Hidalgo, comentó que también hay que educar sobre los datos, como elemento común de riqueza para la sociedad: “Las personas somos generadores de datos y, al estos ser una expresión de la humanidad, hay que aprovecharlos para el bien común. En este sentido, hay que educar para entender el uso de los datos, empezar a minimizar el concepto apocalíptico de la IA cada vez que sucede cualquier incidencia mediática y ejercer el rol educativo, didáctico y de difusión que empieza a hacer del dato un elemento común de riqueza para la sociedad”.

Estas opiniones fueron secundadas por la investigadora del User Experience Laboratory (UXLab) de Barcelona Activa, Judith Membrives, que introdujo también la necesidad de la regulación: “Es necesario alfabetizar y empoderar a los ciudadanos, pero esto no se consigue de un día para otro. Por lo tanto, debe acompañarse de regulaciones más estrictas, al menos en un momento inicial”.

Como representante de la Administración Pública, Daniel Santanach comentó algunas de las iniciativas que se están llevando a cabo por parte de la Generalitat de Catalunya para la alfabetización de la sociedad en materia de Inteligencia Artificial, y para la concienciación de las empresas, universidades y centros de innovación para la incorporación de comités éticos que participen en la revisión de los procesos de desarrollo de nuevas tecnologías. Además, afirmó que desde la Generalitat se está trabajando en una Carta de Derechos Digitales, actualmente abierta a la participación ciudadana, que servirá para promover un marco legislativo y democrático para garantizar los derechos humanos y las libertades fundamentales de los ciudadanos en la era digital.

Transparencia, confianza y cooperación: tres claves para el progreso

Al inicio del debate, Judith Membrives, comentó que las principales preocupaciones que surgieron por parte de la ciudadanía en el grupo de trabajo fueron la falta de regulación, el miedo a quién tiene el control de nuestros datos y sentimiento de desprotección en torno a la Inteligencia Artificial.

Para dar respuesta a estas preocupaciones generalizadas, en el debate se habló de la importancia de la transparencia en el proceso de innovación y desarrollo de las tecnologías. En este sentido, la Dra. Marta Costa-Jussà puntualizó la necesidad de que las bases de datos contengan más información y detalles que ayuden a los investigadores a saber con qué clase de datos están trabajando y cómo serán los sistemas si los entrenan utilizando los mismos.

Por otra parte, los ponentes también reflexionaron sobre la importancia de la confianza en la tecnología por parte de la ciudadanía y coincidieron de forma unánime en que es imprescindible para el buen desarrollo de la tecnología en un futuro: “Al final, por mucha transparencia que le demos, siempre será necesaria la confianza hacia la Inteligencia Artificial. Con las vacunas, por ejemplo, tenemos confianza. Pero para generar confianza es necesario educar y explicar la Inteligencia Artificial a todos los niveles, desde los niños hasta la sociedad en general”, señaló Daniel Santanach.

Finalmente, también se habló de la cooperación entre empresas y centros de investigación o sector público: “Si somos capaces de abrir y compartir, el progreso se dispara. A las propias empresas les interesa compartir porque es mucho más el beneficio dando que escondiendo”, afirmó la Dra. Maria Vanrell, a lo que la Dra. Marta Costa-Jussà añadió: “Se tiene que cerrar el círculo: la sociedad invierte unos impuestos en la academia, la academia pasa sus resultados a la industria y la industria hace la producción que se revierte en la sociedad. Actualmente la cooperación entre industria y academia es muy grande, los modelos que se entrenan están en abierto y se comparten. La colaboración es muy activa y gracias a eso el progreso es enorme”.

Conclusiones

La neutralidad de la tecnología sigue siendo un tema que suscita confrontación de opiniones y, seguramente no hay una respuesta correcta, si no que depende del concepto de neutralidad que tenga cada uno. Neutra o no, lo más importante el uso que damos a esa tecnología y las consecuencias que pueda generar. Por este motivo, es importante que academia, industria, administración pública y sociedad civil se unan para para garantizar la construcción de un futuro en el que la tecnología se utilice para el beneficio común.

Los sesgos en los algoritmos, al igual que los sesgos en los seres humanos, existen y probablemente van a existir siempre. Forman parte de la inteligencia humana y, tal como mencionó Daniel Santanach haciendo referencia al libro de Sápiens de Yuval Noah Harari “son los que nos han llevado a los seres humanos hasta dónde hemos llegado hoy en día como especie”. Sin embargo, esto no es una excusa para no tratar de minimizar las consecuencias negativas que puedan conllevar. La construcción de comités éticos, los equipos multidisciplinares y diversos, los mecanismos supervisión y la transparencia tanto en los datos como en los procesos de desarrollo de los algoritmos, son algunas de las necesidades que se han comentado en este debate.

Además, estos algoritmos presentan una fortaleza que nosotros, como seres humanos, no tenemos, tal como explicó la Dra. Marta R. Costa-Jussà: “Así como a nosotros no se nos pueden borrar los sesgos, que ya nos vienen inculcados casi desde nuestro nacimiento, a un algoritmo lo podemos resetear, reentrenar y neutralizar. Aquí se nos presenta una oportunidad y es que los algoritmos pueden llegar a ser más equitativos que nosotros mismos, si así los entrenamos”.

Finalmente, todo esto no tiene sentido sin la confianza de la ciudadanía en la Inteligencia Artificial, así como en otros ámbitos de la ciencia y la tecnología. Para ello, es necesario apostar por una alfabetización tecnológica a todos los niveles, un marco normativo que nos proteja y garantice nuestros derechos humanos y un desarrollo de la IA desde un punto de vista ético e integrador.

Para más información sobre los siguientes debates de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”, puedes consultar el calendario de actividades en la página web del proyecto: http://iabcn.cvc.uab.es/