Event

Uno de los grandes retos presentes y del futuro de la Inteligencia Artificial (IA) son los sesgos en los algoritmos. En los últimos años, han salido a la luz varios casos en los que la IA ha actuado de forma injusta o discriminatoria hacia ciertos colectivos. Ejemplos que han tenido un gran impacto mediático son los casos de Amazon, que en 2018 tuvo que desechar un sistema de reclutamiento por su sesgo contra las mujeres, de Google, que en 2015 tuvo que pedir disculpas después de que el algoritmo de Google Photos etiquetara como “gorilas” la foto de dos afroamericanos, y de Microsoft, que en 2016 se vio obligada a retirar el chatbot llamado “Tay” por elaborar mensajes racistas y xenófobos, por mencionar algunos de ellos.

La mediatización de estos casos produce dudas e incertidumbre en la opinión pública sobre el presente y futuro de la Inteligencia Artificial. Por este motivo y, para intentar dar respuesta a por qué se producen los sesgos, cómo podemos minimizar sus consecuencias, y cómo podemos garantizar un futuro con una Inteligencia Artificial más justa, inclusiva y equitativa, el Centro de Visión por Computador (CVC), en colaboración con la Fundación ”la Caixa”, organizó el pasado 26 de enero en el Palau Macaya el debate “Algoritmos sesgados: sin dejar a nadie atrás“, dentro de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”. El debate, moderado por el Director de Comunicación del CVC, el Dr. Carlos Sierra, contó con el siguiente panel de ponentes:

• Dra. Maria Vanrell, investigadora del CVC y catedrática de la Universidad Autónoma de Barcelona.
• Sr. Daniel Santanach, Coordinador de la estrategia de Inteligencia Artificial de Cataluña (Catalonia.AI) en el Departamento de Políticas Digitales y Administración Pública de la Generalitat de Catalunya.
• Dra. Marta Ruiz Costa-Jussà, investigadora ERC de la Universidad Politécnica de Cataluña (UPC)
• Sra. Mayte Hidalgo, responsable de estrategia y ética de la IA en everis
• Sra. Judith Membrives, mentora e investigadora de Experiencia de Persona Usuaria e Innovación en el UXLab de Barcelona Activa.

A pesar que el debate se vio afectado por las restricciones a causa de la pandemia de la COVID-19, que redujo el aforo de la sala de actos del Palau Macaya a la mitad, el acto contó con más de 300 espectadores gracias a la emisión en directo a través de las redes sociales del CVC.

 

Algoritmos o datos: ¿Dónde radica el problema?

El sesgo en la Inteligencia Artificial es uno de los temas más discutidos dentro de este ámbito. Estos sesgos, tal y como explicó el coordinador de la estrategia Catalonia.AI, Daniel Santanach, aparecen porque detrás de cada tecnología siempre hay una o varias personas, con una serie de prejuicios y valores inherentes, que pueden transferirlos a las tecnologías: “Detrás de la IA hay personas que programan los algoritmos, que seleccionan los datos con los que se entrenan y que evalúan los resultados. Y, nos guste o no, las personas estamos sesgadas por un determinado contexto histórico o situación geográfica”.

Por lo tanto, la presencia de sesgos es un hecho innegable y el problema es que, muchas veces, pasan inadvertidos. Sin embargo, una de las preguntas que en el debate suscitó más diversidad de opiniones fue el verdadero origen de estos sesgos: ¿Son los algoritmos los que discriminan? ¿Son los datos los que ya vienen sesgados de serie? ¿O bien se trata de una combinación de ambas situaciones?

En este aspecto, la Dra. Maria Vanrell y Daniel Santanach coincidieron en sus respuestas: no podemos separar el algoritmo de los datos. “La amenaza está en todo: quién lo usa, cómo se programa, con qué datos se ha entrenado, etc. No se puede separar una cosa de la otra”, puntualizó la Dra. Vanrell, a lo que el Sr. Santanach añadió: “por este motivo es importante crear comités éticos para validar tanto los algoritmos que se desarrollan como los datos que se usan para entrenarlos”.

Sin embargo, la Dra. Marta R. Costa-Jussà consideró que el problema reside principalmente en los datos: “En mi comunidad científica, que es el tratamiento del lenguaje natural, atribuimos el sesgo a los datos. Los algoritmos, en el aprendizaje automático, estadísticamente cogen lo que es más probable. Por lo tanto, los algoritmos son neutros, pero pueden amplificar el sesgo de los datos”. Para entender esto, la Dra. Costa-Jussà lo ejemplifica con el caso de los sistemas de traducción automática, que tienden a traducir las palabras neutras del inglés “doctor”, siempre en masculino y, “nurse”, como enfermera en femenino ya que, en el histórico de los datos, aparecen más hombres como doctores y mujeres como enfermeras y el algoritmo tiende a generalizar.

En este sentido, Mayte Hidalgo, que no se decantó por uno u otro, quiso dar un especial énfasis en los datos y la perpetuación del sesgo: “Es importante hacer foco en qué nos puede estar diciendo un determinado grupo de datos acerca de un sesgo inherente y ver si es necesario tomar cautelas para no perpetuar el sesgo que pudieran estar expresando un comportamiento del pasado que quizás ahora deberíamos volver a evaluar”.  

Por último, Judith Membrives, secundó la opinión de que es el dato el que provoca que haya más sesgo y reivindicó la necesidad de una supervisión humana para reducirlos: “La tecnología, como materialización de algo producido por los humanos, no es neutral. Eso no significa que sea mala o buena, el problema está cuando sabemos que los algoritmos trabajan en base de una estadística concreta y no ponemos una supervisión humana a corregir estos sesgos, sino que es a partir de la realidad post-test cuando nos damos cuenta de sus consecuencias. Estas consecuencias, si nos damos cuenta pronto, las podemos arreglar, pero si las detectamos tarde pueden ser daños colaterales de la innovación tecnológica. A mí me preocupa que sabiendo que somos capaces de detectar ciertas cosas e imaginar las consecuencias, tengamos que aceptar estos daños colaterales”.

Educación y regulación, dos soluciones a corto y largo plazo

Como ya hemos visto en los anteriores ejes de este ciclo, la educación tecnológica es clave para que la sociedad pueda enfrentarse a los retos de futuro que conllevará la Inteligencia Artificial. Y como no podía ser menos, en este debate también fue una premisa en la que todos los ponentes coincidieron: “Los cambios tecnológicos avanzan más rápido de lo que los humanos podemos absorber. Conviene tener una fuerte educación en tecnología para evitar la desinformación o la poca familiarización, empezando por los niños, que son los que en un futuro diseñarán estos algoritmos”, afirmó la Dra. Costa-Jussà.

Por su parte, la responsable de estrategia y ética de la IA en everis, Mayte Hidalgo, comentó que también hay que educar sobre los datos, como elemento común de riqueza para la sociedad: “Las personas somos generadores de datos y, al estos ser una expresión de la humanidad, hay que aprovecharlos para el bien común. En este sentido, hay que educar para entender el uso de los datos, empezar a minimizar el concepto apocalíptico de la IA cada vez que sucede cualquier incidencia mediática y ejercer el rol educativo, didáctico y de difusión que empieza a hacer del dato un elemento común de riqueza para la sociedad”.

Estas opiniones fueron secundadas por la investigadora del User Experience Laboratory (UXLab) de Barcelona Activa, Judith Membrives, que introdujo también la necesidad de la regulación: “Es necesario alfabetizar y empoderar a los ciudadanos, pero esto no se consigue de un día para otro. Por lo tanto, debe acompañarse de regulaciones más estrictas, al menos en un momento inicial”.

Como representante de la Administración Pública, Daniel Santanach comentó algunas de las iniciativas que se están llevando a cabo por parte de la Generalitat de Catalunya para la alfabetización de la sociedad en materia de Inteligencia Artificial, y para la concienciación de las empresas, universidades y centros de innovación para la incorporación de comités éticos que participen en la revisión de los procesos de desarrollo de nuevas tecnologías. Además, afirmó que desde la Generalitat se está trabajando en una Carta de Derechos Digitales, actualmente abierta a la participación ciudadana, que servirá para promover un marco legislativo y democrático para garantizar los derechos humanos y las libertades fundamentales de los ciudadanos en la era digital.

Transparencia, confianza y cooperación: tres claves para el progreso

Al inicio del debate, Judith Membrives, comentó que las principales preocupaciones que surgieron por parte de la ciudadanía en el grupo de trabajo fueron la falta de regulación, el miedo a quién tiene el control de nuestros datos y sentimiento de desprotección en torno a la Inteligencia Artificial.

Para dar respuesta a estas preocupaciones generalizadas, en el debate se habló de la importancia de la transparencia en el proceso de innovación y desarrollo de las tecnologías. En este sentido, la Dra. Marta Costa-Jussà puntualizó la necesidad de que las bases de datos contengan más información y detalles que ayuden a los investigadores a saber con qué clase de datos están trabajando y cómo serán los sistemas si los entrenan utilizando los mismos.

Por otra parte, los ponentes también reflexionaron sobre la importancia de la confianza en la tecnología por parte de la ciudadanía y coincidieron de forma unánime en que es imprescindible para el buen desarrollo de la tecnología en un futuro: “Al final, por mucha transparencia que le demos, siempre será necesaria la confianza hacia la Inteligencia Artificial. Con las vacunas, por ejemplo, tenemos confianza. Pero para generar confianza es necesario educar y explicar la Inteligencia Artificial a todos los niveles, desde los niños hasta la sociedad en general”, señaló Daniel Santanach.

Finalmente, también se habló de la cooperación entre empresas y centros de investigación o sector público: “Si somos capaces de abrir y compartir, el progreso se dispara. A las propias empresas les interesa compartir porque es mucho más el beneficio dando que escondiendo”, afirmó la Dra. Maria Vanrell, a lo que la Dra. Marta Costa-Jussà añadió: “Se tiene que cerrar el círculo: la sociedad invierte unos impuestos en la academia, la academia pasa sus resultados a la industria y la industria hace la producción que se revierte en la sociedad. Actualmente la cooperación entre industria y academia es muy grande, los modelos que se entrenan están en abierto y se comparten. La colaboración es muy activa y gracias a eso el progreso es enorme”.

Conclusiones

La neutralidad de la tecnología sigue siendo un tema que suscita confrontación de opiniones y, seguramente no hay una respuesta correcta, si no que depende del concepto de neutralidad que tenga cada uno. Neutra o no, lo más importante el uso que damos a esa tecnología y las consecuencias que pueda generar. Por este motivo, es importante que academia, industria, administración pública y sociedad civil se unan para para garantizar la construcción de un futuro en el que la tecnología se utilice para el beneficio común.

Los sesgos en los algoritmos, al igual que los sesgos en los seres humanos, existen y probablemente van a existir siempre. Forman parte de la inteligencia humana y, tal como mencionó Daniel Santanach haciendo referencia al libro de Sápiens de Yuval Noah Harari “son los que nos han llevado a los seres humanos hasta dónde hemos llegado hoy en día como especie”. Sin embargo, esto no es una excusa para no tratar de minimizar las consecuencias negativas que puedan conllevar. La construcción de comités éticos, los equipos multidisciplinares y diversos, los mecanismos supervisión y la transparencia tanto en los datos como en los procesos de desarrollo de los algoritmos, son algunas de las necesidades que se han comentado en este debate.

Además, estos algoritmos presentan una fortaleza que nosotros, como seres humanos, no tenemos, tal como explicó la Dra. Marta R. Costa-Jussà: “Así como a nosotros no se nos pueden borrar los sesgos, que ya nos vienen inculcados casi desde nuestro nacimiento, a un algoritmo lo podemos resetear, reentrenar y neutralizar. Aquí se nos presenta una oportunidad y es que los algoritmos pueden llegar a ser más equitativos que nosotros mismos, si así los entrenamos”.

Finalmente, todo esto no tiene sentido sin la confianza de la ciudadanía en la Inteligencia Artificial, así como en otros ámbitos de la ciencia y la tecnología. Para ello, es necesario apostar por una alfabetización tecnológica a todos los niveles, un marco normativo que nos proteja y garantice nuestros derechos humanos y un desarrollo de la IA desde un punto de vista ético e integrador.

Para más información sobre los siguientes debates de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”, puedes consultar el calendario de actividades en la página web del proyecto: http://iabcn.cvc.uab.es/

La Inteligencia Artificial (IA) está cada día más presente en nuestras vidas, y todo apunta a que esta tendencia seguirá creciendo en los próximos años. Algunas de sus aplicaciones son vistas como algo positivo por la mayor parte de la sociedad, cómo puede ser la utilización de la Visión por Computador como herramienta de soporte a los profesionales médicos a la hora de diagnosticar enfermedades como el cáncer de pulmón, de mama o la Covid-19, pero hay otras sobre las cuales la mayoría de la ciudadanía tiene una visión negativa, como es el caso de la utilización de la IA en tareas de videovigilancia. Casi nadie quiere vivir en ciudades en donde podamos ser controlados en cada momento y lugar por cámaras de seguridad. En cambio, si hablamos de videoproteger la percepción varía de manera significativa, lo que denota que es un campo en donde la ética, la información y la educación han de jugar un papel muy destacado.

Por ello, y para intentar dar respuesta a las inquietudes que surgen cuando se habla de utilizar la IA para hacer ciudades más seguras, el Centro de Visión por Computador (CVC), en colaboración con la Fundació “la Caixa”, organizó el pasado 15 de diciembre en el Palau Macaya el debate “Videovigilancia y seguridad: la ciudadanía ante sus derechos digitales”, dentro de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”. Este debate, moderado por el Director de Comunicación del CVC, el Dr. Carlos Sierra, contó con la participación de:

• Sergio Escalera, Investigador ICREA, CVC y Universidad de Barcelona
• Carina Lopes, Directora del Laboratorio de Ideas de la Sociedad del Futuro Digital en el Mobile World Capital Barcelona
• Txetxu Ausín, Director del Grupo de Ética Aplicada del Instituto de Filosofía del Consejo Superior de Investigaciones Científicas (Madrid)
• Joan Figueras, Jefe de la Unidad Central de Fotografía y Audiovisual en el Área Central de Identificación de la división de la Policía Científica de los Mossos d’Esquadra
• Lina M. González, Coordinadora de proyectos en derechos humanos, empresas y seguridad humana y compra pública en el NOVACT

A pesar que el debate se vio afectado por las restricciones a causa de la pandemia de la Covid-19, que redujo el aforo de la sala Macaya a la mitad, el acto contó con más de 330 espectadores que lo siguieron en directo a través de las redes sociales del CVC.

La necesidad de regular y formar a la ciudadanía

La videovigilancia, como muchos otros campos en donde la IA está teniendo cada vez un papel más destacado, ha avanzado mucho en los últimos 10 años. Ejemplos de ello son, tal y como explicó el Dr. Sergio Escalera “el altísimo nivel de reconocimiento de patrones de comportamiento anómalo, o las mejoras muy significativas alcanzadas en el ámbito del reconocimiento facial”. Sin embargo, tal y cómo el Dr. Escalera reconoció “la tecnología se ha desarrollado mucho más rápidamente que otros avances que deberían ir en paralelo, tales como la ética y la legislación para definir en qué ámbitos es admisible su implementación y cómo ha de hacerse, cómo informar y educar a la ciudadanía de manera correcta para que puedan tener opiniones bien fundamentadas.

Profundizando en la línea del reconocimiento facial, el campo dónde sin duda alguna más reticencias hay a la hora de utilizar la IA, la Dra. Carina Lopes reconoció que “las grandes empresas como Google, Microsoft, Apple han parado de comercializar tecnologías de reconocimiento facial hasta que se solucionen los problemas tecnológicos asociados a su utilización tales como los falsos positivos en gente de color, pero hay pequeñas empresas que continúan trabajando en ello”. E incide en unos de los puntos planteados por Sergio Escalera, “hay que formar a la sociedad, pero no es tarea fácil. Londres por ejemplo se encuentra plagada de cámaras de videovigilacia, unas de propiedad públicas y otras de propiedad privada”. Y plantea varios de los principales retos a la hora de informar a la ciudadanía, “¿cómo puede una persona saber de quién es cada una de las cámaras que le graba? ¿Cómo puede saber cómo van a analizar sus imágenes? ¿Quién y cómo le tiene que proporcionar esa información?”.

Ante estas preguntas, el Sr. Joan Figueras, quiso mandar un mensaje de tranquilidad. “Primero, al menos en cuanto a los Mossos d’Esquadra se refiere, tenemos una regulación muy estricta sobre cómo y en qué casos podemos utilizar estas imágenes. Segundo, no es lo mismo reconocer que identificar. Reconocer es saber si a una persona la hemos visto antes o no, por ejemplo en un supermercado o en un cajero, pero no sabemos su identidad. Esta primera parte sí que puede ser realizada por la IA, pero para identificar hace falta una persona humana”. Sin embargo, coincidió en la necesidad de crear una regulación lo antes posible, “qué no se pueda identificar ahora con IA no quiere decir que no se pueda hacer en el futuro, por lo que debemos ir pensando como legislar esta opción”.

Por su parte, el Dr. Txetxu Ausín introdujo una perspectiva nueva, la de la videovigilancia líquida. “La mayoría somos reacios a la vigilancia estatal, pero se da la paradoja de que a la vez colaboramos activamente con la videovigilancia a través de las redes sociales, determinadas aplicaciones de nuestros teléfonos móviles, etc. porque no somos conscientes de esta forma de vigilancia”. Por ello, él también aboga por la necesidad de que se forme a la ciudanía para que pueda participar en estos debates, “la tecnología ha de servir para protegernos. Es por ello que deberíamos hablar de videoprotección en vez de videovigilancia  y la única manera de que esto se cumpla es involucrando a la sociedad en su desarrollo e implementación, así como incluir a la ética desde el mismo diseño de la tecnología”.

Un argumento que compartió la Dra. Lina González, la cual ante la imposibilidad de formar a la ciudadanía en un corto plazo de tiempo propuso ir un paso más allá y pidió “una moratoria en la aplicación de la IA en el ámbito del reconocimiento facial hasta que se haya legislado la manera en que esta no suponga una pérdida de privacidad de la ciudadanía”.

La opción de la moratoria

La propuesta de la moratoria en el uso de la IA en tareas de reconocimiento no suscito un consenso entre los participantes en el debate.

La Dra. Lopes abogó por una moratoria solo en el caso del reconocimiento facial en espacios públicos y, en el caso de los espacios privados que esté bien claro que son privados ya que, “a veces, si estás en espacios abiertos, es imposible saber si el espacio es público o privado. En el caso de Londres, en ocasiones pasas de espacios públicos a privados sin darte cuenta”.

En el caso del Dr. Escalera, pedir una moratoria es simplificar demasiado el escenario, incluso en el caso del reconocimiento facial. “El reconocimiento facial puede ser incluso, en algunos casos, una garantía de privacidad ya que, por ejemplo, puede utilizarse para asegurar que unos datos en concreto son tuyos. Por lo tanto, una moratoria en casos de monitorización masiva podría tener sentido, pero en casos de verificación en ambientes más controlados y seguros no tiene sentido”.

Por su parte, el Sr. Joan Figueras, tampoco es partidario de la moratoria, al menos en su área, ya que la realidad es que el reconocimiento facial en el ámbito policial de Cataluña no se realiza ni se espera que se realice a corto plazo por medios de IA. “Realmente las cámaras que hay en la actualidad por las calles son analógicas o digitales de primera generación. Esto hace que sea muy complicado identificar a alguien a través de imágenes”, explicó Joan Figueras.

Ante estas objeciones, Lina González quiso puntualizar de nuevo que la propuesta de la moratoria se refería solo al reconocimiento facial, ya que la videovigilancia puede ser de gran utilidad en, por ejemplo, en zonas naturales protegidas de difícil acceso.

La protección de datos en la Unión Europa y fuera de ella: la trazabilidad de los algoritmos

El tema que más suspicacias suscitó al hablar de la videovigilancia fue la protección de datos.

Para Sergio Escalera “en Europa somos unos privilegiados en cuanto a la protección de datos. El Reglamento General de Protección de Datos Europeo nos garantiza que nosotros somos los propietarios de nuestros datos. No es legal que usen nuestros datos sin nuestro permiso. E incluso si damos nuestro permiso, podemos revocarlo en cualquier momento”.

Esta afirmación fue compartida por el resto de los ponentes pero la encontraron insuficiente.

Primero, según el Dr. Ausín, “existe una enorme asimetría entre la ciudadanía y las empresas. Por ello es muy difícil asegurar que se cumplan las garantías ya que el ciudadano en ocasiones no sabe quién tiene sus datos”. Una visión que coincide con lo planteado anteriormente por la Dra. Lopes cuando mencionó lo difícil que era para el ciudadano conocer al propietario de todas las cámaras que le pueden grabar a lo largo del día.

Además, para Carina Lopes, que en Europa seamos unos privilegiados no impide que “podamos desarrollar tecnologías que no se usen en Europa, pero sí en otros países con una regulación más laxa”. En esta línea también se expresó la Dra. González al puntualizar que “es cierto que en Europa hay mucha regulación, pero esto es visto por muchas empresas como una desventaja y se van a países más desregulados”. Un tema que, según Sergio Escalera hay que abordar, ya que “es verdad que la tecnología se puede vender a terceros países”. Pero, continuó el Dr. Escalera, “no debemos dar por supuesto que el hecho de que las empresas quieran ganar dinero suponga que no tengan en cuenta los aspectos éticos. Hay bastantes casos de denuncias precipitadas que luego se demostraron sin fundamento”.

Un ejemplo de esta mala praxis lo dio Carina Lopes al explicar lo que está ocurriendo en China, en dónde para poder reconocer a personas con mascarilla hay empresas que están comprando enormes cantidades de imágenes provenientes de las redes sociales a medio céntimo de Euro para entrenar a sus algoritmos, algo que está totalmente prohibido en Europa.

Para evitar que esto suceda los cinco participantes en el debate señalaron que la clave es la trazabilidad del algoritmo, que se sepa dónde y cómo se está utilizando y, en caso de incumplir las leyes Europeas tomar las medidas oportunas.

La privacidad y las Redes Sociales

Un punto débil a la hora de garantizar la privacidad de nuestras imágenes son las redes sociales, ya que en ellas es muy fácil perder el control de las mismas, un punto ya mencionado anteriormente por el Dr. Ausín. Para Txetxu Ausín, “la ciudadanía tiene cierta parte de responsabilidad, ya que debemos ser conscientes de lo que hacemos con nuestra imagen en las redes sociales y en la captación de datos, pero nos encontramos en una relación muy asimétrica con el poder, por lo que es hipócrita responsabilizar al ciudadano únicamente”.

Por su parte, para Sergio Escalera la clave es, de nuevo, la formación. “Hemos de formar a la ciudadanía sobre la gran cantidad de datos que cedemos a las redes sociales. Un ejemplo son las Apps con las que podemos modificar nuestra cara para envejecerla o embellecerla, ya que son herramientas muy potentes para entrenar algoritmos de reconocimiento facial a las que estamos dando permiso para que puedan utilizar nuestros datos. Pero aún en el caso de que no subamos ninguna foto a las redes sociales ni utilicemos aplicaciones de este tipo, sigue siendo muy difícil controlar la privacidad ya que cualquiera puede colgar una foto en la que aparezcamos”.

Por su parte, los Mossos d’Esquadra, realizan continuos cursos y charlas para alertar de esta problemática y promover políticas de uso responsable de imágenes en las redes sociales, tal y cómo comentó Joan Figueras.

Conclusiones

En este debate, a pesar de los diferentes puntos de vista de los ponentes, se alcanzaron una serie de consensos:

Primero, la IA, como cualquier tecnología no es buena ni mala, todo depende del uso que le demos a sus múltiples y potentes aplicaciones. Esta conclusión mayoritaria no fue unánime porque Txetxu Ausín discrepó ya que, en su opinión “esta tecnología puede crear ciertas formas de autoridad y de poder, así cómo transformar los hábitos, las costumbres y las relaciones. Si nos sentimos observados cambiamos nuestro comportamiento”.

Segundo, la IA nunca puede ir sola, debe ser supervisada por expertos humanos en todas sus aplicaciones. Para el Sr. Figueras “la IA está para ayudarnos, pero no para decidir”. Además, en opinión del Dr. Escalera “hemos de admitir que por muy bien que diseñemos el algoritmo siempre habrá errores, y que lo que no pueda hacer un experto muy especializado probablemente tampoco sea capaz de hacerlo la IA”. Un ejemplo lo puso Joan Figueras al referirse a un partido de futbol retransmitido sin supervisión humana. “En este partido se dio la casualidad de que uno de los linieres tenía la cabeza completamente afeitada, y el algoritmo en muchas ocasiones confundió su cabeza con la pelota, por lo que una parte importante de la retransmisión consistió en la cabeza de este juez de línea” explicó el Sr. Figueras provocando la hilaridad de los asistentes.

Tercero, hay que regular, formar e informar a la ciudadanía. Además, debe haber un interés especial por desarrollar tecnologías transparentes, trazables y proporcionadas y que sean inclusivas y respetuosas con la protección de la intimidad, diversas y con equilibrio de género.

Por último, se habló también de la necesidad de evitar los sesgos en los algoritmos de IA, un punto sobre el que el moderador el Dr. Carlos Sierra evitó que se profundizará por ser este la temática del debate del 26 de enero “Algoritmos sesgados: sin dejar a nadie atrás”.

Toda la información sobre este y los siguientes debates de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”, se puede consultar en la página web del proyecto: http://iabcn.cvc.uab.es/

Reflexiones del debate “Smart Cities y ciudadanía digital”, acto inaugural del ciclo de diálogos “Inteligencia Artificial, ética y participación ciudadana”

La Inteligencia Artificial (IA) se ha integrado en nuestro día a día, a veces, incluso, sin darnos cuenta. Desbloquear el teléfono a partir de nuestra cara, utilizar el sistema de recomendaciones de las plataformas digitales de vídeo o música o consultar el estado del tráfico a tiempo real, son algunos de los usos más habituales que hacemos de esta tecnología. Pero; ¿Es la ciudadanía realmente consciente de todo su potencial? ¿Conocemos todos sus riesgos? ¿Cómo podemos asegurar que estas tecnologías respeten los derechos de todos? ¿Debemos exigir una regulación para garantizar que sean más justas y seguras?

Con el objetivo de reflexionar sobre este tipo de cuestiones nació en 2019 el proyecto “Inteligencia Artificial, ética y participación ciudadana”, un ciclo de diálogos ciudadanos organizado por el Centro de Visión por Computador (CVC) y financiado por la Fundación La Caixa dentro de la quinta convocatoria de proyectos de reflexión del Palau Macaya. El pasado miércoles 11 de noviembre se dio el pistoletazo de salida a la segunda edición del ciclo, con el debate inaugural “Smart Cities y Ciudadanía Digital”, moderado por la periodista especializada en tecnologías de la información y la comunicación, Karma Peiró. En el debate, expertos de distintos sectores – academia, administración pública y empresa – expusieron sus perspectivas sobre el estado actual de la Inteligencia Artificial y sobre las cuestiones éticas y necesidades legislativas que giran a su alrededor. El panel estuvo integrado por los siguientes ponentes:

• Josep Lladós, Director del Centro de Visión por Computador (CVC) y profesor de la Universidad Autónoma de Barcelona
• Laura Leal-Taixé, Investigadora y profesora en la Universidad Técnica de Múnich
• Daniel Marco, Director General de Innovación y Economía Digital de la Generalitat de Catalunya
• Carolina Pinart, Directora Global de Nuevas Tecnologías en Nestlé
• Albert Sabater, Director del Observatorio de Ética en Inteligencia Artificial de Catalunya

A pesar que el debate se vio afectado por las restricciones a causa de la pandemia de la COVID-19, que imposibilitaron la asistencia de público presencial en la sala de actos del Palau Macaya, el acto contó con más de 300 espectadores que lo siguieron en directo a través de las redes sociales del CVC.

La Inteligencia Artificial, una realidad muy presente en nuestras vidas

El primer bloque del debate arrancó con la reflexión de Karma Peiró sobre cómo la Inteligencia Artificial se encuentra ya muy presente en nuestras vidas, pasando muchas veces desapercibida. No obstante, la periodista quiso profundizar en cómo de implementada está en nuestra sociedad y si realmente está tan avanzada como pensamos.

Según el Dr. Josep Lladós, la IA no ha aparecido de la noche a la mañana, ya que lleva más de 60 años desarrollándose. Sin embargo, señaló que actualmente nos encontramos en una “primavera de la IA”, un momento clave y detonador para su avance. “Han confluido diferentes factores: estamos en la 4ª revolución industrial, el avance computacional es cada vez más potentes y, a nivel científico, han aparecido nuevos paradigmas, como el Deep Learning, que nos han permitido resolver retos que hace 5 años parecían imposibles”, afirmó el director del CVC.

Este acelerado avance ha generado grandes retos de futuro, retos que ya se están empezando a contemplar desde la Administración Pública. “Desde la Generalitat de Catalunya, estamos empezando a avanzar de forma importante en la incorporación de servicios digitales. Con la pandemia, esta situación se ha acelerado en muchos ámbitos”, contó el Director General de Innovación y Economía Digital de la Generalitat de Catalunya, el Sr. Daniel Marco, profundizando en algunos ejemplos, como es el caso de los sistemas de reconocimiento facial para facilitar el acceso en instalaciones, los sistemas de control de presencia y acumulación de personas en espacios, la aplicación Confinapp, que dispone de un chatbot que interactúa con la ciudadanía con temas relacionados con la COVID-19, o el recién creado Observatorio Epidemiológico de Catalunya, que utiliza técnicas de Big Data e Inteligencia Artificial para, entre otras cosas, predecir en qué sitios se pueden producir rebrotes.  

La incorporación de nuevas tecnologías de Inteligencia Artificial en el sector privado también es cada vez más común, sobre todo en las grandes empresas y multinacionales. Tal como afirmó la Dra. Carolina Pinart, Directora de Nuevas Tecnologías en Nestlé: “Las grandes empresas incorporan la IA con tres finalidades: aumentar ingresos, reducir costes y reducir riesgos”. Estas empresas también han experimentado recientemente un incremento en el uso de las nuevas tecnologías para resolver problemas derivados de la pandemia. En el caso de Nestlé, la Dra. Pinart, destacó la incorporación de chatbots en la tienda online, para interactuar de forma más personalizada con los clientes y hacer frente al cierre de las tiendas físicas o, por otro lado, el uso de tecnologías de visión por computador y realidad aumentada para el soporte en la reparación de máquinas especializadas en sus fábricas.

Como podemos ver, la IA ya está implementada en muchos ámbitos, pero ¿está en todos ellos igual de avanzada? Según el Dr. Albert Sabater, director del Observatorio de Ética en Inteligencia Artificial de Catalunya esto no es así y puntualizó que, en algunos ámbitos, puede llegar a ser comprometida: “La IA no está tan avanzada cuando hablamos de modelos de predicción de naturaleza social, como podría ser, por ejemplo, predecir si una persona que ha cometido una infracción es probable que pueda cometer otra. La gran mayoría de estos modelos de predicción son muy frágiles y debemos ser cautos con ellos”. Además, según el Dr. Sabater, el avance de la tecnología no siempre va de la mano del avance de los procesos de validación externa de la misma: “Sabemos cada vez más sobre cómo diseñar mecanismos que nos permitan ser más eficientes, pero sabemos mucho menos sobre cómo validar estos procesos de una forma externa y sobre cómo podemos ser más transparentes. Debemos involucrar a todos los actores – industria, sociedad civil, administración y universidad – y transmitir los unos a los otros y, sobre todo, a la sociedad, que la IA está aquí para quedarse, pero, sobre todo, para hacer lo que nosotros le digamos. La IA es un actor más y está aquí para ayudarnos. Lo que debemos ser conscientes es hasta qué punto nosotros somos capaces de gobernar esta IA”.

Por último, la Dra. Laura Leal-Taixé, nos dio su visión sobre cómo está el ecosistema de la Inteligencia Artificial en otros países, haciendo especial énfasis en Alemania, país en el que lleva más de 8 años viviendo y trabajando como investigadora y profesora, actualmente en la Universidad de Múnich: “en Alemania se está apostando mucho por la IA, sobre todo por parte del sector privado. Hay mucho interés por parte de las empresas, pero no hay suficiente personal especializado. Estas nos piden muchas colaboraciones de investigación porque quieren saber qué es lo que se puede y lo qué no se puede hacer con esta tecnología. Esto pasa principalmente con las empresas medias y pequeñas en Alemania, pero luego encontramos a las grandes empresas, que ya están colaborando en grandes proyectos con los Estados Unidos y que ya tienen la tecnología muy avanzada e implementada”.

Los retos éticos de la Inteligencia Artificial

Una vez conocido el estado actual de la IA, el debate avanzó para reflexionar sobre la esfera ética de esta tecnología y los principales riesgos que puede comportar para la sociedad. Para ello, Karma Peiró recordó como en algunas ocasiones, en los algoritmos se han detectado errores que han llevado a discriminar a ciertos colectivos de la sociedad.

Ante este punto de vista, el Dr. Josep Lladós remarcó que debemos ser conscientes de que somos los humanos los que estamos detrás de la IA y los que decidimos lo que se debe hace con ella: “Los algoritmos están reflejando la sociedad y cuando se producen estos errores es porque se han entrenado con datos ya sesgados de origen. La IA por sí sola no es ética o no ética, sino que esto se adquiere con la finalidad con la que se programa. En el caso del CVC, por ejemplo, seguimos unas pautas de ética profesional y esto lo trasladamos a las empresas con las que trabajamos”.

La aplicación de un código ético es algo que también se debería tener en cuenta desde la empresa. La Dra. Carolina Pinart explicó como desde Nestlé, estos principios éticos se tienen en cuenta en todos los procesos de producción de la empresa: “Nosotros somos responsables de todo lo que producimos, ya sea un producto físico o un modelo de IA. En todo momento seguimos nuestros valores éticos y esto lo tenemos muy en cuenta cuando aplicamos IA. Hay modelos de IA de aprendizaje profundo que darían muy buenos resultados pero que finalmente no realizamos porque no podríamos ser del todo transparentes”.

Por su parte, el Sr. Daniel Marco manifestó como la perspectiva ética en la Inteligencia Artificial también se está considerando por parte del gobierno catalán, resaltando el gran peso que tiene esta esfera en la recién creada Estrategia Catalana de la Inteligencia Artificial o con la creación del Observatorio de Ética en Inteligencia Artificial de Catalunya. Por otro lado, Daniel Marco también remarcó que la ciudadanía todavía no es muy consciente de las consecuencias que puede tener la IA: “parece que los problemas y los derechos de las personas en el mundo digital no tienen la misma trascendencia que en el mundo real. En este sentido, la Generalitat impulsó la Carta catalana para los derechos y las responsabilidades digitales, pensando en poner en valor esta reflexión. Uno de los ámbitos de esta carta son los algoritmos de la IA y cómo hemos de mitigar sus riesgos. Necesitamos que estas tecnologías sean auditables, transparentes, se reduzcan los sesgos y se entiendan por el conjunto de la sociedad”.

Esta perspectiva se complementa con la del Dr. Albert Sabater, que añadió: “Debemos partir de la base que la gente no conoce los principios básicos de la IA. Estamos situados en un debate social que amplifica lo que se ha hecho mal. Existe un cierto temor a todo aquello que se relaciona con la IA y esto no debe ser así. Nosotros debemos ser capaces de cuantificar hasta qué punto hay una serie de principios éticos que se pueden adoptar y cómo podemos trasladar a la sociedad que hay sistemas de IA que son claramente fiables”. Además, el director del Observatorio de Ética en IA añadió: “El tema de los principios éticos en IA debe partir de la base de si debemos o no debemos utilizar IA. Esto de la “primavera de la IA” está llevando a algunas empresas a utilizar IA cuando no tendrían por qué utilizarla y hay muchísimos casos, sobretodo de naturaleza social, en las que deberíamos ser más cautos. Los principios éticos de la IA son muchos y muy variados y los que hay aquí, por ejemplo, no son los mismos que en la China. Estandarizar estos principios no es una tarea fácil”.

Por último, la Dra. Laura Leal, profundizó en las dos cuestiones que considera más problemáticas en desarrollo de la Inteligencia Artificial: los sesgos y las métricas. En cuanto a los sesgos, explicó que, a parte de los datos ya sesgados de origen que se utilizan para entrenar a los algoritmos, la poca diversidad en los equipos de trabajo agrava todavía más este hecho: “En nuestros laboratorios tenemos poca diversidad, hay una mayoría de hombres blancos que desarrollan las tecnologías y esto lleva a sesgos”. En cuanto al segundo problema, la investigadora comenta: “otro problema son las métricas que utilizamos para medir si nuestros algoritmos funcionan bien. Estas solo miden la media y los extremos no cuentan. Al medir de esta forma hacemos que el algoritmo sea aún más sesgado ya que funcionará con aquellos datos que tenemos en mayor cantidad. Esto se ve reflejado cuando la tecnología llega a la sociedad, ya que genera discriminación”.

Ley de la Inteligencia Artificial: necesaria y urgente

En cuanto a la necesidad de impulsar una ley para regular la Inteligencia Artificial, los cinco ponentes responden de forma unánime: es totalmente necesaria y muy urgente.

Por su parte, el Dr. Josep Lladós opinó que esta ley debe ir más allá de la Inteligencia Artificial: “Yo no hablaría de una ley de la IA únicamente, sino de una ley más genérica de tecnología. Ya existen legislaciones en algunos ámbitos, pero quizás esta componente ética no está del todo implementada en dichas leyes”. Opinión que se complementa con las declaraciones de la Dra. Laura Leal: “Toda tecnología puede utilizarse de modo incorrecto por lo que necesitamos leyes para prevenir esto. Tenemos que entender cómo funciona la tecnología y regular dónde y cuándo se debe utilizar para el beneficio común”.

Tanto Daniel Marco como el Dr. Albert Sabater coincidieron en el hecho de que esta ley debería ser, como mínimo, de ámbito europeo. Daniel Marco insiste en que la regulación se debe pensar en un doble prisma: “debe proteger los derechos de los ciudadanos y la seguridad, pero también debe fomentar la innovación”. A lo que Albert Sabater remarcó la importancia de que esta ley haga énfasis en los datos que se subministran para entrenar a los algoritmos y que contemple los llamados casos de “Inteligencia Artificial fraudulenta”: “Estamos delante de muchas organizaciones y empresas que están hablando de IA cuando en realidad no lo es, es un proceso de digitalización simplemente o una tecnología tan avanzada que puede confundirse con IA. La IA fraudulenta tiene consecuencias, sobre todo en aquello que es muy difícil de predecir, acaba teniendo sesgos y estos sesgos también provienen del subministro”.

Finalmente, en cuanto al papel de las empresas dentro de la ley de la Inteligencia Artificial, la Dra. Carolina Pinart puso de manifiesto la necesidad de garantizar que todas las empresas cumplan con la normativa, incluso en aquellos sitios en los que no exista normativa o sea más laxa: “no solo hay que proteger con leyes en los sitios donde sabemos que habrá leyes, sino que se debe incluir a las empresas en el debate social para que estas cumplan unos estándares de calidad en los sitios donde no habrá estas leyes a corto o medio plazo”.

La ciudadanía en el centro del debate sobre el futuro de la Inteligencia Artificial

Durante el debate, los ponentes reiteraron en varias ocasiones la importancia de explicar a la ciudadanía qué es la Inteligencia Artificial para poder desarrollar una sociedad adaptada y preparada a los desafíos venideros de la transformación digital. “La IA debe ser plural, y debe ser entienda por el conjunto de la sociedad. Dentro de la Estrategia de Inteligencia Artificial de Catalunya, una parte fundamental es la formación de la ciudadanía. Desde la Generalitat de Catalunya vamos a poner en marcha programas para formar a profesionales, pero también para entender, como usuarios, cómo funciona la IA”, explicó Dani Marco.

El ciclo de diálogos “Inteligencia Artificial, ética y participación ciudadana”, busca precisamente colocar al ciudadano en el medio del debate sobre el futuro de la IA, dando una visión ajustada de la realidad de la tecnología, de cara a reflexionar de forma conjunta sobre cómo queremos que la tecnología avance al mismo rumbo que nuestros valores y derechos democráticos. Si quieres participar en las próximas sesiones, puedes consultar el calendario de actividades en la página web del proyecto: http://iabcn.cvc.uab.es/