E-PILOTS second anniversary

E-PILOTS, the European H2020 funded project with the participation of the CVC researchers Dr. Dèbora Gil and Dr. Aura Hernández, has just turned 2 years old. And, in spite of the multiple challeges it is having to face due to the COVID-19 situation, E-PILOTS is keep rolling

In this video, you can learn how E-PILOTS is progressing. Welcome to the first stage of the aviation of the future!

Subtittles in English, Catalan, Spanish, German and French

For more information about E-PILOTS, visit http://e-pilots.eu

E-PILOTS is a consortium with the participation of the Computer Vision Center, the Universitat Autònoma de Barcelona, aslogic and Cranfield University,

This project has received funding from the Clean Sky 2 Joint Undertaking (JU) under grant agreement No 831993. The JU receives support from the European Union’s Horizon 2020 research and innovation programme and the Clean Sky 2 JU members other than the Union.

Algoritmos y sesgos: aún hay tiempo para minimizar sus consecuencias y construir una IA más justa y representativa

Uno de los grandes retos presentes y del futuro de la Inteligencia Artificial (IA) son los sesgos en los algoritmos. En los últimos años, han salido a la luz varios casos en los que la IA ha actuado de forma injusta o discriminatoria hacia ciertos colectivos. Ejemplos que han tenido un gran impacto mediático son los casos de Amazon, que en 2018 tuvo que desechar un sistema de reclutamiento por su sesgo contra las mujeres, de Google, que en 2015 tuvo que pedir disculpas después de que el algoritmo de Google Photos etiquetara como “gorilas” la foto de dos afroamericanos, y de Microsoft, que en 2016 se vio obligada a retirar el chatbot llamado “Tay” por elaborar mensajes racistas y xenófobos, por mencionar algunos de ellos.

La mediatización de estos casos produce dudas e incertidumbre en la opinión pública sobre el presente y futuro de la Inteligencia Artificial. Por este motivo y, para intentar dar respuesta a por qué se producen los sesgos, cómo podemos minimizar sus consecuencias, y cómo podemos garantizar un futuro con una Inteligencia Artificial más justa, inclusiva y equitativa, el Centro de Visión por Computador (CVC), en colaboración con la Fundación ”la Caixa”, organizó el pasado 26 de enero en el Palau Macaya el debate “Algoritmos sesgados: sin dejar a nadie atrás“, dentro de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”. El debate, moderado por el Director de Comunicación del CVC, el Dr. Carlos Sierra, contó con el siguiente panel de ponentes:

  • Dra. Maria Vanrell, investigadora del CVC y catedrática de la Universidad Autónoma de Barcelona.
  • Sr. Daniel Santanach, Coordinador de la estrategia de Inteligencia Artificial de Cataluña (Catalonia.AI) en el Departamento de Políticas Digitales y Administración Pública de la Generalitat de Catalunya.
  • Dra. Marta Ruiz Costa-Jussà, investigadora ERC de la Universidad Politécnica de Cataluña (UPC)
  • Sra. Mayte Hidalgo, responsable de estrategia y ética de la IA en everis
  • Sra. Judith Membrives, mentora e investigadora de Experiencia de Persona Usuaria e Innovación en el UXLab de Barcelona Activa.

A pesar que el debate se vio afectado por las restricciones a causa de la pandemia de la COVID-19, que redujo el aforo de la sala de actos del Palau Macaya a la mitad, el acto contó con más de 300 espectadores gracias a la emisión en directo a través de las redes sociales del CVC.

 

Algoritmos o datos: ¿Dónde radica el problema?

El sesgo en la Inteligencia Artificial es uno de los temas más discutidos dentro de este ámbito. Estos sesgos, tal y como explicó el coordinador de la estrategia Catalonia.AI, Daniel Santanach, aparecen porque detrás de cada tecnología siempre hay una o varias personas, con una serie de prejuicios y valores inherentes, que pueden transferirlos a las tecnologías: “Detrás de la IA hay personas que programan los algoritmos, que seleccionan los datos con los que se entrenan y que evalúan los resultados. Y, nos guste o no, las personas estamos sesgadas por un determinado contexto histórico o situación geográfica”.

Por lo tanto, la presencia de sesgos es un hecho innegable y el problema es que, muchas veces, pasan inadvertidos. Sin embargo, una de las preguntas que en el debate suscitó más diversidad de opiniones fue el verdadero origen de estos sesgos: ¿Son los algoritmos los que discriminan? ¿Son los datos los que ya vienen sesgados de serie? ¿O bien se trata de una combinación de ambas situaciones?

En este aspecto, la Dra. Maria Vanrell y Daniel Santanach coincidieron en sus respuestas: no podemos separar el algoritmo de los datos. “La amenaza está en todo: quién lo usa, cómo se programa, con qué datos se ha entrenado, etc. No se puede separar una cosa de la otra”, puntualizó la Dra. Vanrell, a lo que el Sr. Santanach añadió: “por este motivo es importante crear comités éticos para validar tanto los algoritmos que se desarrollan como los datos que se usan para entrenarlos”.

Sin embargo, la Dra. Marta R. Costa-Jussà consideró que el problema reside principalmente en los datos: “En mi comunidad científica, que es el tratamiento del lenguaje natural, atribuimos el sesgo a los datos. Los algoritmos, en el aprendizaje automático, estadísticamente cogen lo que es más probable. Por lo tanto, los algoritmos son neutros, pero pueden amplificar el sesgo de los datos”. Para entender esto, la Dra. Costa-Jussà lo ejemplifica con el caso de los sistemas de traducción automática, que tienden a traducir las palabras neutras del inglés “doctor”, siempre en masculino y, “nurse”, como enfermera en femenino ya que, en el histórico de los datos, aparecen más hombres como doctores y mujeres como enfermeras y el algoritmo tiende a generalizar.

En este sentido, Mayte Hidalgo, que no se decantó por uno u otro, quiso dar un especial énfasis en los datos y la perpetuación del sesgo: “Es importante hacer foco en qué nos puede estar diciendo un determinado grupo de datos acerca de un sesgo inherente y ver si es necesario tomar cautelas para no perpetuar el sesgo que pudieran estar expresando un comportamiento del pasado que quizás ahora deberíamos volver a evaluar”.  

Por último, Judith Membrives, secundó la opinión de que es el dato el que provoca que haya más sesgo y reivindicó la necesidad de una supervisión humana para reducirlos: “La tecnología, como materialización de algo producido por los humanos, no es neutral. Eso no significa que sea mala o buena, el problema está cuando sabemos que los algoritmos trabajan en base de una estadística concreta y no ponemos una supervisión humana a corregir estos sesgos, sino que es a partir de la realidad post-test cuando nos damos cuenta de sus consecuencias. Estas consecuencias, si nos damos cuenta pronto, las podemos arreglar, pero si las detectamos tarde pueden ser daños colaterales de la innovación tecnológica. A mí me preocupa que sabiendo que somos capaces de detectar ciertas cosas e imaginar las consecuencias, tengamos que aceptar estos daños colaterales”.

Educación y regulación, dos soluciones a corto y largo plazo

Como ya hemos visto en los anteriores ejes de este ciclo, la educación tecnológica es clave para que la sociedad pueda enfrentarse a los retos de futuro que conllevará la Inteligencia Artificial. Y como no podía ser menos, en este debate también fue una premisa en la que todos los ponentes coincidieron: “Los cambios tecnológicos avanzan más rápido de lo que los humanos podemos absorber. Conviene tener una fuerte educación en tecnología para evitar la desinformación o la poca familiarización, empezando por los niños, que son los que en un futuro diseñarán estos algoritmos”, afirmó la Dra. Costa-Jussà.

Por su parte, la responsable de estrategia y ética de la IA en everis, Mayte Hidalgo, comentó que también hay que educar sobre los datos, como elemento común de riqueza para la sociedad: “Las personas somos generadores de datos y, al estos ser una expresión de la humanidad, hay que aprovecharlos para el bien común. En este sentido, hay que educar para entender el uso de los datos, empezar a minimizar el concepto apocalíptico de la IA cada vez que sucede cualquier incidencia mediática y ejercer el rol educativo, didáctico y de difusión que empieza a hacer del dato un elemento común de riqueza para la sociedad”.

Estas opiniones fueron secundadas por la investigadora del User Experience Laboratory (UXLab) de Barcelona Activa, Judith Membrives, que introdujo también la necesidad de la regulación: “Es necesario alfabetizar y empoderar a los ciudadanos, pero esto no se consigue de un día para otro. Por lo tanto, debe acompañarse de regulaciones más estrictas, al menos en un momento inicial”.

Como representante de la Administración Pública, Daniel Santanach comentó algunas de las iniciativas que se están llevando a cabo por parte de la Generalitat de Catalunya para la alfabetización de la sociedad en materia de Inteligencia Artificial, y para la concienciación de las empresas, universidades y centros de innovación para la incorporación de comités éticos que participen en la revisión de los procesos de desarrollo de nuevas tecnologías. Además, afirmó que desde la Generalitat se está trabajando en una Carta de Derechos Digitales, actualmente abierta a la participación ciudadana, que servirá para promover un marco legislativo y democrático para garantizar los derechos humanos y las libertades fundamentales de los ciudadanos en la era digital.

Transparencia, confianza y cooperación: tres claves para el progreso

Al inicio del debate, Judith Membrives, comentó que las principales preocupaciones que surgieron por parte de la ciudadanía en el grupo de trabajo fueron la falta de regulación, el miedo a quién tiene el control de nuestros datos y sentimiento de desprotección en torno a la Inteligencia Artificial.

Para dar respuesta a estas preocupaciones generalizadas, en el debate se habló de la importancia de la transparencia en el proceso de innovación y desarrollo de las tecnologías. En este sentido, la Dra. Marta Costa-Jussà puntualizó la necesidad de que las bases de datos contengan más información y detalles que ayuden a los investigadores a saber con qué clase de datos están trabajando y cómo serán los sistemas si los entrenan utilizando los mismos.

Por otra parte, los ponentes también reflexionaron sobre la importancia de la confianza en la tecnología por parte de la ciudadanía y coincidieron de forma unánime en que es imprescindible para el buen desarrollo de la tecnología en un futuro: “Al final, por mucha transparencia que le demos, siempre será necesaria la confianza hacia la Inteligencia Artificial. Con las vacunas, por ejemplo, tenemos confianza. Pero para generar confianza es necesario educar y explicar la Inteligencia Artificial a todos los niveles, desde los niños hasta la sociedad en general”, señaló Daniel Santanach.

Finalmente, también se habló de la cooperación entre empresas y centros de investigación o sector público: “Si somos capaces de abrir y compartir, el progreso se dispara. A las propias empresas les interesa compartir porque es mucho más el beneficio dando que escondiendo”, afirmó la Dra. Maria Vanrell, a lo que la Dra. Marta Costa-Jussà añadió: “Se tiene que cerrar el círculo: la sociedad invierte unos impuestos en la academia, la academia pasa sus resultados a la industria y la industria hace la producción que se revierte en la sociedad. Actualmente la cooperación entre industria y academia es muy grande, los modelos que se entrenan están en abierto y se comparten. La colaboración es muy activa y gracias a eso el progreso es enorme”.

Conclusiones

La neutralidad de la tecnología sigue siendo un tema que suscita confrontación de opiniones y, seguramente no hay una respuesta correcta, si no que depende del concepto de neutralidad que tenga cada uno. Neutra o no, lo más importante el uso que damos a esa tecnología y las consecuencias que pueda generar. Por este motivo, es importante que academia, industria, administración pública y sociedad civil se unan para para garantizar la construcción de un futuro en el que la tecnología se utilice para el beneficio común.

Los sesgos en los algoritmos, al igual que los sesgos en los seres humanos, existen y probablemente van a existir siempre. Forman parte de la inteligencia humana y, tal como mencionó Daniel Santanach haciendo referencia al libro de Sápiens de Yuval Noah Harari “son los que nos han llevado a los seres humanos hasta dónde hemos llegado hoy en día como especie”. Sin embargo, esto no es una excusa para no tratar de minimizar las consecuencias negativas que puedan conllevar. La construcción de comités éticos, los equipos multidisciplinares y diversos, los mecanismos supervisión y la transparencia tanto en los datos como en los procesos de desarrollo de los algoritmos, son algunas de las necesidades que se han comentado en este debate.

Además, estos algoritmos presentan una fortaleza que nosotros, como seres humanos, no tenemos, tal como explicó la Dra. Marta R. Costa-Jussà: “Así como a nosotros no se nos pueden borrar los sesgos, que ya nos vienen inculcados casi desde nuestro nacimiento, a un algoritmo lo podemos resetear, reentrenar y neutralizar. Aquí se nos presenta una oportunidad y es que los algoritmos pueden llegar a ser más equitativos que nosotros mismos, si así los entrenamos”.

Finalmente, todo esto no tiene sentido sin la confianza de la ciudadanía en la Inteligencia Artificial, así como en otros ámbitos de la ciencia y la tecnología. Para ello, es necesario apostar por una alfabetización tecnológica a todos los niveles, un marco normativo que nos proteja y garantice nuestros derechos humanos y un desarrollo de la IA desde un punto de vista ético e integrador.

Para más información sobre los siguientes debates de la segunda edición del ciclo “Inteligencia Artificial, ética y participación ciudadana”, puedes consultar el calendario de actividades en la página web del proyecto: http://iabcn.cvc.uab.es/

Debate “Industria inteligente y medioambiente: de cara a un futuro sostenible”

Conceptos cómo economía circular, sostenibilidad, reciclaje de residuos, etc., están cada vez más presentes en nuestro día a día. Es una realidad que el cuidado del medioambiente tiene cada vez más peso en la agenda política, como lo demuestra su inclusión en varios de los 17 Objetivos de Desarrollo Sostenible y en la Agenda 2030 de Naciones Unidas.

Para alcanzarlos es necesario modernizar el modelo industrial. En este proceso, la Inteligencia Artificial está desempeñando un papel clave en la implementación de la Industria 4.0, una nueva manera de organizar los medios de producción que nos podría ayudar a conseguir un mundo más sostenible, justo y equitativo.

Para debatir sobre las amplias oportunidades y los retos que supone el incorporar la Inteligencia Artificial a los procesos industriales, el reciclaje y su enfoque ecológico, el CVC, en colaboración con la Fundación “la Caixa” organiza el próximo martes 23 de febrero a las 18h en el Palau Macaya el debate “Industria inteligente y medioambiente: De cara a un futuro sostenible”, que contará con la presencia de:

  • Sr. Coen Antens, responsable de la Unidad de Soporte Tecnológico del Centro de Visión por Computador
  • Dra. Amparo Alonso Betanzos, presidenta de la Asociación Española de Inteligencia Artificial (AEPIA) e investigadora de la Universidade da Coruña
  • Sr. Antoni Manzano, cofundador y director científico de Aizon
  • Sra. Marta Subirà, secretaría de la Secretaría de Medio Ambiente y Sostenibilidad de la Generalitat de Catalunya
  • Sr. Ramón Espuga, cofundador y director de Tecnología de Imotion Analytics (representante del focus group)

Moderado por:

Dr. Carlos Sierra, jefe del Departamento de Comunicación y Marketing del Centro de Visión por Computador

Este debate podrá seguirse presencialmente en el Palau Macaya (aforo limitado a 15 personas debido a la Covid-19) y será también retransmitido en directo a través de los canales de Facebook, Twitter/Periscope y YouTube del CVC

International Day of Women and Girls in Science 2021

Although females make up at least half of the world population, they represent less than 30% of researchers worldwide, according to a report made by UNESCOThis rate seems more hopeful in the case of Catalonia, in which as stated in the report “Gender bias in staff recruitment, promotion and retention at universities (2019)” by Vives Network, women are 42% of the research and teaching staff at universities. However, this near equality can be tricky if we dive into the different indicators and segments.  

The report reflects that equality in research and teaching staff at Catalan Universities is not homogeneous at all in the different areas of expertise. In the case of science and technology, as it is true that in Health Sciences the percentage of women is 49%, this figure decreases in the case of Experimental Sciences (36%) and, especially, in the field of Engineering and Architecture, with only 24%. This dynamic is also reflected when we analyze the student enrollment in university careers: while 70% of women enrolled in Health Sciences related careers in Catalonia in 2017, only 24% did so in engineering. 

One the other handvertical segmentation is just as worrisome. The study reveals that inequality is accentuated in the highest ranks of the academic career. Among the most significant data, it shows that less than a third of the main researchers in research projects are women and also that there is 1 female Full Professor in Engineering for every 6,6 men.  

Long-standing biases and gender stereotypes are steering girls and women away from engineering and technology related fields and in this case, Artificial Intelligence (AI) is not an exceptionAccording the Global AI Talent Report of 2020 by JFGagne, the ratio of women publishing AI papers on arXive was 15,4% and the portion of publications by female researchers at top AI conferences were the 18%.  

As we have already seen, there is still a lot of work to be done in order to achieve full and equal access and participation in science for women and girls. For this reason and in order to achieve gender equality and the empowerment of women and girls, the United Nations General Assembly declared the 11th of February as the International Day of Women and Girls in Science 

At the Computer Vision Center we are committed to the visibility of women in science and technology and we feel the responsibility to inspire female interest in STEM (Science, Technology, Engineering and Maths) disciplines, especially those in which they have a lower representation. For this reason, we have celebrated this special day by highlighting the stories of our female researchers and technicians and we have asked them to tell their experienceswhy they decided to study a scientific career? Have they ever felt any discrimination for being a woman in science? What advice they can give to young girls? Let’s know what they have to say:  

E-PILOTS: Welcome to the first stage of the aviation of the future

The Covid-19 situation is hitting hard our lives, and E-PILOTS is not an exception. However, this project keeps rolling and, although all the difficulties and challenges it has been to face, the results after two years of its kick-off are very promising. 

E-PILOTS is aimed to evaluate the potential of cognitive computing flight deck supporting tools, to preserve the situational awareness of the pilots while improving their performance in stressful flying scenarios. Scenarios where pilot cognitive tasks must deal not only with a procedure but also interleaving with different interruptions such as the controller instructions, the Electronic Centralized Aircraft Monitor (ECAM) warnings and other emergent issues. 

With these objectives in mind, the E-PILOTS consortium has designed a use case on a go-around decision support system, based on the probability of a hard landing event (when the acceleration at the moment of the touchdown is very high and it could damage the aeroplane), to validate the functional and non-functional requirements of flight deck intelligent supporting tools. For this purpose, two machine learning systems have been developed: a machine learning system to predict hard landings, and a machine learning system to continuously monitor in real-time the cognitive state of the pilot(s) and decide when is the best temporal window to provide elaborated information through extra perceptual variables to improve their situational awareness. 

Regarding the first machine learning system, E-PILOTS has identified several variables related to physical magnitudes and actuators states, that can predict a hard landing during the approach phase. “This machine learning system can predict these events with a 78% of accuracy. This is a very promising result, considering that there are not so many systems able to do this. It is necessary, of course, to get higher accuracy, but we are already doing significant improvements”, Dr Dèbora Gil, Computer Vision Center (CVC) researcher, explained. 

For the second machine learning system, to monitor the cognitive state of the pilot(s), sensors such as electrocardiogram and electroencephalogram play a key role. “Taking measurements from electrocardiogram and electroencephalogram, we can differentiate when the pilot is in a baseline state –relaxed- from when they are doing or having a heavy workload and, depending on that, choose the right moment to communicate the situation to the pilot”, Dr Aura Hernández, CVC researcher, described. 

Dr. Hernández and Dr. Gil agreed that this machine learning systems is the crown jewel of E-PILOTS:  

Better than expected results 

So far, the results are exceeding expectations. “The ability to detect cognitive states from sensors could be helpful not only for pilots but also for any specialized highly demanding jobs, like a clinician in the intervention room. Also, it could be useful for developing decision supporting systems for people with special needs, like old people that starts to have mental cognitive problems”, argued Dr Gil. 

Dr. Hernández, from her part, wanted to highlight the unexpected results obtained: 

The Covid-19 impact 

The main problem E-PILOTS has to face since its beginning is being the pandemic situation. “Until now, we could only conduct experiments in simulators with a reduced amount of volunteers, due to the difficulty to travel to the UK where the consortium planned the use of Rolls-Royce Future Systems Simulator with the support of Cranfield University partner”, Dr Hernández exposed. But this is not the only complication the Covid-19 is creating. “We could not deploy the systems in more realistic situations or test it with more pilots. Also, you need to place sensors in the chest to monitor the cardiac activity and a helmet with sensors in the head to get the signals related to the cognitive state, and during the first months of the pandemic, this was considered very risky due to close interaction with volunteers”, delved into Dr Dèbora Gil. 

To try to solve these problems and push forward the project, the E-PILOTS consortium is actively looking for ways to achieve more data in simulator experiments and be able to move forward till the final objective of this project, test the machine learning systems in a realistic Single Pilot Operation (SPO) flight simulation framework. 

The pilots’ point of view 

One of the main E-PILOTS’ strengths is the multidisciplinary nature of the consortium: experts in machine learning, aeronautical engineering, human factors, socio-technical simulation, research centres, universities, big private companies and, of course, professional pilots. 

The main objective is, therefore, to adapt all the systems to the pilots’ particular needs. For that reason, it is essential to know their point of view. 

Jordi Manzano, the pilot of Air Europa and teacher at the Universitat Autonóma de Barcelona, joined E-PILOTS because “it offers me the opportunity to learn and to obtain information about new tools and procedures that otherwise I would never know about”. 

Mr. Manzano explained the reason why he decided to join E-PILOTS and his experience until now: 

For Mr Manzano, E-PILOTS contributes in many ways to real pilots, but he underlined that “the best part of being involved in E-PILOTS is to have the opportunity to learn and to propose different procedures for the aviation of the future”. 

He has no doubt about that E-PILOTS tools will be useful in real fly situations in the future: 

For his part, Miquel Gallego, pilot and flight instructor of the Barcelona Flight School, pointed out that “E-PILOTS gives me the chance to spend many hours in a flight simulator, facing on hard landing events, that for sure it is very positive for my training” 

Also, he feels that his contribution is very useful for the development of the project: 

Both of them are convinced that E-PILOTS could help pilots in real flight situations and expressed their willingness to use it beyond the simulator.