close
CVC LabsEvents & CommunityExperimentAI

El reto de enseñar a los ordenadores a leer texto manuscrito y música

El 21 de noviembre, volvimos al Library Living Lab de mano del proyecto ExperimentAI, proyecto financiado por FECYT – Ministerio de Ciencia, Innovación y Universidades y organizado por el Centro de Visión por Computador.

El proyecto ExperimentAI, como se ha mencionado en crónicas anteriores, tiene como finalidad acercar, de forma didáctica, lúdica e interactiva, la investigación puntera en Inteligencia Artificial y Visión por Computador que se realiza en España a un público amplio y no especialista. El proyecto cuenta siempre con demostraciones, talleres y actividades que demuestran los resultados últimos de proyectos de investigación en curso.

En esta ocasión, la sesión quiso incidir en cómo estamos enseñando a los ordenadores a leer texto manuscrito y partituras de música de cara a mejorar procesos de nuestro día a día o de grandes volúmenes de trabajo, como el procesado de datos manuscritos a digitales en bancos, grandes firmas o Administración Pública. Se trata de una problemática de investigación no exenta de dificultades que ocupa ahora mismo grandes proyectos de investigación en el Centro de Visión por Computador y la Universitat Autònoma de Barcelona. 

Coordinaron la sesión 2 doctorandos altamente comprometidos con la divulgación de su trabajo: Arnau Baró y Pau Riba. Arnau Baró (becado con una FI Fellowship AGAUR 2018, con el apoyo de la Secretaria d’Universitats i Recerca de la Generalitat de Catalunya y del Fondo Social Europeo.) realizó la explicación sobre la identificación de notas musicales y la problemática de lectura de partituras antiguas, realizando una explicación didáctica de cuáles son los mecanismos que se utilizan actualmente, incidiendo en las dificultades y en todo el abanico de investigación que todavía queda abierto.

Arnau Baró realiza la explicación de cómo está enseñando a los ordenadores a leer partituras de música a los asistentes

Pau Riba realizó una explicación, apoyado por paneles explicativos, de las dificultades de la enseñanza del lenguaje escrito, especialmente el antiguo. Los asistentes siguieron atentos su explicación, con gran interés, ya que entre ellos había varios filólogos, que encontraron interesante las dificultades o cuestiones relativas a la filología con las cuales se estaban encontrando los investigadores en esta materia. Pau Riba incidió también en cómo se está abordando ahora esta temática de investigación, con una nueva forma de enseñar a los ordenadores a leer, ‘de secuencia a secuencia’ (from sequence to sequence), que es la técnica en la cual se les enseña a los ordenadores a leer letra por letra en un determinado orden.

Pau Riba realizó una explicación más teórica de los modelos de aprendizaje de lectura de texto manuscrito.

El Dr. Josep Lladós realizó una explicación básica, explicando qué es el OCR (Optical Character Recognitiony cuál es su funcionamiento. La explicación, altamente didáctica, trata la base de cómo un ordenador captura una imagen y le da sentido. Los participantes quedaron realmente encantados con esta explicación, resaltándola al final cuando se les pidió que valoraran la sesión. Jialuo Chen volvió a hacer acto de presencia, explicando el rol de la gamificación y dando a los asistentes la oportunidad de probar un juego para verificar que lo que los ordenadores estaban leyendo era correcto. Nuevamente, como en la sesión anterior, se sortearon dos gafas de realidad aumentada entre los asistentes que consiguieran más puntos en el juego.

El Dr. Llados realizando su explicación didáctica del OCR.

Y, finalmente, lo más esperado, la demostración de la tecnología. La escritura y el dibujo están altamente ligados, y el Dr. Joan Mas presentó una demostración de investigación puntera que realmente llamó la atención. El poder hallar fotografías de bases de datos realizando un simple esbozo. El funcionamiento se ve en este vídeo grabado al momento de presentar la tecnología en el Library Living Lab:

Las reacciones de los asistentes fueron realmente positivas, con comentarios como:

https://twitter.com/CVC_UAB/status/1065313863250391041

 

 

 

 

 

 

alexandra canet

The author alexandra canet