close

Press Release

CVC NewsPress Release

Unleashing Big Data of the Past – Europe builds a Time Machine

timemach

The European Commission has chosen Time Machine as one of the six proposals retained for preparing large scale research initiatives to be strategically developed in the next decade. €1 million in funding has been granted for preparing the detailed roadmaps of this initiative that aims at extracting and utilising the Big Data of the past. Time Machine foresees to design and implement advanced new digitisation and Artificial Intelligence (AI) technologies to mine Europe’s vast cultural heritage, providing fair and free access to information that will support future scientific and technological developments in Europe.  

One of the most advanced Artificial Intelligence systems ever built 

The Time Machine will create advanced AI technologies to make sense of vast amounts of information from complex historical data sets. This will enable the transformation of fragmented data – with content ranging from medieval manuscripts and historical objects to smartphone and satellite images – into useable knowledge for industry. In essence, a large-scale computing and digitisation infrastructure will map Europe’s entire social, cultural and geographical evolution. Considering the unprecedented scale and complexity of the data, The Time Machine’s AI even has the potential to create a strong competitive advantage for Europe in the global AI race. 

“Time Machine is likely to become one of the most advanced Artificial Intelligence systems ever built, trained on data from wider geographical and temporal horizons”, explains Frederic Kaplan, Professor of Digital Humanities at the Ecole Polytechnique Fédérale de Lausanne (EPFL) and Coordinator of the Time Machine Project. 

Cultural Heritage as a valuable economic asset 

Cultural Heritage is one of our most precious assets, and the Time Machine’s ten-year research and innovation program will strive to show that rather than being a cost, cultural heritage investment will actually be an important economic driver across industries. This constant source of new knowledge will be an economic motor, giving rise to new professions, services and products in areas such as education, creative industries, policy making, smart tourism, smart cities and environmental modelling. For example, services for comparing territorial configurations across space and time will become an essential tool in developing modern land use policy or city planning. Likewise, the tourism industry will be transformed by professionals capable of creating and managing newly possible experiences at the intersection of the digital and physical world. These industries will have a pan-European platform for knowledge exchange which will add a new dimension to their strategic planning and innovation capabilities. 

A new age for Social Sciences and Humanities 

Time Machine will mark a new age for Social Sciences and Humanities, as it will offer open access to Europe’s past via unified data and new AI services. This will give “super powers” to researchers by revolutionising the individual researcher’s search capabilities, drastically raising the overall scale and scope of social sciences and humanities research. The resulting knowledge will enable the field to effectively contribute to the development of strategic answers to major pan-European challenges such as sustainable growth, social welfare, migration and integration of migrants, and the safeguarding of European democracy. 

Transforming education

Education is a crucial factor for the social and economic well-being in Europe and the world, and Time Machine will help transform it by creating a dynamic new industry for the production of educative digital material based on aligned massive datasets. The resulting online courses, materials, simulations and other experiences will promote active engagement with our combined cultural heritage and make continuous learning more accessible and inclusive.

A unique alliance and a network of cities

Time Machine promotes a unique alliance of leading European academic and research organisations, Cultural Heritage institutions and private enterprises that are fully aware of the huge potential of digitisation and the very promising new paths for science, technology and innovation that can be opened through the information system that will be developed, based on the Big Data of the Past.  In addition to the 33 core institutions that will be funded by the European Commission, more than 200 organisations from 33 countries are participating to the initiatives, including seven national libraries (Austria, Belgium, France, Israel, Netherlands, Spain, Switzerland), 19 state archives (Belgium, Bulgaria, Croatia, Czech Republic, Denmark, Estonia, Finland, Germany, Hungary,Lithuania, Malta, Norway, Poland, Romania, Slovenia, Spain, Slovakia, Sweden, and Switzerland), famous museums (Louvre, Rijkmuseum), 95 academic and research institutions, 30 European companies and 18 governmental bodies.

Time Machine is also a growing network of cities. The project is based on a “franchise” operation model grouping scholars, cultural heritage organisations, government bodies and large groups of volunteers around specific integrated projects focusing on cities.  The engagement of a large number of volunteers, often local citizens, in these Local Time Machine initiatives is another key element to ensure their long-term sustainability of the project. Local Time Machines are currently being developed in Venice, Amsterdam, Paris, Jerusalem, Budapest, Regensburg, Nuremberg, Dresden, Antwerp, Ghent, Bruges, Naples, Utrecht, Limburg and more.  In the next 12 months, Time Machine is expected to grow as a large community of communities, sharing a standardised platform, with more empowering tools. 

Background  

In early 2016, the European Commission held a public consultation of the research community to gather ideas on science and technology challenges that could be addressed through future FET Flagships. End of 2016, Commissioner Oettinger hosted a round-table event with high-level representatives from the Member States, industry and academia. They agreed on three major areas where promising grand science and technology challenges could be addressed by the FET Flagships: “ICT and connected society”, “Health and the life sciences” and “Energy, environment and climate change”. As a result, a call for preparatory actions for future research initiatives was launched in October 2017 as part of the Horizon 2020 FET Work Programme 2018. From the 33 proposals submitted, six were selected after a two-stage evaluation by independent high-level experts.

The 33 institutions receiving parts of the €1 million to develop Time Machine

  1. ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE
  2. TECHNISCHE UNIVERSITAET WIEN
  3. INTERNATIONAL CENTRE FOR ARCHIVAL RESEARCH
  4. KONINKLIJKE NEDERLANDSE AKADEMIE VAN WETENSCHAPPEN
  5. NAVER FRANCE
  6. UNIVERSITEIT UTRECHT
  7. FRIEDRICH-ALEXANDER-UNIVERSITAET ERLANGEN NUERNBERG
  8. ECOLE NATIONALE DES CHARTES
  9. ALMA MATER STUDIORUM – UNIVERSITÀ DI BOLOGNA
  10. INSTITUT NATIONAL DE L’INFORMATION GEOGRAPHIQUE ET FORESTIERE
  11. UNIVERSITEIT VAN AMSTERDAM
  12. UNIWERSYTET WARSZAWSKI
  13. UNIVERSITE DU LUXEMBOURG
  14. BAR-ILAN UNIVERSITY
  15. UNIVERSITA CA’ FOSCARI VENEZIA
  16. UNIVERSITEIT ANTWERPEN
  17. QIDENUS GROUP GMBH
  18. TECHNISCHE UNIVERSITEIT DELFT
  19. CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE
  20. STICHTING NEDERLANDS INSTITUUT VOOR BEELD EN GELUID
  21. FIZ KARLSRUHE- LEIBNIZ-INSTITUT FUR INFORMATIONS INFRASTRUKTUR GMBH
  22. FRAUNHOFER GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.
  23. UNIVERSITEIT GENT
  24. TECHNISCHE UNIVERSITAET DRESDEN
  25. TECHNISCHE UNIVERSITAT DORTMUND
  26. OESTERREICHISCHE NATIONALBIBLIOTHEK
  27. ICONEM
  28. INSTYTUT CHEMII BIOORGANICZNEJ POLSKIEJ AKADEMII NAUK
  29. PICTURAE BV
  30. CENTRE DE VISIÓ PER COMPUTADOR
  31. EUROPEANA FOUNDATION
  32. INDRA
  33. UBISOFT

Background in Catalonia: The historical social networks

The computer vision Centre (CVC), along with the Centre for demographic studies (CED), the Autonomous University of Barcelona (UAB) and the Culture’s department of the Catalan Government (Regional Archives) have been carrying out different projects for the historical memory’s recovery from historical documents, such as census (XARXES project) or marriage documents (Five centuries of Marriages project). The extraction of nominative information of these documents with computer vision techniques and the linkage between different sources, allows the creation of a “historical social network” as a model of representation of historical knowledge.

The exploitation of this social network’s data with Artificial Intelligence techniques allows the generation of new formats and experiences to interpret our history. The social network metaphor as a representation of the Big Data of the past allows to reconstruct genealogical trees, describe vital trajectories of people and groups, study migrations, etc. Citizen participation is essential in the reconstruction of history, not only to help validate the automatic emptying of archives, but also to provide information deposited in natural archives (oral history) or personal collection materials (photographs or private documents).

Time Machine Catalonia

The Time Machine project is structured from local subprojects that personalize the vision of the different European regions identities. In Catalonia, it has begun to articulate the community Time Machine under the concept of “innovation 2.0”, grouping the agents that come together in the four-helix model: research, companies, administration and society.

read more
CVC NewsPress Release

Alliberant el Big Data del passat – Europa construeix una màquina del temps

timemachine

La Comissió Europea ha triat Time Machine com una de les sis propostes seleccionades per a la preparació d’iniciatives de recerca a gran escala que es desenvoluparan estratègicament en la pròxima dècada. S’ha concedit 1 milió d’euros en finançament per preparar el full de ruta detallat d’aquesta iniciativa, que té com a objectiu extreure i utilitzar les dades massives del passat. Time Machine preveu dissenyar i implementar noves tecnologies avançades de digitalització i Intel·ligència Artificial (AI) per a obrir l’immens patrimoni cultural d’Europa, proporcionant un accés just i gratuït a la informació que donarà lloc a desenvolupaments científics i tecnològics futurs.  

Un dels sistemes més avançats d’Intel·ligència Artificial mai construïts 

Time Machine crearà tecnologies avançades d’Intel·ligència Artificial per donar sentit a gran quantitat d’informació obtinguda a partir de conjunts de dades històriques complexes. Això permetrà la transformació de dades fragmentades – amb continguts que van des de manuscrits medievals i objectes històrics fins a telèfons intel·ligents i imatges de satèl·lit – en coneixement utilitzable per a la indústria. En essència, serà una infraestructura de computació i digitalització a gran escala que crearà un mapa total de l’evolució social, cultural i geogràfica d’Europa. Tenint en compte l’escala i la complexitat sense precedents de les dades, l’Intel·ligència Artificial de Time Machine té, fins i tot, el potencial de crear un gran avantatge competitiu per a Europa en la carrera mundial de la IA. 

“És probable que Time Machine es converteixi en un dels sistemes més avançats d’intel·ligència artificials mai construïts, entrenada amb dades d’horitzons geogràfics i temporals molt amplis”, explica Frederic Kaplan, catedràtic d’Humanitats digitals de l’Ecole Polytechnique Fédérale de Lausanne (EPFL) i coordinador del projecte Time Machine.

El Patrimoni Cultural com a un valuós bé econòmic

El patrimoni cultural és un dels nostres actius més preuats, i el programa d’investigació i innovació de deu anys de Time Machine s’esforçarà per demostrar que en lloc de ser un cost, la inversió en patrimoni cultural serà en realitat un important vector econòmic a través de les indústries.

Aquesta font constant de nous coneixements serà un motor econòmic, donant lloc a noves professions, serveis i productes en àmbits com l’educació, les indústries creatives, l’elaboració de polítiques, el turisme intel·ligent, les ciutats intel·ligents i el modelatge mediambiental. Un exemple són els serveis de comparació de configuracions territorials a través de l’espai i el temps, que esdevindran una eina essencial per desenvolupar polítiques modernes d’ús del sòl o de planificació urbana. D’aquesta manera, el sector turístic serà transformat per professionals amb la capacitat de crear i gestionar noves experiències en la intersecció del món digital i físic. Aquestes indústries tindran una plataforma pan-europea per a l’intercanvi de coneixement que afegirà una nova dimensió a les seves capacitats de planificació estratègica i innovació.

Una nova era per les Ciències Socials i les Humanitats 

Time Machine marcarà una nova era per a les Ciències Socials i les Humanitats, ja que oferirà accés obert al passat europeu mitjançant dades unificades i nous serveis d’IA. D’aquesta manera, es donaran  “superpoders” als investigadors revolucionant la capacitat de recerca de l’investigador individual i augmentant dràsticament l’escala general i l’abast de la recerca en Ciències Socials i Humanitats. El coneixement resultant permetrà al sector contribuïr eficaçment al desenvolupament de respostes estratègiques als grans reptes pan-europeus com el creixement sostenible, el benestar social, la migració i la integració dels migrants i la salvaguarda de la democràcia. 

Transformar l’Educació

L’educació és un factor crucial per al benestar social i econòmic a Europa i al món i Time Machine ajudarà a transformar-la creant una nova indústria dinàmica per a la producció de material educatiu digital basat en conjunts massius alineats. Els cursos, materials, simulacions i altres experiències en línia resultants promouran el compromís actiu amb el patrimoni cultural combinat i faran que l’aprenentatge continu sigui més accessible i inclusiu.

Una aliança única i una xarxa de ciutats

Time Machine promou una aliança única de les principals organitzacions acadèmiques i de recerca europees, institucions de patrimoni cultural i empreses privades plenament conscients de l’enorme potencial de la digitalització i els nous i prometedors camins de la ciència, tecnologia i innovació que es poden obrir a través del sistema d’informació que es desenvoluparà basant-se en el Big Data del passat.  A més de les 33 institucions centrals que seran finançades per la Comissió Europea, entre les quals figura el Centre de Visió per Computador, més de 200 organitzacions de 33 països participen en les iniciatives, entre elles set biblioteques nacionals (Àustria, Bèlgica, França, Israel, Holanda, Espanya, Suïssa), 19 arxius estatals (Bèlgica, Bulgària, Croàcia, República Txeca, Dinamarca, Estònia, Finlàndia, Alemanya, Hongria, Lituània, Malta, Noruega, Polònia, Romania, Eslovènia, Espanya, Eslovàquia, Suècia i Suïssa), museus famosos (Louvre, Rijkmuseum), 95 institucions acadèmiques i de recerca, 30 empreses europees i 18 organismes governamentals.

Time Machine és també una xarxa cada vegada més gran de ciutats. El projecte es basa en un model d’operació franquícia, agrupant acadèmics, organitzacions del patrimoni cultural, organismes governamentals i grans grups de voluntaris al voltant de projectes integrats específics centrats en les ciutats. La implicació d’aquest gran nombre de voluntaris, sovint ciutadans locals, en les iniciatives de Time Machine locals és un altre element clau per assegurar la sostenibilitat a llarg termini del projecte.

Actualment s’estan desenvolupant Time Machine locals a Barcelona, Venècia, Amsterdam, París, Jerusalem, Budapest, Regensburg, Nuremberg, Dresden, Anvers, Gant, Bruges, Nàpols, Utrecht o Limburg, entre altres. No obstant, en els propers 12 mesos, s’espera que Time Machine creixi com una gran comunitat de comunitats, compartint una plataforma estandarditzada, amb més eines d’apoderament. 

Les 33 institucions que rebran part del milió d’euros per desenvolupar Time Machine

  1. ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE
  2. TECHNISCHE UNIVERSITAET WIEN
  3. INTERNATIONAL CENTRE FOR ARCHIVAL RESEARCH
  4. KONINKLIJKE NEDERLANDSE AKADEMIE VAN WETENSCHAPPEN
  5. NAVER FRANCE
  6. UNIVERSITEIT UTRECHT
  7. FRIEDRICH-ALEXANDER-UNIVERSITAET ERLANGEN NUERNBERG
  8. ECOLE NATIONALE DES CHARTES
  9. ALMA MATER STUDIORUM – UNIVERSITÀ DI BOLOGNA
  10. INSTITUT NATIONAL DE L’INFORMATION GEOGRAPHIQUE ET FORESTIERE
  11. UNIVERSITEIT VAN AMSTERDAM
  12. UNIWERSYTET WARSZAWSKI
  13. UNIVERSITE DU LUXEMBOURG
  14. BAR-ILAN UNIVERSITY
  15. UNIVERSITA CA’ FOSCARI VENEZIA
  16. UNIVERSITEIT ANTWERPEN
  17. QIDENUS GROUP GMBH
  18. TECHNISCHE UNIVERSITEIT DELFT
  19. CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE
  20. STICHTING NEDERLANDS INSTITUUT VOOR BEELD EN GELUID
  21. FIZ KARLSRUHE- LEIBNIZ-INSTITUT FUR INFORMATIONS INFRASTRUKTUR GMBH
  22. FRAUNHOFER GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.
  23. UNIVERSITEIT GENT
  24. TECHNISCHE UNIVERSITAET DRESDEN
  25. TECHNISCHE UNIVERSITAT DORTMUND
  26. OESTERREICHISCHE NATIONALBIBLIOTHEK
  27. ICONEM
  28. INSTYTUT CHEMII BIOORGANICZNEJ POLSKIEJ AKADEMII NAUK
  29. PICTURAE BV
  30. CENTRE DE VISIÓ PER COMPUTADOR
  31. EUROPEANA FOUNDATION
  32. INDRA
  33. UBISOFT

Antecedents

A principis de 2016, la Comissió Europea va celebrar una consulta pública de la comunitat investigadora per recollir idees sobre els reptes de la ciència i la tecnologia que es podien abordar a través de futures FET flagships. A finals de 2016, el Comissionat Oettinger va acollir una taula rodona amb representants d’alt nivell dels Estats Membres, la indústria i l’acadèmia. Van acordar tres grans àrees en les que els grans reptes de la ciència i la tecnologia podrien ser abordats mitjançant FET flagships: “les TIC i la societat connectada”, “la salut i les ciències de la vida” i “energia, medi ambient i canvi climàtic”. Com a resultat d’això, l’octubre de 2017 es va publicar una convocatòria d’accions preparatòries per a futures iniciatives de recerca, en el marc del programa de treball FET 2018 d’Horitzó 2020. A partir de les 33 propostes presentades, sis van ser seleccionades per experts independents d’alt nivell després d’una avaluació en dues etapes.

Antecedents a Catalunya: Les xarxes socials històriques

El Centre de Visió per Computador (CVC), conjuntament amb el Centre d’Estudis Demogràfics (CED), la Universitat Autònoma de Barcelona (UAB) i el Departament de Cultura de la Generalitat de Catalunya (Arxius Comarcals) han dut a terme, des de fa anys, diversos projectes de recuperació de la memòria històrica a partir de documents de població, com ara padrons històrics (projecte Xarxes) o llibres d’esposalles (projecte Cinc Segles de Matrimonis). L’extracció d’informació nominativa d’aquests documents, amb tècniques de Visió per Computador, i la inferència de relacions entre les dades, permet construir una “xarxa social històrica” com a model de representació del coneixement històric.

L’explotació de les dades d’aquesta xarxa social, amb tècniques d’Intel·ligència Artificial, permet generar nous formats i experiències d’interpretació de la història. Es tracta de la democratització de la història a partir de l’agregat de les comunitats del passat però, a la vegada, també connecta les comunitats del present a les del passat, construint narratives al llarg del temps. La metàfora de xarxa social com a representació del Big Data del passat permet reconstruir arbres genealògics, descriure trajectòries vitals de persones o col·lectius, estudiar fenòmens migratoris, socio-econòmics, etc. La participació ciutadana és fonamental en la reconstrucció de la història, no només per ajudar a validar el buidat automàtic dels arxius, sinó per aportar coneixement dipositat en arxius naturals (història oral) o materials de col·leccions personals (fotografies o documents privats).

Catalunya Time Machine

El projecte Time Machine es vertebra a partir de subprojectes locals que personalitzen la visió a les identitats de les diferents regions europees. A Catalunya, s’ha començat a articular la comunitat Time Machine, sota un concepte d’innovació 2.0, agrupant els agents que conflueixen en els models de quàdruple hèlix (recerca, empresa, administració i societat).

read more
CVC NewsPress Release

Toyota Research Institute Supports Development of Open-Source Automated Driving Simulator

TRI_Automated_Driving_3BB4D80291622BB07B84FC0EE5A1CB6D2619B8A6

Toyota Research Institute (TRI) is furthering its support of open source platforms by donating $100,000 to the Computer Vision Center (CVC) to accelerate its development of an open source simulator for automated driving, Car Learning to Act (CARLA).

“Technological advances and growth are made possible through collaboration and community support,” said Vangelis Kokkevis, director of Driving Simulation at TRI. “Fostering the development of a common open simulation platform will allow TRI and its academic and industrial partners to better exchange code, information and data.”

CARLA is hosted on Github, and its development is directed by the CVC at the Universitat Autònoma de Barcelona (UAB) in Spain. The non-profit, open source simulator is for the development, training and validation of automated urban driving systems. It is designed to ensure the stability of automated vehicles in myriad situations that are not always testable in the real world. With flexibility and realism in mind, CARLA offers a multitude of environmental conditions and is designed to be extended and easily modified to fit specific project needs.

The team behind CARLA plans on using TRI’s gift to expand its engineering team and the simulator’s capabilities.

Dr. Antonio López, responsible for the project at CVC, said “CARLA is born to democratize research on automated driving, supporting training and testing of AI drivers beyond real-world limitations. The joint work of CARLA engineers, artists and scientists is making this possible. Obviously, we need to keep working to allow CARLA reach its full maturity, and this is why the sponsorship from Toyota is highly valuable.”

CARLA is another major commitment by TRI to an open source platform. TRI has made significant donations for two consecutive years to the Open Source Robotics Foundation (OSRF), which offers the global robotics community access to open source robotics software and development tools. TRI is also the primary contributor to Drake, an open source C++ toolbox created by the MIT Computer Science and Artificial Intelligence Lab (CSAIL) for analyzing the dynamics of robots and building control systems.

To learn more about CARLA, please visit Carla.org.

read more
CVC NewsPress Release

INNOBRAIN: optimizing the cognitive rehabilitation of neurological and psychiatric patients

INNOBRAIN

The Catalan consortia INNOBRAIN explores computer-human interaction and artificial intelligence algorithms to predict intervention results. The initiative is part of NEXTHEALTH, the RIS3CAT community participated by CVC which is aimed to innovation in Health coordinated by Biocat and supported by ACCIÓ.

A new technological platform will facilitate the stimulation and congitive rehabilitation of people with cognitive impairment as a consequence of a neurological or psychiatric disease, dementia or development disorders. This project, in which CVC is actively working with the participacion of Dr. Sergio Escalera, forms part of NextHealth, a RIS3CAT community lead by Biocat, supported by ACCIÓ and the European Union, through the European Regional Development Fund.

The INNOBRAIN consortia Works to integrate new technologies in the cognitive rehabilitation and stimulation of neurological and psychiatric patients, as is human-computer interaction, tracking emotional expressions with artificial vision, or artificial intelligence algorithms to predict the end result of interventions and improve treatment personalization, among other innovative elements.

Dr. Sergio Escalera, Principal Researcher within this project at CVC, will be implementing computer vision technology in order to recognise emotional expressions of both children and adults which have suffered from neurological disorders or disease. In this way, clinicians will be able to monitor neurorehabilitation and its evolution, in some cases with the use of videogames, by measuring level of attention, distraction, frustration and engagement.

The aim of the consortia is to boost strategic industrial research activities in order to improve usability, efficiency, effectiveness, the generation of knowledge and the personalization of treatments, as added value elements in cognitive rehabilitation and stimulation”, as explained by the Research coordinator at Guttmann, Dr. Josep M. Tormos.

The INNOBRAIN consortia is integrated by the Guttmann Institute, EURECAT, the Institut d’Investigació en Intel·ligència Artificial (IIIA-CSIC), the Computer Vision Center, the Sanitary Corporation Parc Taulí from Sabadell, the Institut d’Investigació Biomèdica de Girona (IdibGI), the Institut d’Assistència Sanitària (IAS), the Fundació Salut i Envelliment UAB ; the Institut ‘Investigacions Biomèdiques August Pi i Sunyer (IDIBAPS); and the businesses Starlab, specialist in neuroestimulation; SKY&EARTH, specialist in digital interactive vídeos, and ICA, a Technology services provider.

More information at the project’s website: http://www.innobrain-r3.cat/

 

read more