El projecte de recerca ViVIM finalitza amb resultats innovadors per a la creació de continguts audiovisuals immersius

• Tres centres de recerca catalans (Fundació i2CAT, CVC i Eurecat), juntament amb la Corporació Catalana de Mitjans Audiovisuals (CCMA) i l’empresa VISYON (GRUP MEDIAPRO)  han treballat plegats per crear noves experiències immersives que permeten la interacció entre usuaris en entorns virtuals.
• En el marc del projecte s’han desplegat diversos pilots per testejar les solucions tecnològiques desplegades i maximitzar el seu impacte en el sector audiovisual.
• El projecte de recerca ha estat finançat per la Generalitat de Catalunya a través d'ACCIÓ.

Després de tres anys i mig de feina, el 28 de juny va acabar oficialment el projecte de recerca ViVIM (Visió per Computador per Vídeo Immersiu Multiplataforma), coordinat per la Fundació i2CAT i en el que també han col·laborat el Centre de Visió per Computador (CVC), Eurecat, la Corporació Catalana de Mitjans Audiovisuals i VISYON (GRUP MEDIAPRO). El projecte ha estat finançat per ACCIÓ, l'Agència per a la Competitivitat de l'Empresa, dins del pla d'actuacions de la Comunitat Ris3CAT Media impulsada pel Govern de la Generalitat de Catalunya.

Els investigadors han centrat la seva recerca a la producció de nous formats de vídeo immersiu que milloren l’experiència dels consumidors de productes audiovisuals i que puguin ser consumits en tots tipus de dispositius, incloent-hi els nous sistemes de realitat virtual (com les ulleres RV), les tauletes, els mòbils o el televisor tradicional. L’objectiu global del projecte era crear noves experiències audiovisuals personalitzades, dinàmiques, interactives i immersives.

El projecte s’ha tancat amb la creació de cinc components tecnològics molt innovadors. La Fundació i2CAT ha desenvolupat un sistema de distribució i sincronització de vídeo, un reproductor web de vídeo interactiu amb adaptació automàtica al tipus de dispositiu i una tecnologia d’holoconferència pionera, que permet la representació volumètrica de l’usuari, a través d’un holograma, dins l’entorn virtual. Eurecat, ha desenvolupat un sistema innovador d’estimació de profunditat dels entorns virtuals i, des del CVC, hem contribuït al projecte amb un sistema per a la detecció i seguiment de persones basades en parts i esqueletonització 3D, aplicades a vídeo 360°.

Pilots en entorns reals

Durant l’execució del projecte ViVIM s’han dut a terme diferents pilots en entorns reals per provar la resposta i fiabilitat de les solucions tecnològiques desenvolupades per a l’emissió i consum de continguts immersius, la interacció i representació de l’usuari o la hibridació de tecnologies 360° i de 3D. Aquests pilots han estat:

• L'ascensor virtual: a l’abril del 2021, es va presentar en el web de TV3 un ascensor virtual que permetia als usuaris participar d’un viatge immersiu per conèixer la història de la televisió pública catalana.
• Retransmissió de les comparses de Vilanova amb multicàmera 360º: el febrer del 2022, TV3 i Canal Blau van participar en una producció coordinada per retransmetre les comparses del carnaval de Vilanova i la Geltrú en format multicàmera 360° des de diferents punts de la plaça de la Vila i amb pantalles sincronitzades.
• Tecnologia 360° multicàmera per a la retransmissió d'Eufòria: l’abril i el maig de 2023, TV3 també va fer servir la tecnologia 360° multicàmera per retransmetre la gala de repesca i la gala final del famós programa musical “Eufòria”. L’audiència va poder gaudir en directe de totes les actuacions des de diferents punts de vista gràcies a la instal·lació de càmeres 360° en diferents punts del plató, com ara al mig de l’escenari o al costat de la taula del jurat. Els continguts immersius es podien visualitzar des de diferents dispositius (ordinador, tauleta o mòbil) de manera interactiva, ja que es podia seleccionar la càmera d’interès. El sistema incloïa un nou reproductor web, amb suport multiplataforma, que no necessitava cap instal·lació prèvia.
• Pilot de realitat immersiva al cafè “Els Quatre Gats”: a començaments de juny de 2023, els investigadors van presentar un pilot de realitat immersiva al cafè “Els Quatre Gats”. Aquest permetia als visitants endinsar-se en l’ambient de la Barcelona modernista i gaudir d’una recreació virtual de la primera exposició individual de Pablo Picasso, instal·lada l’any 1900 al popular local modernista. El pilot combinava tecnologies de vídeo 360º i de Computer Generated Imagery (CGI) per a la creació d’un entorn virtual immersiu que recreava l’estètica del cafè a inicis del segle XX. Els usuaris eren teleportats a l’interior de l’espai mitjançant tecnologies de representació volumètrica (hologrames) i podien interactuar amb diferents punts d’interès a través d’elements interactius.

“ViVIM, a més d’ajudar-nos a portar la nostre tecnologia de distribució de vídeo 360° i de vídeo volumètric a un estat de pre-producte, ha estat la llavor de noves vies de col·laboració", explica Sergi Fernández, director de l’àrea de recerca en Media Internet de la Fundació i2CAT i coordinador del projecte ViVIM.