Després de tres anys i mig de feina, el 28 de juny va finalitzar oficialment el projecte de recerca Visió per Computador per Vídeo Immersiu Multiplataforma (ViVIM), coordinat per la Fundació i2CAT, i en el qual han col·laborat el Centre de Visió per Computador (CVC), l’Eurecat, la Corporació Catalana de Mitjans Audiovisuals i Visyon (Mediapro). Totes elles han treballat plegades per crear noves experiències immersives que permetin la interacció entre usuaris en entorns virtuals, i han participat en el desplegament de pilots per maximitzar el seu impacte en el sector audiovisual.
El projecte ViVIM ha estat finançat per ACCIÓ, l’Agència per a la Competitivitat de l’Empresa, dins del pla d’actuacions de la Comunitat Ris3CAT Media impulsada pel Govern de la Generalitat.
Els investigadors han centrat la seva recerca a la producció de nous formats de vídeo immersiu que millorin l’experiència dels consumidors de productes audiovisuals, i que puguin ser consumits en tots tipus de dispositius, incloent-hi els nous sistemes de realitat virtual, les tauletes, els mòbils o els televisors tradicionals. L’objectiu global del projecte era crear noves experiències audiovisuals personalitzades, dinàmiques, interactives i immersives.
El ViVIM s’ha tancat amb la creació de cinc components tecnològics. L’i2CAT ha desenvolupat un sistema de distribució i sincronització de vídeo, un reproductor web de vídeo interactiu amb adaptació automàtica al tipus de dispositiu, i una tecnologia d’holoconferència que permet la representació volumètrica de l’usuari a través d’un holograma dins l’entorn virtual.
Per la seva part, l’Eurecat ha desenvolupat un sistema d’estimació de profunditat dels entorns virtuals, i el CVC ha contribuït al projecte amb un sistema per a la detecció i seguiment de persones basades en parts i esqueletonització 3D aplicades a vídeo 360°.
Pilots en entorns reals
Durant l’execució del ViVIM s’han realitzat diferents pilots en entorns reals per provar la resposta i la fiabilitat de les solucions tecnològiques desenvolupades. Aquests pilots han comptat amb la col·laboració tant de la CCMA com de l’empresa Visyon.
Així, l’abril del 2021, es va presentar al web de TV3 un ascensor virtual que permetia als usuaris participar d’un viatge immersiu per conèixer la història de la televisió pública.
El febrer del 2022, TV3 i Canal Blau van participar en una producció coordinada per retransmetre les comparses del carnaval de Vilanova i la Geltrú en format multicàmera 360° des de diferents punts de la plaça de la Vila i amb pantalles sincronitzades.
L’abril i el maig de 2023, TV3 va fer servir la tecnologia 360° multicàmera per retransmetre la gala de repesca i la final del programa musical Eufòria. L’audiència va poder gaudir en directe de totes les actuacions des de diferents punts de vista gràcies a la instal·lació de càmeres 360° en diferents punts del plató. Els continguts immersius es podien visualitzar des de diferents dispositius (ordinador, tauleta o mòbil) de manera interactiva, ja que es podia seleccionar la càmera d’interès. El sistema incloïa un nou reproductor web, amb suport multiplataforma, que no necessitava cap instal·lació prèvia.
Finalment, a inicis del mes passat, els investigadors van presentar un pilot de realitat immersiva al cafè Els Quatre Gats. Aquest permetia als visitants endinsar-se en l’ambient de la Barcelona modernista i gaudir d’una recreació virtual de la primera exposició individual de Pablo Picasso, instal·lada l’any 1900 al popular local. El pilot combinava tecnologies de vídeo 360º i de computer generated imagery (CGI) per a la creació d’un entorn virtual immersiu que recreava l’estètica del cafè a inicis del segle XX. Els usuaris eren teletransportats a l’interior de l’espai mitjançant tecnologies de representació volumètrica (hologrames) i podien interactuar amb diferents punts d’interès a través d’elements interactius.
Nous projectes
“ViVIM, a més d’ajudar-nos a portar la nostra tecnologia de distribució de vídeo 360° i de vídeo volumètric a un estat de preproducte, ha estat la llavor de noves vies de col·laboració”, assenyala Sergi Fernández, director de l’àrea de recerca a mèdia internet de la Fundació i2CAT i coordinador del ViVIM.
“Des d’i2CAT, amb Visyon, estem participant en un nou projecte amb finançament europeu, XR-ECO, per desenvolupar algoritmes d’intel·ligència artificial de cara a incrementar l’automatització en la generació de nous continguts immersius. Per altra banda, amb la CCMA estem treballant per fer arribar al sector broadcast el nostre sistema de distribució sincronitzada multicàmera end to end, des de la càmera al reproductor, que facilita i abarateix enormement la distribució d’experiències multicàmera en temps real”, afegeix.
