Utilizarea inteligenței artificiale generative în dublarea sincronizării buzelor pentru localizarea de conținut câștigă tot mai mult teren ca aplicație inovatoare. Spre deosebire de dublarea AI, care se concentrează în principal pe crearea de piste de vorbire, dublarea cu sincronizare a buzelor modifică aspectele vizuale ale conținutului, sincronizând cu precizie mișcările gurii și ale feței cu sunetul dublat prin intermediul modelelor de învățare profundă.
Deși vocile sintetice ar putea fi utilizate pentru dublaj, practicile actuale implică adesea performanțe vocale ale actorilor umani în colaborare cu rețele de localizare. Această tehnică se poate extinde dincolo de expresiile faciale pentru a include și traducerea elementelor textuale din cadrul scenelor, cum ar fi indicatoarele sau tichetele de știri.
Adoptarea dublajului cu sincronizare a buzelor oferă o experiență de vizionare mai captivantă, ceea ce ar putea duce la creșterea atractivității globale a conținutului premium. În ciuda faptului că introduce noi costuri pentru studiouri, această abordare este considerată o investiție strategică, care ar putea spori semnificativ implicarea publicului.
Potrivit lui Scott Mann, co-CEO la Flawless, faptul că a fost martor la integrarea perfectă a dublării cu sincronizare a buzelor în filme a transformat percepțiile, oferind o experiență de vizionare asemănătoare cu cea a conținutului în limba engleză. Matt Panousis, COO la Monsters Aliens Robots Zombies (MARZ), subliniază potențialul transformator al acestei tehnologii, care depășește limitele VFX tradiționale.
Marile studiouri de la Hollywood efectuează în prezent teste beta ale versiunilor dublate cu sincronizare pe buze ale filmelor și emisiunilor TV pentru a evalua impactul acestora asupra audienței și a implicării publicului. Flawless acordă prioritate colaborării cu studiourile americane de top, oferind inițial 1.000 de ore de capacitate celor mai mari cinci studiouri, înainte de a extinde operațiunile pe baza feedback-ului și a informațiilor privind performanța.
Decizia de a localiza conținutul pentru piețele internaționale sau de a se adresa publicului vorbitor de limbă engleză cu filme complet dublate în limbi străine prezintă considerente strategice pentru studiouri. În timp ce conținutul de la Hollywood prezintă provocări mai mari din cauza standardelor stricte, produse precum LipDub au ca scop abordarea unor segmente de piață mai largi înainte de a viza conținutul premium de la Hollywood.
,,Conversația s-a schimbat complet atunci când oamenii l-au văzut în acțiune și și-au dat seama că se uitau la un film care părea a fi un film în limba engleză, dar de fapt nu era așa. Diferența ne-a șocat pe toți cât de bine era„, a declarat Scott Mann, co-CEO la firma de inteligență artificială generativă Flawless.
De la lansarea versiunii beta, LipDub a adunat 80 de clienți, inclusiv creatori proeminenți de pe YouTube și mărci de consum din Fortune 1000. Tehnologia a fost utilizată pentru diverse aplicații, cum ar fi localizarea de reclame care prezintă sponsorizări ale unor celebrități.
Cu toate acestea, acceptarea dublării prin sincronizare pe buze în rândul publicului rămâne un aspect esențial, existând o potențială rezistență din partea puriștilor și variații în ceea ce privește acceptarea în funcție de diferitele genuri de conținut. Documentarele, de exemplu, se pot confrunta cu scepticism din cauza preocupărilor legate de modificarea acurateței faptelor.
,,Cele mai interesante [utilizări ale acestei tehnologii] fac lucruri pe care VFX nu le-ar putea face niciodată„, a declarat Matt Panousis, COO la Monsters Aliens Robots Zombies (MARZ), firma VFX din Toronto care furnizează produsul de dublare cu sincronizare a buzelor LipDub AI. ,,Este mai degrabă o inovație de 0 la 1 față de 1 la 1 sau 1 la 2. Pur și simplu, acest lucru nu a fost niciodată realizabil până acum.”
În timp ce consimțământul este necesar pentru anumite modificări digitale care implică AI, dublarea prin sincronizarea buzelor funcționează în temeiul unei excepții din acordul SAG-AFTRA 2023, ocolind necesitatea consimțământului actorilor în acest context specific.
Sursa: Variety
