Generatiiviset videotyökalut vuonna 2025

Generatiivinen video on kehittynyt viimeisen vuoden aikana huimaa vauhtia. Suurelle yleisölle generatiivinen video tuli näkyväksi OpenAI:n esitellessä alkuvuodesta 2024 Sora-mallinsa. Nyt kun Sora on vihdoin julkaistu suurelle yleisölle myös Euroopassa, on syytä tarkastella generatiivisia videotyökaluja.

OpenAI:n vuosi sitten julkaisemiin esimerkkivideoihin verrattuna kaupallinen Sora vaikuttaa ennakko-odotuksiin verrattuna pettymykseltä. Sen fysiikkamallinnus tekee helposti suuria virheitä. Suurimmassa osassa videoita tapahtuu jotain sellaista, mitä niissä ei kuuluisi tapahtua. Myös videoiden tarkkuus on heikompi kuin useilla kilpailijoilla. Sora tarjoaa kuitenkin monia mielenkiintoisia ominaisuuksia yleisten kuvast videoksi tai videosta videoksi -toimintojen lisäksi. Tällainen on esimerkiksi Storyboard-ominaisuus, jonka avulla voi tehdä helposti videokokonaisuuksia videoeditointiohjelmaa muistuttavan käyttöliittymän kautta. Erilaiset tyylit onnistuvat hyvin. Parhaimmillaan Sora lienee tehtäessä animaatiotyylistä sisältöä, jolloin kymmenen sekunnin mittainen videoklippi saattaa olla riittävän virheetön. Soran käyttö on yhteydessä ChatGPT-tilaukseen ja yleisimmällä plus-tilauksella voi tehdä parikymmentä videota kuukaudessa videoiden pituudesta riippuen.

Alla Soran avulla tekstipromptin perusteella tehty video:

Yksi käytetyimmistä työkaluista on RunwayML, joka pystyy tekemään paikoitellen hyvin laadukasta videojälkeä. Runway tarjoaa monia generatiivisia työkaluja, joilla voi esimerkiksi poistaa taustan tai hidastaa videota, mutta Runway generoi hyvin myös videoita. Niitä pystyy tekemään tekstikehotteesta, kuvan perusteella tai videosta videoksi, jolloin Runway vaihtaa videon tyyliä. Mielenkiintoinen ominaisuus on Act-One, jonka avulla esimerkiksi piirroshahmot saadaan puhumaan hyvin uskottavasti.

Alla olevalla videolla on käytetty kuvasta videoksi -tyyliä:

Lumalabsin Dream Machine on varteenotettava työkalu, jota pääsee kokeilemaan maksutta. Siinä on monia hyödyllisiä ominaisuuksia, kuten alku- ja loppuruudun asettaminen. Yksi Dream Machinen käytännöllisistä ominaisuuksista on mahdollisuus tehdä videolooppeja.

Alla on Dream Machinella kuvasta videoksi tehty esimerkki piirroskarhusta:

Kling AI toimii muiden videomallien tavoin kuvasta videoksi tai tekstistä videoksi. Klingiä pystyy kokeilemaan maksutta, mutta kaikki ominaisuudet eivät ole käytettävissä ilmaisversiolla. Alla näyte Klingin kyvystä tuottaa video kuvan perusteella :

Myös HailuoAI MiniMax tekee videoita kuvista tai tekstistä videoiksi. Malli tuottaa hyvin samankaltaista tulosta kuin muutkin vastaavat mallit. Tässä esimerkissä on tuotettu video karhusta käyttämällä vain tekstipohjaista kehotetta:

Adobe on julkaissut Firefly-kuvageneraattoriinsa myös videogenerointimahdollisuuden. Firefly mahdollistaa helppokäyttöisesti esimerkiksi kuvakoon ja kameran liikesuunnan valitsemisen. Videon koko on FullHD ja klipin pituus 5 sekuntia. Seuraavassa Fireflyllä tekstistä kuvaksi -toiminnallisuudella tehty video:

Kaikki viidessä tässä esiteltyä videoita generoivaa työkalua tuottavat kohtuullisen tasavertaista jälkeä. Erot tulevat esille erilaisten aiheiden yhteydessä. Yksi malli saattaa tuottaa paremmin piirrosmaista tai maalusmaista jälkeä, toinen malli onnistuu tekemään aidomman oloista liikettä ja kolmas tuottaa hienoimmat kamera-ajot. On vaikea sanoa, mikä malli sopii mihinkin käyttötarkoitukseen, sillä erot voivat tulla esille hyvin erilaisissa tilanteissa. Hyvä lähtökohta on aloittaa yhdestä mallista ja vaihtaa toiseen, jos lopputulos ei ole sitä, mitä haet, tai työkalu esimerkiksi toimii hitaasti.

Myös Adoben editointiohjelma Premiere Pro on myös saamassa generatiivisia ominaisuuksia. Ne tulevat mahdollistamaan esimerkiksi videoiden pidentämisen. Tämä on tärkeä ominaisuus, jos editoitava otos on hieman liian lyhyt onnistunutta leikkausta varten. Ominaisuudet ovat jo testattavissa Premieren beta-versiossa.

Generatiivisten videotyökalujen hyödyntäminen luovassa työssä

Ovatko tekoälytyökalut jo sillä tasolla, että niitä voi käyttää todelliseen videotyöskentelyyn? Mahdollisesti. Generatiiviset videomallit tuottavat joissain tapauksissa hyvin vaivattomasti sellaisia lopputuloksia, jotka olisivat vaatineet kymmenien tuntien 3D-mallintamista ja laajaa erikoistehosteosaamista.

Toisaalta videomallien hyödynnettävyys on vielä varsin rajallinen lopputuloksen vaihtelevan laadun takia. Generoitujen videoiden resoluutiot ovat pääasiassa korkeintaan Full HD -tasolla, mutta yleensä matalampia, kuten 720p, mikä voi aiheuttaa osaltaan haasteita generoitujen videoiden videotuotantoon yhdistämisessä.

Suurin haaste on kuitenkin kontrolloitavuus ja luotettavuus. Mallit tekevät ainakin toistaiseksi, sitä mitä sattuu tulemaan. Toisinaan lopputulos voi olla yllättävänkin hyvä, mutta toisinaan yksinkertaisten ohjeiden noudattaminen ei mallilta onnistu. Tekemisessä on syytä varautua siihen, että lopputuloksesta tulee tyystin erilainen, kuin se, mitä lähdettiin hakemaan. Generointi vie aikaa, kun ensimmäisellä yrittämällä pääsee harvoin sopivaan lopputulokseen. Videomallien käyttö on myös suhteellisen kallista, jos videoita haluaa tehdä rajoittamattomasti. Hinta on tällöin sadasta pariin sataan euroon kuukaudessa.

Eri mallien luomissa videoissa on myös edelleen usein ongelmia fysiikkamallinnuksen kanssa. Asiat eivät videoissa käyttäydy välttämättä siten, kuin ne käyttäytyisivät oikeassa maailmassa. Hienovaraisimillaan ne ovat sen kaltaisia, että esimerkiksi vesi pärskähtelee epäuskottavasti, mutta toisinaan ihminen muuttuu toiseksi, katoaa kokonaan tai yhdestä henkilöstä voi tulla useampi.

Generatiiviset videomallit soveltuvatkin tällä hetkellä parhaiten unenomaisen sisällön tuottamiseen, animaatioihin tai tekoälyn visualisointiin. Unessa tai animaatioissa ei välttämättä haittaa, jos niissä tapahtuu jotain todellisuudesta poikkeavaa.

Yksi generatiivisten videoiden tekemiseen liittyvä kysymys on eettisyys. Ympäristövaikutuksesta ei ole saatavilla kovin avointa tietoa, mutta se on todennäköisesti videomalleilla moninkertainen suhteessa kuvamalleihin. Toinen eettinen kysymys koskettaa koulutusaineiston käyttöä. Adoben Firefly eroaa kilpailijoistaan sillä, että se ilmoittaa käyttäneensä mallinsa kouluttamiseen vain sellaisia aineistoja, joihin sillä on lupa. Kun generatiiviset mallit paranevat, nousee esille entistä enemmän myös deepfake-ulottuvuus. Generoituja videoita ei siis lain mukaankaan saa esittää totena. Toisaalta esimerkiksi fiktiivisessä kerronnassa niitä voi käyttää siinä missä perinteisempiäkin menetelmiä.