Generatiiviset videotyökalut loppuvuodesta 2024
Vuoden 2024 aikana generatiivinen video on kehittynyt huimaa vauhtia. Suurelle yleisölle generatiivinen video tuli näkyväksi OpenAI:n esitellessä alkuvuodesta Sora-mallinsa. Nyt kun Sora on vihdoin julkaistu suurelle yleisölle (HUOM. tätä kirjoitettaessa loppuvuodesta 2024 ei vielä Suomessa!) on oikea aika päivittää myös generatiivista videota käsittelevää artikkelia.
Sora vaikuttaisi tuovan luovan tekemisen kentälle useita kaivattuja ominaisuuksia. Sen fysiikkamallinnus vaikuttaisi kohtuullisen hyvältä ja käyttöliittymässä on useita videotuotantoa helpottavia ominaisuuksia. Emme kuitenkaan voi vielä sanoa Sorasta sen enempää, sillä emme ole päässees sitä kokeilemaan. Soran lisäksi on kuitenkin olemassa myös muita generatiivisia videotyökaluja. Niitä on ollut olemassa jo aikaisemmin, mutta vuoden 2024 aikana ne ovat kehittyneet huomattavasti.
Yksi käytetyimmistä työkaluista on RunwayML, joka pystyy tekemään paikoitellen hyvin laadukasta videojälkeä. Runway tarjoaa monia generatiivisia työkaluja, joilla voi esimerkiksi poistaa taustan tai hidastaa videota, mutta Runway generoi hyvin myös videoita. Niitä pystyy tekemään tekstikehotteesta, kuvan perusteella tai videosta videoksi, jolloin Runway vaihtaa videon tyyliä. Mielenkiintoinen ominaisuus on Act-One, jonka avulla esimerkiksi piirroshahmot saadaan puhumaan hyvin uskottavasti.
Alla olevalla videolla on käytetty kuvasta videoksi -tyyliä:
Lumalabsin Dream Machine on varteenotettava työkalu, jota pääsee kokeilemaan maksutta. Siinä on monia hyödyllisiä ominaisuuksia, kuten alku- ja loppuruudun asettaminen. Yksi Dream Machinen käytännöllisistä ominaisuuksista on mahdollisuus tehdä videolooppeja.
Alla on Dream Machinella kuvasta videoksi tehty esimerkki piirroskarhusta:
Kling AI toimii muiden videomallien tavoin kuvasta videoksi tai tekstistä videoksi. Klingiä pystyy kokeilemaan maksutta, mutta kaikki ominaisuudet eivät ole käytettävissä ilmaisversiolla. Alla näyte Klingin kyvystä tuottaa video kuvan perusteella :
Myös HailuoAI MiniMax tekee videoita kuvista tai tekstistä videoiksi. Malli tuottaa hyvin samankaltaista tulosta kuin muutkin vastaavat mallit. Tässä esimerkissä on tuotettu video karhusta käyttämällä vain tekstipohjaista kehotetta:
Kaikki neljä tässä esiteltyä videoita generoivaa työkalua tuottavat kohtuullisen tasavertaista jälkeä. Erot tulevat esille erilaisten aiheiden yhteydessä. Yksi malli saattaa tuottaa paremmin piirrosmaista tai maalusmaista jälkeä, toinen malli onnistuu tekemään aidomman oloista liikettä ja kolmas tuottaa hienoimmat kamera-ajot. On vaikea sanoa, mikä malli sopii mihinkin käyttötarkoitukseen, sillä erot voivat tulla esille hyvin erilaisissa tilanteissa. Hyvä lähtökohta on aloittaa yhdestä mallista ja vaihtaa toiseen, jos lopputulos ei ole sitä, mitä haet, tai työkalu esimerkiksi toimii hitaasti.
Adoben editointiohjelma Premiere Pro on myös saamassa generatiivisia ominaisuuksia. Ne tulevat mahdollistamaan esimerkiksi videoiden pidentämisen. Tämä on tärkeä ominaisuus, jos editoitava otos on hieman liian lyhyt onnistunutta leikkausta varten. Ominaisuudet ovat jo testattavissa Premieren beta-versiossa. Myös Adoben selainpohjainen videogeneraattori Firefly on nyt beta-vaiheessa, joskin sitä käyttääkseen tulee tällä hetkellä hakea erikseen Adoben beta-ohjelmaan.
Generatiivisten videotyökalujen hyödyntäminen luovassa työssä
Ovatko tekoälytyökalut jo sillä tasolla, että niitä voi käyttää todelliseen videotyöskentelyyn? Mahdollisesti. Generatiiviset videomallit tuottavat joissain tapauksissa hyvin vaivattomasti sellaisia lopputuloksia, jotka olisivat vaatineet kymmenien tuntien 3D-mallintamista ja laajaa erikoistehosteosaamista.
Toisaalta videomallien hyödynnettävyys on vielä varsin rajallinen lopputuloksen vaihtelevan laadun takia. Generoitujen videoiden resoluutiot ovat pääasiassa korkeintaan Full HD -tasolla, mutta yleensä matalampia, kuten 720p, mikä voi aiheuttaa osaltaan haasteita generoitujen videoiden videotuotantoon yhdistämisessä.
Suurin haaste on kuitenkin kontrolloitavuus ja luotettavuus. Mallit tekevät ainakin toistaiseksi, sitä mitä sattuu tulemaan. Toisinaan lopputulos voi olla yllättävänkin hyvä, mutta toisinaan yksinkertaisten ohjeiden noudattaminen ei mallilta onnistu. Tekemisessä on syytä varautua siihen, että lopputuloksesta tulee tyystin erilainen, kuin se, mitä lähdettiin hakemaan. Generointi vie aikaa, kun ensimmäisellä yrittämällä pääsee harvoin sopivaan lopputulokseen. Videomallien käyttö on myös suhteellisen kallista, jos videoita haluaa tehdä rajoittamattomasti. Hinta on tällöin sadasta pariin sataan euroon kuukaudessa.
Eri mallien luomissa videoissa on myös edelleen usein ongelmia fysiikkamallinnuksen kanssa. Asiat eivät videoissa käyttäydy välttämättä siten, kuin ne käyttäytyisivät oikeassa maailmassa. Hienovaraisimillaan ne ovat sen kaltaisia, että esimerkiksi vesi pärskähtelee epäuskottavasti, mutta toisinaan ihminen muuttuu toiseksi, katoaa kokonaan tai yhdestä henkilöstä voi tulla useampi.
Generatiiviset videomallit soveltuvatkin tällä hetkellä parhaiten unenomaisen sisällön tuottamiseen, animaatioihin tai tekoälyn visualisointiin. Unessa tai animaatioissa ei välttämättä haittaa, jos niissä tapahtuu jotain todellisuudesta poikkeavaa.
