Deze regisseur kreeg toegang tot de AI waar videomakers naar smachten
Paul Trillo maakte een exclusieve videoclip in OpenAI's felbegeerde, onuitgebrachte videotool Sora en dit is hoe het ging.
Hallo vrienden. Ik schrijf maandelijks over mijn fascinatie voor kunstmatige intelligentie in de creatieve sector en de toekomst van ons werk.
Deze maand een kijkje in de keuken van een filmmaker die Sora mocht gebruiken. Drake is aangeklaagd voor het klonen van Tupac. En de Rabbit R1 AI gadget blijkt helemaal k*t te zijn. Toch jammer.
Maar eerst:
OpenAI's felbegeerde text-to-video model Sora stond aan de basis van de eerste officiële muziekvideo die volledig met AI is gemaakt: "The Hardest Part" van Washed Out.
Regisseur Paul Trillo kreeg zes weken ongelimiteerd toegang tot het model en maakte een indrukwekkende video. Ik onderzocht hoe zijn creatieve proces er uit zag.
Sora bevindt zich momenteel nog in een gesloten alfa testfase. Het model wordt gezien als het video-equivalent van text-to-image tool Midjourney. Vergeleken met concurrerende AI-modellen weet Sora veel langere en meer samenhangende video's te genereren.
700 clips voor 55 shots
Toch bleek het maken van een Sora video een arbeidsintensief proces. Paul moest bakken met clips genereren om tot een goed eindresultaat te komen. Vanuit 700 renders spotte hij 55 clips die samen de videoclip vormen, gemonteerd in Adobe Premier, met wat After Effects sprinkles on top.
Nieuw: preview je render met Miniclips
Helaas voor Paul introduceerde Sora net na afronden van zijn clip een nieuwe feature: MiniClips. Miniclips biedt regisseurs de mogelijkheid om de eerste vier frames van 8 of 32 mini-inferred clips te bekijken. Voorheen was het noodzakelijk om te wachten tot een hele clip van 20 seconden tot een minuut volledig was gerenderd. Nu kunnen regisseurs op enkele frames beoordelen of een clip de moeite waard is om verder uit te werken.
Een van de spannendste ontwikkelingen is dat Sora in de toekomst naadloos moet kunnen interpoleren tussen twee bronvideo's. Hierdoor ontstaan vloeiende overgangen tussen beelden met totaal verschillende onderwerpen en composities.
Laaaaaaange prompts om shots tot leven te wekken
Een grote uitdaging voor Paul was het schrijven van knetterlange instructies voor de tool. Aangezien alle input nog tekst gebaseerd is, moest hij lange beschrijving maken van wat hij wilde zien. Niet echt de droom van de gemiddelde regisseur die vooral visueel denkt, en zelf wil máken.
Daarom werken ze inmiddels bij OpenAI aan manieren om video’s op basis van referentiemateriaal te maken (bijvoorbeeld foto’s, of kleurpaletten, of bestaande video’s), zodat je op basis van meer dan alleen een tekstuele beschrijving video’s kunt maken.
Hoe gaan we dit gebruiken?
Adobe kondigde onlangs aan dat tools als Sora gewoon een plek krijgen in de Adobe Suite omgeving, het platform waar het leeuwendeel van montage en postproductie in plaatsvindt.
In die hybride werkvorm kan zomaar eens een monsterlijke versnelling plaatsvinden voor specifieke videocreatie. Van 15 frames extra op een clipje, tot alle B-roll in een docu, tot complete AI-films waar geen zelfgeschoten shot in zit.
Maar zoals bij alle generative AI-tools, staat of valt alles met een creatief plan en een visionaire maker, die kan prompten, bijsturen en cureren.
Vers van de pers
Het laatste AI nieuws voor creatievelingen.
Elevenlabs onthulde deze week haar eigen muziektool, waarmee je liedjes genereert op basis van een simpele tekstprompt. Dit maakt me aanzienlijk verdrietiger over de toekomst van muzikanten, dan opgewonden over de mogelijkheden.
Drake gaat echt lekker dit voorjaar. Naast de beef die hij heeft met Kendrick Lamar, dreigt nu de nalatenschap van Tupac Shakur Drake aan te klagen voor een afscheidsnummer met een door AI gegenereerde verse van Tupac.
Rabbit R1 Reviews - Herinner je je de lancering de Rabbit R1, die telefoons zou kunnen vervangen, of op zijn minst aanzienlijk verbeteren? Nou, de reviews zijn binnen en dit is wat mensen zeggen over de nieuwe technologie (hint: it’s not pretty.).
Hoe het dus NIET moet: Netflix gebruikt AI gegenereerde foto’s in een documentaire.
De eerste AI-romcom - TCL gaat all-in op AI en brengt de allereerste AI-romcom uit. En eerlijk is eerlijk: het ziet er vrij verschrikkelijk uit. Doe het dan goed, of wacht tot je de tools beheerst.
ChatGPT Prompt van de maand
Ik test wekelijks nieuwe, waardevolle use cases voor ChatGPT. Zoals deze concept review prompt, om een marketingconcept te evalueren op een specifiek model, in dit geval het tien vragen sales framework van Evaldo Albuquerque.
De prompt:
Je bent een ervaren marketing- en sales expert.
Ik deel zo een concept die je als marketing strateeg vanuit het perspectief van een kritische consument bekijkt. Analyseer mijn aanbod op basis van het ‘tien vragen’ framework van Evaldo Albuquerque en geef me relevante verbeterpunten. De vraag is of mijn concept en propositie de volgende vraag bevredigend beantwoordt. Wees kritisch in je analyse en antwoorden, en geef me tien verbeterpunten hoe ik mijn werk kan verbeteren om onderstaande vragen voor de consument te beantwoorden.
De tien vragen:
Hoe verschilt dit van al het andere dat ik heb gezien?
Wat zit er voor mij in?
Hoe weet ik dat dit echt is?
Wat houdt me tegen?
Wie / wat is de schuldige?
Waarom nu?
Waarom zou ik je vertrouwen?
Hoe werkt het?
Hoe kan ik beginnen?
Wat heb ik te verliezen?
Het concept:
[Jouw concept of aanbod hier]
Wil je meer AI?
Ga next level met je marketingteam. Ik heb al mijn kennis en ervaring gebundeld in een driedaagse AI Bootcamp training voor marketing- en communicatieteams en creatieve makers.
Kijk op www.harmteunisse.nl voor meer info, of boek hier een vrijblijvende online kennismaking en ik help je direct op weg.
Tussen nieuwsbrieven door post ik drie keer per week op LinkedIn, dus volg, like en subscribe.
Ik zie je in juni!
- Harm
