Kot przynosi martwy kursor i kładzie go przed kamerą, w prezencie dla człowieka

Dobrze czytasz, strona, z której wyskoczył, ma trzy rozdarcia od pazurów. Tak wyglądała jedna z sześciu propozycji, które agent napisał, kiedy poprosiłem żeby puścił poręcz z koncepcjami na animacje.

12 min czytania

Stawka była konkretna. W widoku hretheum.com/designer co jakiś czas startuje film: animacja, która zaczyna się od dokładnie tej strony, którą czytasz, i zamienia ją w coś innego. Każdy film powstaje z jednego prompta dla Fable 5.2, modelu, który bierze całe zadanie naraz i oddaje gotowy kod w Three.js, bibliotece do grafiki 3D w przeglądarce. Słaby prompt daje ładną zabawkę (chyba że nie), albo przegrzaną przeglądarkę.

Żeby było jasne, o co chodzi: treść strony jest prawdziwa i taka zostaje. Gdy przez chwilę nic nie ruszasz, przejmuje ją animacja, za każdym razem inna z sześciu, wybrana losowo. Strona jest więc nośnikiem, a te zbiór tych sześciu filmów jest pulą, z której dobieramy.

Czyja to gramatyka

Zaczęło się od kolekcji znalezionej w interwebsach: 63 prompty do scen w Three.js, od Gwiaździstej nocy, w którą można wlecieć, po fajerwerk oglądany od środka kolekcja petergpt na GitHubie. Repo było dla mnie tłustą inspiracją, z której chciałem wyciągnąć przed nawias uniwersalne reguły konstruowania promptów — dla animacji generowanych kodem.

Autorem kolekcji jest Peter Gostev (konto petergpt na GitHubie, konto petergostev na X). Publikuję ten tekst za zgodą autora kolekcji.

Jak to wykorzystałem? Zaczerpnąłem gramatykę, zasady — obserwacje w rodzaju: zacznij od tego, czym rzecz nie może być; nazwij jedno zdanie, wokół którego kręci się całość; zakończ listą warunków, po których uznasz pracę za skończoną. Treść źródłowych promptów nie trafiła do moich filmów, przepisałem je własnymi słowami (tak w każdym razie zapewnia mnie Claude XD).

Prompt, który nie zostawia wyboru

Najprościej pokazać tę gramatykę na jednym prompcie. Film Lód: strona zamarza od rogów, wzory szronu rozrastają się po tekście [do Eryka: sprawdź brzmienie], kamera się cofa i okazuje się, że kartka jest zatopiona w czarnym lodzie na jeziorze o świcie. Każde kliknięcie uderza w lód i puszcza pęknięcie, które śpiewa jak prawdziwe zamarznięte jezioro (zobacz film Lód).

Klatka filmu Lód: karta ze stroną internetową leży na zamarzniętym jeziorze o zmierzchu, pokryta szronem.
Klatka z filmu Lód: strona jako karta na lodzie
Zbliżenie na stronę internetową z nagłówkiem o lodzie, częściowo pokrytą dendrytami szronu.
Ta sama strona chwilę później: szron stopniowo zakrywa nagłówek i trzy pola z liczbami.

Prompt liczy prawie dwa i pół tysiąca słów, ale to nie długość ma znaczenie. Słowa nie opisują estetyki, każde zdanie przekazuje do modelu decyzje projektowe, które bez tego podjąłby sam, z definicji na bardzo przeciętnym poziomie (bo tak działają modele): od czego zacząć, czym film nie może być, co ma przetrwać, kiedy komputer użytkownika nie daje rady, po czym poznać, że robota jest skończona. Prompt, który mówi że ma być pięknie, zostawia te decyzje modelowi, dostajesz na wyjściu nieodróżnialny klon jakich wiele. Nie żeby moje filmy były kandydatem do Oscara ;]

Coś musiało pójść nie tak

Pierwsza wersja skilla zakładała, że każdy film to świat do zwiedzania. Realny prompt nie prosił o wygenerowania takiego świata: chciałem, żeby z płaskiej strony wyrastały grzyby, łączyły się grzybnią i składały w potwora (inspo: The Last of Us). W tej wersji skill nie miał na to dobrej kategorii, więc został przebudowany wokół formy: film, zabawka, symulator, przejęcie strony, pokaz w pętli. Forma decyduje o tym, jakie części prompta są obowiązkowe, zanim w ogóle padnie temat przewodni.

Kolejna wersja kosztowała najwięcej pracy. Film z tuszem, który maluje słowa w wodzie, zaprojektowaliśmy jako osobny utwór. Kiedy miał trafić do puli na stronie, okazało się, że nie pasuje do niczego: inny start, własne przyciski, pisanie z klawiatury, którego strona nie przekazuje. Potrzebny był drugi prompt, tylko naprawczy.

Dziewięć klatek animacji: rozmyta strona z kroplami atramentu zamienia się w słowo „still” i na końcu się rozpada.
Dziewięć kolejnych klatek filmu Atrament, od strony w tle z pierwszymi kroplami do słowa „still” i jego rozpadu.

Co wg Claude'a działa najlepiej

Najwięcej robią trzy rzeczy. Pierwsza: realizm fizyczny zamiast fotograficznego. Animacje są typowo generatywne, więc efekt najlepiej wychodzi w sytuacjach, gdzie zachowanie da się policzyć: światło w lodzie, kolory w błonie mydlanej, erozja kamienia. Twarze, futro i mokra tkanka z bliska wychodzą sztucznie (poczekajcie aż zobaczycie jebitne wąsy szczurów w kanale), więc w puli animacji nie ma ani jednej twarzy. Druga: warunki odbioru (DoD) zapisane jak dla audytu, z liczbami i z zasadą, że każdą wspomnianą funkcję ma być widać. Trzecia: rozmowa, w której agent proponuje paletę, krój i technikę, a ja tylko wybieram. Wizja jest moja. Wiedza o tym, jaka krzywa ruchu daje miękkie lądowanie, nie musi być (ten tekst generuje w dużym stopniu mój Klodzik, więc ja mogę się tylko zgodzić, totalnie nie umiem w krzywe ruchu).

Dwanaście klatek filmu Bańka: tęczowa błona nad miastem pęka, scena się czyści i pojawia się nowa bańka.
Dwanaście klatek filmu Bańka: kolory błony mydlanej liczone z fizyki cienkich warstw, cykl pęknięcia i nowej bańki.

Jak pracuje model, w założeniu

Prompt trafia do Fable, który pracuje sam przez długą sesję. Przebieg wygląda tak: czyta kod strony i istniejące filmy, układa plan, buduje, robi zrzuty kluczowych klatek, porównuje je z opisem, poprawia, a na końcu uruchamia testy kontraktu i zapisuje, czego nie sprawdził. Nie wiem czy to kogokolwiek zaskoczy, ale wykorzystując Extra Effort Claude potrafi generować animację przez ponad trzy godziny, a poprawki do jednej sceny, wydawałoby się drobne, morduje przez kolejną godzinę. Niech żyje ficzer resetu zużycia w Claude Desktop! ;]

Panel postępu z planem budowy filmu Ruiny: dwa kroki wykonane, trzeci w toku.
Plan pracy agenta przy filmie Ruiny, zanim powstał kod: czytanie repozytorium z poprzednimi filmami, osobna gałąź robocza, potem silnik płyty i wietrzenie.
Pierwsza klatka animacji Utajony obraz: wygląda tak samo jak strona.
Pierwsza klatka animacji.
Czarny obraz: różnica między stroną a pierwszą klatką animacji.
Różnica obu klatek (czarny obraz, bez wzmocnienia): 0 z 2 073 600 pikseli, identyczna suma MD5 surowych pikseli, potwierdzone w dwóch niezależnych nagraniach. Następna klatka dopiero się różni (0,83% pikseli, o najwyżej 3 poziomy). Jedna klatka kompozytora sama nie dowodzi, że płótno jest już narysowane; przemawia za tym kolejność zdarzeń i płynny start.
Ekran sesji agenta budującego film Bańka: lista kroków z plikami silnika, dźwięku i filmu, czas myślenia 50 minut 11 sekund i jeden krok z oznaczeniem Failed.
Fragment sesji przy filmie Bańka: pliki silnika, dźwięku i filmu, render klatek próbnych i jeden krok oznaczony „Failed”, po którym następuje poprawiony. Czas myślenia na zrzucie: 50 min 11 s.

Zobacz na żywo

Sześć filmów z puli ma stałe adresy. Każdy otwiera zwykłą stronę w widoku projektanta i po około dwóch sekundach bezczynności startuje dokładnie ten film. Wersje angielskie są pod tym samym adresem bez przedrostka /pl.

Utajony obraz (EN): strona wywołuje się jak odbitka w ciemni i wyciąga z ziarna postacie, które ruszają się tylko wtedy, gdy nie patrzysz. Pełny cykl ma około siedmiu minut i gra w pętli.

Plakat klipu Utajony obraz: ciemna postać ze świecącymi czerwonymi oczami na zaczerwienionym papierze.
Klip (około 9 s, z dźwiękiem, angielska wersja strony): kulminacja cyklu, w której strona na zaczerwienionym papierze białym błyskiem przechodzi w ciemną postać.
Plakat klipu Lód: biała strona zjeżdża w kadr nad zamarzniętym jeziorem, w lodzie rozchodzą się pęknięcia.
Klip (10 s, z dźwiękiem, angielska wersja strony): słońce odbija się w lodzie, w lodzie rozchodzą się białe pęknięcia, a kartka strony zjeżdża w kadr.
Plakat klipu Opiłki: kurz w świetle z rozmytymi plamami światła nad stroną.
Klip (około 10 s, z dźwiękiem, angielska wersja strony): dwie sceny, w pierwszej litery tytułu zamieniają się w opiłki, w drugiej kurz wisi w świetle (u dołu kadru widać biały pas arkusza).
Plakat klipu Atrament: czarna plama atramentu układa się w słowo „still” na stronie.
Klip (około 9 s, z dźwiękiem, angielska wersja strony): kropla spada na stronę, rozlewa się w plamę i składa w słowo „still”.
Plakat klipu Bańka: duża bańka nad miastem ze słońcem i wieżą.
Klip (9 s, z dźwiękiem, angielska wersja strony): po przytrzymaniu myszy bańka powstaje nad dzwonnicą, rośnie i pęka z chmurką kropel.
Plakat klipu Ruiny: zielony tekst na zarośniętej kamiennej płycie.
Klip (10 s, z dźwiękiem, angielska wersja strony): obraz jest przyspieszony czterokrotnie, dźwięk nie jest przyspieszony. Płyta pokrywa się porostem i zielenieje.

Jak to otworzyć. Wejdź do serwisu i nie ruszaj niczym przez około dwie sekundy: film wystartuje sam, jako strona, na której jesteś. Potem ruch myszy wpływa na scenę, a przytrzymanie przycisku (albo palca) jest osobnym wejściem: w Lodzie kliknięcie uderza w lód i puszcza pęknięcie, w Opiłkach przytrzymanie zmienia siłę. Dźwięk jest w całości generowany na bieżąco i włącza się dopiero po geście, na przykład po kliknięciu ikony dźwięku w pasku (po najechaniu pokazuje też jakość i tryb zdjęcia). Escape albo krzyżyk zamyka film i oddaje stronę. Opiłki wymagają WebGPU, czyli Chrome albo Edge na komputerze; pozostałe, w tym Bańka i Ruiny, potrzebują WebGL2. Gdy przeglądarka nie da rady, nic się nie dzieje i strona zostaje stroną. Jeśli wolisz zdać się na los, widok projektanta (EN) losuje jeden z sześciu. [do Eryka: opis wejść dla Atramentu i Utajonego obrazu.]

Kolejne okrążenia nie są kopiami. Filmy grają w pętli i przy każdym okrążeniu coś się w nich zmienia, więc warto zostać i szukać różnic. W Ruinach pojawia się następna płyta: ta sama strona, wyryta od nowa z innym ziarnem, z innym porostem, innymi pęknięciami, innym odłamanym rogiem, innym bluszczem i drzewami. W Utajonym obrazie każdy cykl jest planowany od nowa: od szóstego losują się trasa i soczewka, a ziarno, kontrast i ton rosną z cyklu na cykl. W Opiłkach płyta drga w trzech kolejnych wzorach, a co cykl dostaje inny zestaw z czterech. Wynika to z kodu, nie z oglądania w przeglądarce.

Co jest w puli

W puli są dziś „Utajony obraz”, w którym strona wywołuje się jak odbitka w ciemni i wyciąga z ziarna postacie, które ruszają się tylko wtedy, gdy nie patrzysz (zobacz film Utajony obraz), oraz „Opiłki” (zobacz film Opiłki). W kolejce czekają tusz, który na sekundę układa się w słowo (zobacz film Atrament), lód, bańka mydlana oglądana od środka i płyta, która w pięć minut przeżywa dziesięć tysięcy lat braku zainteresowania hiring managerów moim profilem.

Arkusz dziewięciu klatek filmu Opiłki: nagłówek strony rozpada się na ziarna, potem rozżarzone masy i powrót tła.
Opiłki: nagłówek strony rozpada się na ziarna i wraca. Podpisy klatek w arkuszu (m.in. „air”, „gravity”, „back”) to nazwy aktów filmu.
Cztery kadry: strona hretheum.com i trzy klatki filmu Opiłki, w których jej tekst składają ziarna.
Strona hretheum.com i trzy klatki filmu Opiłki, w których jej tekst jest układany z ziaren.
Klatka filmu Bańka: wieża i słońce widziane przez pastelową błonę w kolorach różu, zieleni i żółci.
Klatka z filmu Bańka: wieża i słońce pod warstwą błony.
Płyta z wytłoczonym tekstem leży na tarasie, w tle kolumny, rozrzucone bębny kolumn, drzewo i mgliste góry; na płytę padają cienie liści.
Klatka z filmu Ruiny: płyta na tarasie z kolumnadą w tle. Tekst wytłoczony w kamieniu pochodzi ze strony odniesienia z budowy filmu („Terrace Survey”), a hretheum.com tu nie występuje.
Cztery klatki starzenia kamiennej płyty: od czystego kamienia z wytłoczonym tekstem, przez porosty, po zarośnięcie trawą.
Cztery etapy wietrzenia płyty w filmie Ruiny, od czystego kamienia po porosty i trawę.
Cztery klatki płyty: czysta na tarasie, w trawie i dwa zbliżenia liter z mchem i porostami.
Ruiny: ta sama płyta czysta, w wysokiej trawie i w zbliżeniu, z mchem i porostami w literach.

Kot z martwym kursorem do puli nie wszedł. Wszedł lód, w którym zamarza strona, którą właśnie czytasz.

Szkic przygotowały agenty AI, redakcja i sprawdzenie faktów — ja. Jak powstają te teksty →

Czat odpowie na podstawie tego wpisu i mojego profilu.

Wszystkie eksperymenty