Videodan 3D Karaktere Hareket Aktarımı: Karaca, Geyik ve T-rex Vakası

Videodan 3D karaktere hareket nasıl aktarılır?

Videodan 3D karaktere hareket aktarımı sekiz adımda yapılır: iskeletli model hazırlanır, kaynak video üretilir, rig videoya eşlenir, noktalar ve bacaklar izlenir, çözücü pozu bulur, poz anahtar kareye yazılır, zemin kontrol edilir ve sonuç ölçülür. Aşağıdaki adımlar, karaca hattının betiklerinden alınmıştır.

1. İskeletli model: Tripo ile üretilen karaca modeli ve 23 kemikli otomatik iskelet kullanıldı (11.810 köşe, 14.999 yüz). Otomatik ağırlıklar köşelerin 8.741’ini, yani yaklaşık dörtte üçünü kök kemiğe vermişti; kök kemik deforme etmemelidir. İskelet mesh’e en iyi oturan açıya (0, 90, 180 ya da 270 derece) döndürüldü, ağırlıklar Blender’ın otomatik ağırlık (bone heat) yöntemiyle bir voxel remesh vekil üzerinde yeniden hesaplanıp asıl mesh’e aktarıldı ve bir köşeye, en yakın kemikten 10 cm’den fazla uzaktaki kemiklerin ağırlığı verilmedi. Sonuçta kök kemiğin baskın olduğu köşe sayısı 0’dır.
2. Kaynak video: Her hareket için yandan, düz gri fonda, ilk karesi rig’in kendi render’ı olan bir klip üretildi: Seedance 2.0 Mini ile yedi klip, her biri 1280×720, 24 fps, 121 kare (5,04 saniye). İstem, tam yan görünüş, kesme ve yakınlaştırma olmaması, tam dört bacak, iki kulak ve iki boynuz şartını yazar.
3. 0. karede eşleme: İlk kare rig’in render’ı olduğu için rig köşelerinin piksel konumu kesin bilinir; görünür köşeler z-tamponuyla seçilir.
4. CoTracker3 ile nokta takibi: Seçilen 900 köşe, bacağa bağlı köşeler dört kat ağırlıkla örneklenerek, CoTracker3’ün çevrimdışı sürümüyle ileri ve geri izlenir.
5. SAM 2 ile bacak maskeleri: 0. karede rig’den kesin bilinen dört bacak maskesi (ön yakın, ön uzak, arka yakın, arka uzak) SAM 2’ye verilir ve video boyunca yayılır. Bacak maskesi kullanılınca bacak nokta izlerinin ağırlığı 3’ten 0,3’e düşürülür; ince bacakta nokta izi güvenilmezdir.
6. Çözücü (render–karşılaştır): Her karede iskelet pozlanır, ortografik yan kamerayla yumuşak bir siluet çizilir ve video maskesiyle karşılaştırılır. Nokta izi, siluet ve bacak maskesi kayıpları birlikte azaltılır; yan çekim derinliği çözemediği için düzlem dışı dönmeler cezalandırılır, 75 dereceyi aşan eklem açısına yumuşak sınır konur, kareler arası düzgünlük zorlanır ve 0. kare rig’in dinlenme pozuna kilitlenir. Eniyileme varsayılan olarak 2.500 yinelemedir.
7. Anahtar kareye yazma: Bulunan poz, kemik başına dönme anahtar karesi olarak Blender’a yazılır; kök hareketi Root kemiğine verilir. Altı hareket, tek iskelette altı ayrı action olarak toplanıp GLB ve Blender dosyası olarak dışa aktarılır.
8. Kontrol: Silüet örtüşmesi (IoU), kırmızı ve mavi farkı gösteren karşılaştırma videosu, kare başına en alçak köşenin yüksekliğinin ölçümü ve kare kare gözle inceleme.

Genel yöntem ve hangi işlerde kullanıldığı Blender 3D animasyon teknikleri sayfasındadır; bu sayfa o yöntemin adımlarını, ölçümlerini ve hata kayıtlarını verir. Takip için kullanılan CoTracker3 bir nokta izleme modelidir; SAM 2 ise görüntü ve videoda nesne bölütleyen modeldir.

Videodaki canlının uzuvları 3D iskeletle nasıl eşleştirilir?

Eşleştirme, rig’in her kemik grubunu videoda izlenecek bir bölgeye bağlar: karaca rig’inde dört bacak grubu dört ayrı SAM 2 maskesine, omurga ve baş zinciri nokta izine ve siluete bağlanır.

Bacak köşe sayıları, yerden 0,30 m’nin altındaki köşelerin baskın kemiğine göre sayılmıştır. Geyik ve inekte aynı eşleştirme, bacakların renkle işaretlendiği bir referans videoyla yapıldı: sağ ön bacak kırmızı, sol ön mavi, sağ arka sarı, sol arka yeşil, yüz eflatun, üst boyun turkuaz.

Aktarımın doğruluğu nasıl ölçülür?

Aktarımın doğruluğu, videodaki canlının silüeti ile iskeletin silüetinin her karedeki örtüşmesiyle (IoU, kesişimin birleşime oranı; 1,0 tam örtüşmedir) ve eklem açılarının kareler arası değişimiyle ölçülür.

Bu değerler, altı hareketin poz dosyalarındaki kare başına IoU kayıtlarından hesaplandı. En düşük örtüşme dörtnala klibinde (0,767) ölçüldü.

Geyik yürüyüş döngüsünde (36 kare, 24 fps, ileri hız 0,77 m/sn) bacak eklem açılarının kareler arası değişimi şöyle ölçüldü:

Her bacağın üç eklem açısı arasından en büyük değer alınmıştır; ön bacakların alt eklemi en çok hareket eden eklemdir. Silüet örtüşmesi tek başına temas hatasını yakalamaz; bu yüzden zemin ve ayak kayması ayrıca ölçülür.

Hareket aktarımında temas ve zemin hataları nasıl düzeltilir?

Temas hataları, hayvanın havada kalması, ayağın yerde kayması ve bacağın ters bükülmesidir; her biri iskelet kurulumundaki bir nedene dayanır ve çözüm betiğe kural olarak eklenir.

T-rex’in düzeltme öncesi ve sonrası yürüyüşü yan yana kare karşılaştırmasıyla kontrol edildi: eski sürümde gövde zeminden yukarıdaydı, yeni sürümde gövde alçak, diz bükük ve ayaklar dönüşümlü kalkıyor. Sitedeki yürüyüş videosu düzeltilmiş sürümdür.

Geyik, karaca ve T-rex vakalarında yöntem nasıl değişti?

Üç vakada da hareket bir videodan ölçüldü ve gerçek bir iskelete aktarıldı; değişen, hareket videosunun kaynağı, takip yöntemi ve çözücüdür.

Sitedeki karaca videosu dört panellidir: Seedance kaynak videosu, kırmızı ve mavi farkı gösteren karşılaştırma, rig’in yan görünüşü ve 3/4 görünüşü. Altı hareket sırayla 5 saniyelik bölümlerle gelir. Geyik videosunda hareketin renkli referans videosu küçük pencerede görünür.

Videodan hareket aktarımı hareket yakalamadan (mocap) nasıl ayrılır?

Hareket yakalama, canlıya takılan işaretçilerle ya da özel kameralarla hareketi doğrudan kaydeder; videodan hareket aktarımı ise hiçbir ekipman olmadan, mevcut bir videodaki canlıyı yazılımla izleyip ölçer.

Bu işte hareketin kaynağı çoğu zaman yapay zekâ ile üretilmiş bir videodur; karaca ve geyik hareketleri böyle üretilen kliplerden ölçüldü. Sonuç, yapay zekâ videosunun bozulmalarına bağlı kalmayan, iskelete bağlı bir animasyondur: karakter her karede aynı model olduğu için bacak sayısı ya da boynuz deseni değişmez, kamera sonradan değiştirilebilir. Yapay zekâ videosu ile gerçek 3D’nin ayrımı için 2D ve 3D animasyon arasındaki fark sayfasına bakın.

Videodan hareket aktarımının sınırları nelerdir?

Videodan hareket aktarımının başlıca sınırı, kaynak videonun kalitesi ve tek yan kameranın derinliği çözememesidir.

• Derinlik: Tek yan kamera, başın kameraya doğru mu uzağa mı döndüğünü ayırt edemez; bu yüzden baş yönü ayrı ölçülür ve gerekirse ipucu verilir.
• Bozuk kaynak kare: Kaynak videoda fazladan bacak ya da bozulan uzuv takibi bozar. İstem tam dört bacak ister ve klipler kare kare kontrol edilir.
• İnce uzuvlar: Nokta izleyici ince bacağı kaybedebilir; bacak maskesi bu yüzden esas alınır.
• Hızlı hareket: Dörtnalada silüet örtüşmesi en düşük değerine (0,767) iner.
• İki ayaklılar: Kalça izi uyluğa yapışabildiği için gövde yüksekliği ayak temasından hesaplanır.

Bu kayıtlar, hangi hareketin ne kadar güvenle üretilebileceğini önceden söylememizi sağlar. Karakterin sahneler arasında aynı kalması için yapay zekâ karakter tutarlılığı, çizgi film üretimi için yapay zekâ ile çizgi film yapımı sayfasına bakın.

Videodan hareket aktarımı ne kadar tutar?

Hazır modelle ve tek sahnede 30 saniyeye kadar Blender animasyonu 1.800 TL, 1 dakika 3.500 TL, 2 dakika 7.000 TL’dir; özel model ve rig gerektiren işlerde kapsam teklifle netleşir.

Kaç hareket, kaç kamera açısı ve hangi çıktı (video, rigli GLB ya da FBX) istendiği brifte yazılır; onayınız olmadan kalem eklenmez. Tüm kalemler fiyat listesinde, genel animasyon çerçevesi yapay zekâ animasyon sayfasındadır. Üç boyutlu animasyon hizmetinin tamamı için 3D animasyon sayfasına bakın.

Fiyatlar

Tüm kalemler ve hesaplayıcı: fiyat listesi.

Sık sorulan sorular