WorldPlay2, tek görselden etkileşimli dünyalar oluşturuyor
Özet haber: Açık kaynak olarak yayımlanan WorldPlay2, tek bir görsel ve kısa metin komutuyla kullanıcıların içinde dolaşabildiği, olayları değiştirebildiği etkileşimli video dünyaları üretiyor.
Dünya modelleri, yalnızca başı ve sonu belli videolar üretmek yerine kullanıcıların anlık olarak etkileşime girebildiği ortamlar oluşturmayı amaçlıyor. Bu alandaki yeni örneklerden WorldPlay2, tek bir görselden hareketle keşfedilebilir dünyalar hazırlaması, sahne tutarlılığını koruması ve kadraj dışında kalan alanları hatırlayabilmesiyle öne çıkıyor. Modeli kullanmak için bir görsel ile kısa bir metin komutu yeterli oluyor. Kullanıcılar oluşturulan ortamda WASD tuşlarıyla hareket edebiliyor, yön tuşlarıyla kamerayı çevirebiliyor ve boşluk tuşuyla zıplayabiliyor.
Bir orman yolu fotoğrafı üzerinden mavi ceketli bir yürüyüşçünün yer aldığı ve yağmurun başladığı bir sahne oluşturulabiliyor. Dünya birinci veya üçüncü şahıs bakış açısıyla incelenirken, deneyim devam ettiği sırada yeni metin komutları verilerek olaylar değiştirilebiliyor. Örneğin yağmurun sona ermesi ve bulutların arasından güneş ışığı gelmesi istenebiliyor. Sistem, her komutta ortamı baştan kurmak yerine mevcut sahneyi ve karakteri koruyarak yeni duruma uyum sağlamaya çalışıyor.
Paylaşılan teknik sonuçlara göre WorldPlay2, 8 NVIDIA H20 ekran kartı üzerinde saniyede 16 kare üretebiliyor. Tarayıcıdan erişilen Reactor sürümünde ise 4 NVIDIA B200 ekran kartıyla yaklaşık 17 karelik üretim hızı bildiriliyor. Modelin ağırlıkları ve çalıştırma kodları GitHub üzerinden yayımlandı; ayrıca Reactor’da önceden hazırlanmış görsellerden oluşturulan dünyalar tarayıcı üzerinden deneyimlenebiliyor. Bununla birlikte sistemin sıradan bir oyuncu bilgisayarında sorunsuz çalışacağı anlamına gelmiyor. WorldPlay2, 14 milyar parametreli Wan2. 2 I2V-A14B video üretim modelini kullanıyor ve bu temel modelin de indirilmesi gerekiyor.
WorldPlay2’nin uzun süre tutarlı kalması için üç teknik yaklaşım kullanılıyor. Hareket kontrolleri ile metin komutları ayrıştırılırken, geçmiş görüntüler daha az yer kaplayan hafıza belirteçlerine dönüştürülüyor. Böylece model, önceki sahnelerden yararlanmayı sürdürürken daha az veri işliyor ve kullanıcı aynı bölgeye döndüğünde çevrenin korunması hedefleniyor. Stable Forcing adlı eğitim tekniği de uzun üretimlerde kalite kaybını azaltmaya odaklanıyor. Sistem henüz geleneksel oyun motorlarının veya tam teşekküllü üç boyutlu sanal dünyaların yerini almasa da yayımlanan demolar, oyun prototipleri ve sanal deneyimler için yeni bir kullanım alanına işaret ediyor.
Kaynak: DonanımHaber
