"Bir Sahneyi İstediğiniz Bakış Noktasından Keşfedin": 3D Hacimsel Videoda Çığır Açan Çığır Açan 3D Akış, Yakında Gerçek Olabilir

Brown Üniversitesi Araştırmacılar, PackUV adı verilen ve gerçekçi, depolanabilir, 3D hacimsel video her açıdan görüntülenebilen ve şu anda bilgisayardaki videoların çoğuna güç sağlayan video codec'leriyle uyumlu olan internetyayınlanabilir hale getiriyor.

Yeni hacimsel video işleme yaklaşımının arkasındaki ekip, tekniklerinin günlük cihazlarda pratik 3D video akışını mümkün kılabileceğini söyledi. akıllı telefonlar, bilgisayarlarVe akıllı televizyonlar Yeni görüntüleme teknolojilerine ihtiyaç duymadan, gerçekçi 3D videoda yeni bir çağ başlatıyor eğlence.

3D Volumetrik Video, Eşsiz Çok Yönlülük ve Zorluklar Sunuyor

Brown bilgisayar bilimi yüksek lisans öğrencisi ve çalışma lideri Aashish Rai'ye göre hacimsel video, birden fazla senkronize veri ile eylemlerin yakalanmasını içeriyor. kameralar hedef sahneyi çevreliyor. Sahne kaydedildikten sonra özel algoritmalar mekânı üç boyutlu olarak yeniden oluşturuyor. Yeni oluşturulan hacimsel videonun, kayıt alanı içindeki herhangi bir perspektiften izlenebilmesi dikkat çekicidir.

Rai, "Hacimsel videoyla, temel olarak bir sahneyi istediğiniz herhangi bir bakış açısından keşfedebilirsiniz." açıkladıüç boyutu artı bir zaman boyutunu yakalamanın aslında sonuçtaki kaydı "bir 4 boyutlu video."

Videoyu bu şekilde yakalamak, yönetmenlerin sahneleri geleneksel çekim teknikleriyle ulaşılamayan perspektiflerden göstermesine olanak tanır. Teorik olarak böyle bir video, izleyicilerin bir sahnede gezinmesine olanak tanıyan ve bir sahneyi görüntüleme gibi seçenekler de dahil olmak üzere bir kullanıcı arayüzü ile birleştirilebilir. spor sahadan oynamak veya konser sahneden.

Yine de Brown araştırmacıları, çeşitli zorlukların hacimsel 3D videonun daha geniş çapta benimsenmesini engellediğini belirtiyor. Buna, 3D hacimsel içerik akışının mevcut internet altyapısı ve protokolleriyle uyumlu hale getirilmesi için videonun yeterince sıkıştırılması da dahildir.

Rai, "Hacimsel videoyu depolamak ve yayınlamak inanılmaz derecede zor" diye açıkladı ve 30 dakikalık bir klibin terabaytlarca veriye ulaşabileceğini ve gelen formatların, internetin halihazırda üzerinde çalıştığı altyapıya, yani bilgisayarınıza, yayın hizmetinize, video kodlayıcınıza tamamen yabancı olduğunu ekledi.

3D Videonun 2D 'Yüzey' Üzerine Oluşturulması İnternet Özellikli Dosyalar Oluşturur

Teknolojinin daha geniş çapta benimsenmesini engelleyen engellerin üstesinden gelmek için Brown ekibi, şu anda kullanımda olan 3D Gaussian Splatting adı verilen 3D sahne oluşturma yöntemini kullanmaya başladı. Ekibin açıklamasına göre bu yaklaşım, Gaussian adı verilen "uzaydaki noktaların rengini, opaklığını ve şeklini kodlayan bulanık lekeler" kullanarak 3 boyutlu görüntüler oluşturuyor.

Yeni yaklaşımda ekip, 3 boyutlu bir sahneyi ve onun milyonlarca Gausslusunu daha kolay yönetilebilir bir 2 boyutlu görüntüye eşlemenin bir yolunu buldu. Rai'ye göre bu yaklaşım, bir harita yapımcısının 3 boyutlu bir küreyi düz, 2 boyutlu bir yüzeye yansıtmasına ve bunun sonucunda orijinal dinamik 3 boyutlu sahnede yer alan tüm bilgileri kodlayan "yapılandırılmış, çok ölçekli bir görüntü" oluşturmasına benzer.

Daha sonra ekibin süreci, 3D kodlu görüntülerin bir araya getirilmesini içeriyor. Sonuç, geleneksel 3D hacimsel videolardan çok daha yönetilebilir bir dosya boyutuna sahip bir videodur; ekip, bunun "Netflix, YouTube ve internetin geri kalanının çoğunu çalıştıran güçlü video codec bileşenleriyle uyumlu olduğunu" belirtiyor.

Rai, "Temel olarak bu 4D sahnenin tamamını internet üzerinden yayınlayabileceğiniz ve arkadaşlarınızla paylaşabileceğiniz normal bir videoya dönüştürüyoruz" diye açıkladı.

Sahneleri Kesintisiz 30 Dakikaya Kadar İşler

Brown ekibi, mevcut 3D hacimsel video stratejilerini rahatsız eden dosya boyutu ve akış sınırlamalarının üstesinden gelmenin yanı sıra, çalışmalarının mevcut yöntemlerin zaman içinde "çökme" eğilimini de ele aldığını ve dolayısıyla potansiyel videoların uzunluğunu sınırladığını söyledi.

Birincil zorluk, bir topun bir rakibin arkasında geçici olarak "kaybolması" gibi, kamera görüş alanı dışına çıkan nesneleri takip etmektir. Ekip, mevcut teknolojinin, bir kişinin başka bir olay dizisinin ortasında bir odaya girmesi gibi "yeni hareketleri" idare etmede de sorun yaşadığını söyledi.

Rai'ye göre yaklaşımları, daha uzun bir video dosyasını "küçük parçalara" bölerek bu sınırlamayı çözüyor. Ayrıldıktan sonra sistem, bir şeyin sahneye girip girmediğini belirlemek için her video bölümünün başlangıcını kontrol ediyor. PackUV bu kararı verdikten sonra Rai, yazılıma "buna göre modelleme" talimatı verdiğini söyledi.

Araştırma ekibi, "İzleme sürecini daha sık yeniden başlatarak, yeni tekniğin geçici olarak engellenen nesneleri daha iyi yeniden elde edebildiğini ve yeni hareketlerle uygun şekilde başa çıkabildiğini" açıkladı ve yaklaşımlarının, "diğer Gauss Splatting yaklaşımlarından çok daha uzun", uzunluğu 30 dakikaya kadar olan karmaşık 3 boyutlu hacimsel video sahnelerini sorunsuz bir şekilde kusursuz bir şekilde oluşturabildiğini ekledi.

3D Hacimsel Video Eğlenceyi, Üretimi ve "Diğer Alanları" Etkileyebilir

Yaklaşımlarını doğrulamak için Brown ekibi, potansiyel olarak "şimdiye kadar bir araya getirilmiş en büyük çoklu görüntülü video veri kümesi" olarak tanımladıkları şeyi bir araya getirdi ve bunu diğer araştırmacıların kullanımına sundu. Bu, yemek pişirme, ağaç işleri ve çeşitli sporlar da dahil olmak üzere her türlü etkinliğin videosunu içerir.

Kritik olarak, bir araya getirilen veri kümesinin tamamı 50 ila 90 senkronize kameradan oluşan dizilerle yakalandı. Rai'nin ekibi, bunların arasında, özel olarak kameralarla donatılmış laboratuvar ortamlarında kaydedilen eylemlerin yanı sıra "gerçek dünyadaki" eylemleri yakalayan mobil kamera dizilerinin de yer aldığını söyledi.

Her ne kadar bu çalışma, izleyicinin parmaklarının ucundaki yayınlanabilir, 3 boyutlu hacimsel videoya doğru sadece bir ilk adım olsa da Rai, çalışmalarının, gerçek dünyanın bir 'dijital ikizini' oluşturmanın kesintisiz yayın için kritik önem taşıdığı gelecekteki birçok potansiyel uygulamaya sahip bir teknolojinin ilerlemesine yardımcı olduğunu söyledi.

Sridhar, "Örneğin eğlence ve sporda gerçek dünya uygulamalarının yanı sıra, gerçek dünyanın dijital ikizlerini yaratmanız gereken diğer kullanım durumları da (üretim ve diğer alanlar) var" dedi. “Temel olarak bu çalışma bununla ilgili.”

Rai çalışmayı sunacak, PackUV: 4D Hacimsel Video için Paketlenmiş Gaussian UV Haritaları, en IEEE/CVF Bilgisayarla Görme ve Örüntü Tanıma Konferansı Haziran ayında.

Christopher Plain, Bilim Kurgu ve Fantazi roman yazarı ve The Debrief'te Baş Bilim Yazarıdır. Onu takip edin ve onunla bağlantı kurun X, onun kitapları hakkında bilgi edinin plainfiction.comveya doğrudan şu adrese e-posta gönderin: [email protected].