“Bu Robotikteki Eksik Halkadır”: Mühendisler Robotlara İnsanlar Gibi “Dudak Senkronizasyonu” Yapmayı Öğretiyor

Columbia Üniversitesi Mühendislik ve Uygulamalı Bilimler Yüksekokulu'ndaki araştırmacılar, konuşma ve şarkı söyleme sırasında gerçekçi dudak hareketleri gösterebilen bir robot tasarladılar.

Geçmiş araştırmalar çoğu insanın yüz yüze konuşmalar sırasında dudak hareketlerine odaklandığını göstermiştir. Fakat, robotlar yaratmak Bu dudak hareketlerini sürekli olarak taklit edebilen bir robot, bir zorluk teşkil ediyor ve bugün piyasadaki en gelişmiş robotlar bile iletişim sırasında en iyi ihtimalle yalnızca kukla benzeri hareketler üretiyor.

Hod Lipson, James ve Makine Mühendisliği Bölümü Yenilik Profesörü Sally Scapa liderliğindeki Columbia Üniversitesi ekibi şu anda üretim yapıyor. robotlar bu sınırlamaların üstesinden gelmeyi amaçlamaktadır. Ancak bu aşamada ekibin yaratımları hala cansız, hatta rahatsız edici görünüyor çünkü yüz ifadeleri insanların beklentilerine uymuyor ve bu da "Tekinsiz Vadi" olarak bilinen bir olguyu çağrıştırıyor.

Yakın zamanda yapılan bir çalışmada ayrıntıları verilen ekibin çalışması şurada yayınlandı Bilim Robotiği, robotlarının çeşitli dillerdeki kelimeleri telaffuz etmek ve hatta yapay zeka tarafından oluşturulan ilk albümünden bir şarkıyı söylemek için yeteneklerini nasıl kullandığını ortaya koyuyor, "Selam Dünya."

“Tekinsiz Vadi”ye

Peki “Tekinsiz Vadi” tam olarak nedir? Gibi Lipson açıkladı Bilgilendirme Bir e-postada, "Bir robotun insan gibi görünmeye çalışmasını ancak önemli bir şeyi kaçırdığını izlediğinizde hissettiğiniz o tüyler ürpertici duygu."

Lipson, "Sorunun yarısının dudak hareketinden kaynaklandığını düşünüyorum, çünkü insanlar yüz yüze konuşmanın yarısında konuşmacının dudaklarına bakıyorlar" dedi. “Bugüne kadar robotların dudakları yok (çoğunun yüzü bile yok). Bizim robotumuz _EMO_ mükemmel olmaktan uzak ama sanırım tekinsiz vadiyi geçme yolunda.”

Geleneksel yaklaşımların aksine, katı programlama Columbia ekibinin robotu, önceden tanımlanmış kuralları ve önceden tanımlanmış kuralları kullanarak, insanları hareket halindeyken gözlemleyerek öğreniyor. Robot başlangıçta ayna karşısında pratik yapmak ve kendi yüzünün nasıl hareket ettiğini "öğrenmesine" yardımcı olmak için 26 yüz kasıyla deneyler yapmak üzere tasarlandı. Kendi ifadelerine alıştıktan sonra saatlerce konuşan ve şarkı söyleyen insanların videolarını izledi, dudak hareketlerinin tam zamanlaması ve koordinasyonunu öğrendi.

Lipson, "Motorları doğrudan programlamıyoruz. Bunun yerine, robotun yapay zekası zamanla insanları izleyerek ve ardından aynada kendisini izleyerek ve karşılaştırarak motorları nasıl hareket ettireceğini öğreniyor" dedi. Böyle bir eğitimin ardından robot, sesi doğrudan senkronize dudak motoru hareketine çevirme yeteneğini gösterdi.

Lipson yaptığı açıklamada, "Robotlar insanlarla etkileşime girdikçe daha iyi hale geliyor" dedi. "Bu öğrenmeye dayalı yaklaşım, tıpkı bir çocuğun yetişkinleri gözlemleyerek ve taklit ederek öğrenmesi gibi, robotun ifadelerini sürekli olarak geliştirmesine olanak tanıyor."

Lipson, "Robotun yüz motorları, robotun yüzünün altına dağılmış durumda ve bunlar, robotun, dudak hareketi, gülümseme ve diğer hareketler de dahil olmak üzere çok çeşitli yüz hareketlerini yapabilmesini sağlayacak şekilde tasarlandı" diye ekledi.

Bu tip insani dudak hareketini başarmak esnek yüz ifadesini gerektirir”deri" ve hızlı, sessiz hareket edebilen birçok küçük motor. İkincisi, dudak hareketinin karmaşık modelleri vokal sesler ve fonemler (insanların bu hareketleri düzinelerce yüz kası aracılığıyla zahmetsizce gerçekleştirmek için kullandığı bir tür koreografi) tarafından belirlenir.

Columbia robotu, yüksek oranda harekete geçirilen bir yüzü vizyondan eyleme öğrenme modeliyle birleştirerek bu engellerin üstesinden geliyor. İlk önce rastgele yüz ifadelerini keşfetti, ardından insanları izleyerek yeteneğini genişletip geliştirdi ve ses ipuçlarını hassas motor hareketlerine bağlayan bir model oluşturdu. Robotun "B" ve "W" seslerini çıkarmada yaşadığı zorlukların da gösterdiği gibi, mevcut durumunda teknolojinin hala birkaç iyileştirmeye ihtiyacı var. Bununla birlikte sistem, şu anda piyasada bulunan diğer robotların konuşma yeteneklerinin ötesine geçti.

Lipson, "Bu robot bilimindeki eksik halkadır" dedi. "İnsansı gelişimin büyük bir kısmı yürümeye veya kavramaya odaklanır, ancak yüz ifadesi (ifade) insanlarla bağlantı kurmak için gereklidir."

Columbia Üniversitesi Creative Machines Lab'den araştırmacı Yuhang Hu, "Robot insan etkileşimini ne kadar çok gözlemlerse, incelikli yüz hareketlerini o kadar iyi yakalayarak duygusal bağı derinleştiriyor" dedi.

Araştırmacılar şu anda eğlence, eğitim, tıp ve yaşlı bakımı da dahil olmak üzere çeşitli alanlarda bu tür gerçekçi robotların uygulamalarını görüyorlar. Fakat, Lipson ihtiyatlı iyimserliğini dile getirerek, teknoloji umut verici olsa da, geliştikçe yönetilmesi gereken endişelerin de bulunduğunu belirtti.

Lipson, "Bu teknoloji çok güçlü" dedi. “Riskleri en aza indirirken faydaları en üst düzeye çıkarmak için dikkatli bir şekilde ilerlemeliyiz.”

Lipson, "Ancak insan-robot bağlantısının kilidini açma potansiyeli gerçekten heyecan verici" diye ekledi.

Chrissy Newton bir halkla ilişkiler uzmanı ve VOCAB Communications'ın kurucusudur. Şu anda The Discovery Channel ve Max'te yer alıyor ve sunuculuk yapıyor Asi Meraklı podcast, üzerinde bulunabilir YouTube ve tüm sesli podcast yayın platformlarında. Onu X'te takip edin: @ChrissyNewton, Instagram'da: @BeingChrissyNewtonVe chrissynewton.com. Bir hikaye ile Chrissy ile iletişime geçmek için lütfen chrissy @ thedebrief.org adresine e-posta gönderin.