Ses GPT'siyle sohbet edilsin mi? SmartDj, Kullanıcıların Sürükleyici Ses Ortamlarını Günlük Dildeki Basit Sesli Komutlarla Kişiselleştirmesine Olanak Sağlıyor

Pensilvanya Üniversitesi mühendisleri bir geliştirdi Yapay zeka destekli Kullanıcıların kendi seslerini kişiselleştirmelerine olanak tanıyan SmartDj adlı ses düzenleyici sürükleyici Basit, günlük dille ses ortamı sesli komutlarYapay zeka görüntü oluşturucularının çalışma şekline benzer.

' arkasındaki araştırma ekibiGPT'yle sohbet et ses için', kullanıcıların, o ortamda bulunan her sesi belirtmek yerine, "bu sesi yoğun bir ofis gibi yapmak" gibi günlük dil komutlarını kullanarak ses deneyimlerini özelleştirmelerine izin vermenin, bu alanda potansiyel uygulamalara sahip olabileceğini söyledi. sanal gerçeklik (VR) ve artırılmış gerçeklik (AR), sürükleyici oyunve genel ses tasarımı.

Bilgisayar ve Bilişim Bilimleri (CIS) Yardımcı Doçenti ve çalışmanın kıdemli yazarı Mingmin Zhao, "SmartDJ ile kullanıcılar istedikleri sonucu doğal dilde tanımlayabiliyor ve sistem bunun nasıl gerçekleşeceğini buluyor" dedi. "Yapay zekanın, insanların sesi basit bir dil kullanarak sezgisel yollarla düzenlemesine yardımcı olabileceğini gösteriyoruz."

Yapay Zeka Destekli Ses Düzenleyici 'SmartDj' Nasıl Sürükleyici Ses Ortamları Oluşturur?

Bir göre ifade Türünün ilk yapay zeka destekli ses düzenleyicisini duyuran SMartDj, önceki nesil yapay zeka ses düzenleme araçlarının karşılaştığı iki temel sınırlamayı ele almak üzere tasarlandı. İlk olarak, ilk sistemlerin çoğu yalnızca katı, şablon benzeri komutlarla çalışıyordu.

Ekip, bu sınırlamanın, kullanıcıların genel bir komut vermek yerine, eklenecek veya kaldırılacak bireysel sesleri tanımlamasını gerektirdiğini söyledi. "Yoğun ofis örneğinde" bu, bilgisayar klavyelerinin tıkırdaması, sohbet eden insanlar ve telefonların çalması gibi çeşitli arka plan öğelerinin eklenmesini veya çıkarılmasını gerektirecektir.

İlk yapay zeka destekli ses editörlerini sınırlayan ikinci husus, bunların genellikle tek kanallı 'mono' ses üzerinde çalışmalarıydı. Penn ekibi, daha karmaşık, çok kanallı ortamlarda çalışamamanın, genellikle sürükleyici bir ses deneyimi için gerekli görülen "uzaysal ipuçlarının" kaybına yol açtığını söyledi.

Buna karşılık ekip, sistemlerinin "üst düzey talimatları yorumlayabildiğini ve stereo ses için tasarlandığını, bu sayede sahnenin mekansal yapısını daha iyi koruyan veya yeniden şekillendiren düzenlemeler yapmasına olanak sağladığını" söyledi.

Araştırmacılar, diğer sistemlere göre ilerlemeleri vurgularken, SmartDj'in 'yorumlanabilir' olduğunu da belirtti; bu, insan kullanıcının, yapay zekanın kendi özelleştirilmiş ses ortamını oluşturmak için attığı her adımı görmesine olanak tanıdığı anlamına geliyor. Böylece kullanıcı, istenen "meşgul ofis"i oluştururken SmartDj'in, nispeten düşük 3 desibel (dB) seviyesinde çalan bir telefonun sesini ekleyerek isteği yerine getirdiğini görebilir. Bu bireysel ses istenmiyorsa veya değiştirilmesi gerekiyorsa kullanıcılar, yapay zeka tarafından oluşturulan ses tasarımının diğer bölümlerini etkilemeden bu değişiklikleri yapabilir.

İki Yapay Zeka Modelini Birleştirmek Kullanıcıların Gündelik Dili Kullanmasını Sağlıyor

Elektrik ve Sistem Mühendisliği (ESE) alanında doktora öğrencisi olan ve geliştirme ve testlerini ayrıntılarıyla anlatan çalışmanın ilk yazarı Zitong Lan, SmartDj'nin arkasındaki gizli formülü tartışırken, kullanıcıların isteklerini anlamanın ve ses üretmenin genellikle tamamen farklı türden yapay zeka sistemleri tarafından ele alındığını belirtti. Örneğin mühendisler metni işlemek için ChatGPT ve Siri gibi dil modellerini kullanır. Ancak yapay zeka tasarımcıları sesleri düzenlemek için genellikle "yayılma modelleri" kullanır.

Lan'a göre fark, her yapay zeka sisteminin hangi görevleri gerçekleştirmek üzere eğitildiğine bağlı. Sohbet robotlarında kullanılanlar gibi yapay zeka destekli dil modelleri, insanların yazmak ve konuşmak için kullandığı kalıplar üzerinde eğitilerek en alakalı yanıtları oluşturmalarına olanak tanıyor. Bunun tersine, dağıtım modelleri, dağınık gürültü sinyallerini alıp bunları tutarlı bir ses 'sinyaline' dönüştürmek üzere tasarlanmıştır.

SmartDj için Penn ekibi, iki yapay zeka sistemi arasındaki boşluğu doldurabilecek bir ses dili modeli veya 'ALM' adını verdikleri şeyi yarattı. Bu, ilgili kullanıcı istemiyle orijinal sesi analiz etmesini sağlayarak ALM'nin hem ses hem de metin konusunda eğitilmesini içeriyordu. Ekip, bu eğitimin, modelin istemi "ses eklemek, kaldırmak veya yeniden konumlandırmak gibi" daha küçük düzenleme eylemleri dizisine ayırmasına olanak tanıdığını söyledi.

Daha sonra, yayılma modeli sırayla daha küçük bireysel adımları gerçekleştirerek, yöneten SmartDj yapay zekasının dili ve sesi aynı anda yorumlamasına olanak tanır. Penn ekibi, bu birleşik yeteneğin, ALM sistemlerinin ses ortamının nasıl değişmesi gerektiğine karar veren ses üreticisi olarak çalışmasına olanak sağladığını, difüzyon modelinin ise stüdyo müzisyeni rolünü üstlenerek bu sözlü talimatları tutarlı sese dönüştürdüğünü söyledi.

BDT'de doktora öğrencisi ve çalışmanın diğer ortak yazarı Yiduo Hao, "Dil modeli sisteme yön verir ve (ve) yayılma modeli bu talimatları yerine getirir" dedi.

Eğitim ve Test SmartDJ Verimi “MÖnceki Modellere Göre Daha Gerçekçi Sonuçlar

Ekibin işlevsel bir tasarımı olmasına rağmen yapay zeka, eğitim için büyük veri kümeleri gerektiriyor. Ancak ekip, üst düzey sözlü/metinli talimatları, istekleri yerine getirmek için gereken düzenleme eylem adımlarını ve değişikliklerden önceki ve sonraki sesleri bir araya getiren örnekler bulmanın alışılmadık derecede zorlayıcı olduğunu belirtiyor.

Lan, "Bu problem çok alışılmadık türden bir veri setine ihtiyaç duyuyordu" diye açıkladı. "Hedefi, adımları ve sonucu aynı anda yakalaması gerekiyordu."

Kapsamlı bir aramanın ardından ekip, ihtiyaç duydukları veri setinin mevcut olmadığını fark etti. Yani, tahliyelerine göre “kendileri inşa ettiler.”

İlk olarak halka açık ses kütüphanelerine eriştiler. Daha sonra, yapay zeka destekli ses sinyali işlemenin karşılık gelen düzenlenmiş çıktıları üretmesi nedeniyle "üst düzey düzenleme istemleri ve bunları gerçekleştirmek için gereken ara adımları oluşturmak" için LLM kullanan bir boru hattı oluşturdular.

Hao, "Bunun işe yaraması için modele yalnızca girdi ve çıktıyı gösteremedik" diye açıkladı. “(Sistemimizi) aradaki mantık zincirini göstermemiz gerekiyordu.”

Son iyileştirmelerin ardından ekip, SmartDj'yi daha önceki ses düzenleme sistemleriyle karşılaştırarak test etti. Penn ekibinin açıklamasına göre bu karşılaştırma, SmartDj'in, kullanıcının sağladığı basit dil istemlerinden "daha gerçekçi, daha uyumlu sonuçlar" ürettiğini ortaya çıkardı.

"Hem niceliksel değerlendirmelerde hem de insan çalışmalarında SmartDJ, ses kalitesi, sonuçların kullanıcının talimatlarıyla ne kadar iyi eşleştiği ve sesleri uzaya ne kadar gerçekçi yerleştirdiği gibi ölçümlerde önceki yöntemlerden daha iyi performans gösterdi" diye açıkladılar.

“Daha Fazla İnsanın Fikirlerini Hayata Geçirmesini Kolaylaştırıyoruz”

Her ne kadar SmartDj şu anda bir laboratuvar ortamıyla sınırlı olsa da, yaratılışının arkasındaki araştırmacılar, yüksek lisans eğitimlerini yönlendirdiğimiz gibi bir ses tasarımını yapay zekayı yönlendirebilmenin VR, AR, oyun, ses tasarımı, sanal konferans ve diğer etkileşimli medya platformlarında potansiyel uygulamalara sahip olduğunu söyledi; "kullanıcılar, her bir değişikliği manuel olarak belirtmeden bir ses ortamını yeniden şekillendirmek isteyebilir."

Ekibinin motivasyonunu tartışırken Zhao, nihai hedefin ses düzenlemeyi daha erişilebilir hale getirmek olduğunu, böylece "yaratıcı vizyona sahip" herkesin karmaşık düzenleme becerileri veya araçları olmadan kendi özelleştirilmiş ses ortamını tasarlayabilmesini sağlamak olduğunu söyledi.

Araştırmacı, "Metin ve görseller gibi diğer medyalar için, kullanıcılar üst düzey düzenleme isteklerinde bulunmak için zaten yapay zekayı kullanabiliyor" diye açıkladı. "SmartDJ, ses için benzer olanakların kilidini açarak daha fazla insanın fikirlerini hayata geçirmesini kolaylaştırıyor."

Çalışma “SmartDJ: Ses Dili Modeli ile Bildirime Dayalı Ses Düzenleme” 2026'da sunuldu Uluslararası Öğrenme Temsilleri Konferansı (ICLR).

Christopher Plain, Bilim Kurgu ve Fantazi roman yazarı ve The Debrief'te Baş Bilim Yazarıdır. Onu takip edin ve onunla bağlantı kurun X, onun kitapları hakkında bilgi edinin plainfiction.comveya doğrudan şu adrese e-posta gönderin: [email protected].