Araştırmacılar Yapay Zeka Dil Modellerinin İnsan Beyninin Konuşma Anlayışını Yansıttığını Keşfediyor

İnsanlar bir hikaye dinlediğinde beyinleri dili aynı anda işlemez. Bunun yerine anlam zaman içinde ortaya çıkar ve kelimelerin ifadeler, cümleler ve fikirler halinde birikmesiyle farklı bölgeler farklı anlarda katkıda bulunur.

Şimdi yeni bir çalışma, insan beynindeki bu zamansal koreografinin, modern yapay zekanın adım adım ilerleyen içsel yapısına çok benzediğini öne sürüyor. dil modelleri şu elektrikli aletler gibi SohbetGPT.

Araştırmada yayınlandı Doğa İletişimikatmanlı mimarinin olduğunu bildiriyor büyük dil modelleri (LLM'ler), doğal konuşmayı dinlerken insan dili alanlarındaki sinirsel aktivitenin zamanlaması ile uyumludur.

Aslında, bir yapay zeka modeli katmanı ne kadar derin olursa, aktivitesi beynin yaptığıyla o kadar geç eşleşir; bu, biyolojik dil kavrayışı ile yalnızca metin üzerinde eğitilen makine öğrenimi sistemleri arasında şaşırtıcı bir yakınlaşmaya işaret eder.

İbrani Üniversitesi'nden araştırmanın baş yazarı ve bilişsel bilim profesörü Dr. Ariel Goldstein bir basın açıklamasında "Bizi en çok şaşırtan şey, beynin zamansal anlam açılımının büyük dil modelleri içindeki dönüşüm dizisiyle ne kadar yakından eşleştiğiydi" dedi. "Bu sistemler çok farklı şekilde inşa edilmiş olsa da, her ikisi de anlamaya yönelik benzer bir adım adım oluşum üzerinde birleşiyor gibi görünüyor."

Araştırmacılar, iç aşamaların olup olmadığını incelemek için yola çıktılar. büyük dil modelleri Beynin aslında dili zaman içinde nasıl işlediğini yansıtır. Yazarlara göre yanıt evet gibi görünüyor; en azından üst düzey dilin önemli bölgelerinde.

Araştırmacılar, "LLM'lerin katman hiyerarşisinin, beyindeki dil kavramanın zamansal dinamikleriyle uyumlu olduğunu gösterdik" diye yazıyor.

Bu fikri test etmek için sinirbilimcilerden ve yapay zeka araştırmacılarından oluşan uluslararası bir ekip şunları kaydetti: beyin aktivitesi halihazırda implante edilmiş elektrotlarla klinik izleme altında olan dokuz epilepsi hastasından alınmıştır.

Deneyin bir parçası olarak, katılımcılar bir NPR podcast'inin 30 dakikalık konuşma bölümünü dinlerken araştırmacılar beynin dille ilgili bölgelerinden yüksek çözünürlüklü elektrokortikografi (ECoG) sinyalleri yakaladı.

ECoG, milisaniye seviyesinde hassasiyetle sinirsel aktiviteye nadir bir pencere sunarak bilim adamlarının farklı beyin bölgelerinin konuşulan kelimelere tam olarak ne zaman tepki verdiğini takip etmelerine olanak tanıyor. Bu zamansal ayrıntı önemlidir çünkü dilin anlaşılması statik değildir. Beyin yaklaşan kelimeleri tahmin eder, sürprizlere tepki verir ve zaman içinde anlamı bütünleştirir.

Araştırmacılar daha sonra aynı anlatı metnini yaygın olarak kullanılan iki büyük dil modeline (GPT-2 XL ve açık kaynaklı Llama 2) beslediler. Hikayedeki her kelime için, her ağ katmanından modellerin dahili "yerleştirmelerini" çıkardılar. Bu yerleştirmeler, bilgi modelin yığılmış katmanları boyunca akarken gelişen dilsel bağlamın sayısal temsilleridir.

Araştırmacılar daha sonra doğrusal kodlama modellerini kullanarak, her bir yapay zeka katmanından gelen yerleştirmelerin, bir kelimenin söylendiği zamana göre farklı zaman noktalarındaki sinirsel aktiviteyi ne kadar iyi tahmin edebildiğini sordu.

Belirli bir model katmanı, bir kelimenin ortaya çıkmasından kısa bir süre sonra beyin aktivitesiyle en iyi şekilde eşleşiyorsa, bu, o katmanın hesaplaması ile belirli bir öğrenme aşaması arasında bir benzerlik olduğunu gösterir. insan dili işleme.

Sonuçlar çarpıcı bir model ortaya çıkardı. Beynin Broca bölgesi bölgesinde, alt frontal girusun uzun süre sözdizimi ve anlamla ilişkili olan bir kısmı, yapay zeka modellerinin erken katmanları ile aynı hizadadır. beyin aktivitesi Kelime başlangıcına yakın, daha derin katmanlar ise yüzlerce milisaniye sonra meydana gelen sinirsel tepkilerle hizalanıyor. Bu ilişki, araştırmacılar yapay zeka katman derinliğini en yüksek nöral korelasyonun zamanlamasına göre çizdiğinde bile güçlü ve son derece anlamlıydı.

Başka bir deyişle, AI modellerindeki katmanların uzamsal hiyerarşisi, konuşmayı anlamak için beynin zamansal hiyerarşisine düzgün bir şekilde eşleşir.

Bu etki tek bir bölgeyle sınırlı değildi. Ekip, anterior superior temporal girus ve temporal kutup gibi diğer yüksek seviyeli dil alanlarında da benzer katman-zaman yazışmalarını gözlemledi; bu bölgeler, konuşmanın daha uzun bölümleri boyunca anlamın bütünleştirilmesiyle ilgiliydi.

Buna karşılık, erken işitsel alanlar böyle bir yapıyı çok az gösterdi veya hiç göstermedi; bu da hizalamanın yalnızca daha yüksek dilsel işlemleme seviyelerinde ortaya çıktığını öne sürüyor.

Önemli olan, bulgunun farklı modellerde geçerli olmasıdır. tarafından geliştirilen tescilli bir model olan GPT-2 XLOpenAIve açık kaynak alternatifi olan Llama 2'nin her ikisi de benzer katman-zaman ilişkileri sergiledi. Bu tutarlılık, etkinin tek bir mimarinin tuhaflıklarından ziyade derin dil modellerinin genel özelliklerini yansıttığı iddiasını güçlendiriyor.

Araştırmacılar ayrıca bu sonuçları modelleme diline yönelik daha geleneksel, sembolik yaklaşımlarla karşılaştırdılar. Psikodilbilimde uzun süredir hakim olan kategoriler olan fonemler, morfemler, sözdizimi ve anlambilime dayalı el yapımı temsiller oluşturdular.

Bu sembolik özellikler bazı şeyleri tahmin edebilirken sinirsel aktivitebüyük dil modellerinde görülen düzenli zamansal ilerlemeyi yeniden üretmekte başarısız oldular.

Karşılaştırma bilişsel bilimde daha geniş bir değişimin altını çiziyor. Dilin anlaşılmasını ayrı sembolik aşamalardan oluşan katı bir boru hattı olarak görmek yerine, bu yeni bulgular, anlamın zaman içinde gelişen sürekli, bağlama duyarlı temsillerden ortaya çıktığı bir resmi desteklemektedir. Bu aktivite, transformatör tabanlı yapay zeka modellerinde kullanılan yerleştirmelere benzer.

Araştırmacılar beynin bir transformatör ağı gibi çalıştığını ya da büyük dil modellerinin insanlar gibi düşündüğünü iddia etmiyor. Yazarlar büyük farklılıklara dikkat etmeye dikkat ediyorlar. Dil modelleri, eğitim sırasında büyük miktarda metni paralel olarak işlerken, insanlar dili somutlaşmış, sosyal ve çok modlu deneyim yoluyla öğrenir. Yine de iç dinamiklerdeki yakınlaşma önemli.

Özellikle ilgi çekici bir çıkarım şudur: büyük dil modelleri yalnızca mühendislik araçları olarak değil, bilişin bilimsel modelleri olarak da yararlı olabilir. Araştırmacılar, yapay zeka temsillerini sinirsel verilerle hizalayarak, makine öğrenimi mimarilerinin hangi yönlerinin insan düşüncesinin anlamlı özelliklerini yakaladığını ve hangilerinin yakalamadığını araştırabilir.

Daha fazla araştırmayı teşvik etmek için ekip, sinirsel ve dilsel veri setlerini halka açık bir kıyaslama olarak yayınladı. Bu, diğer araştırmacıların, aynı yüksek çözünürlüklü beyin kayıtlarına karşı alternatif dil işleme teorilerini test etmelerine, potansiyel olarak sonuçları iyileştirmelerine veya bunlara meydan okumalarına olanak tanır.

Bulgular, AI büyük dil modellerinin dili gerçekten "anlayıp anlamadığı" veya yalnızca onu taklit edip etmediği konusundaki artan tartışmanın ortasında geldi. Bu çalışma bunu çözmese de felsefi soruönemli bir ampirik katman ekler. En azından zamanlama açısından beyin ve modern dil modelleri benzer bir oyun oynuyor gibi görünüyor.

Sonuçta yapay zeka sistemleri daha yetenekli hale gelmeye devam ettikçe, bunun gibi çalışmalar yapay ve biyolojik zeka arasındaki sınırın bir zamanlar düşünüldüğünden daha dar ve daha bilgilendirici olabileceğini öne sürüyor.

Araştırmacılar şu sonuca varıyor: "LLM'ler geleneksel dilsel temsillere yaklaşma yeteneğini gösterdi, bu da derin öğrenme yaklaşımlarını geleneksel psikodilbilimsel çerçevelerle uzlaştırma fırsatı sunuyor." "Yorumlanabilirlik çabalarıyla bu yaklaşımlar arasında köprü kurmak, insanın bilişsel süreçlerine ve dilsel temsillerin doğasına dair daha derin anlayışlar sunabilir."

Tim McMillan emekli bir kolluk kuvveti yöneticisi, araştırmacı muhabir ve The Debrief'in kurucu ortağıdır. Yazıları genellikle savunma, ulusal güvenlik, İstihbarat Topluluğu ve psikoloji ile ilgili konulara odaklanmaktadır. Tim'i Twitter'da takip edebilirsiniz: @LtTimMcMillan. Tim'e e-posta yoluyla ulaşılabilir: [email protected] veya şifreli e-posta yoluyla: [email protected]