Yapay Zeka, Ortalama İnsan Yaratıcılığıyla Eşleşebilir; Ancak Yeni Araştırmaya Göre En Önemli Noktada Hala Öndeyiz

Gelişmeler yapay zeka makinelerin insan yaratıcılığına yetişmenin, hatta onu aşmanın eşiğinde olduğuna dair artan inancı körükledi. Büyük dil modelleri artık saniyeler içinde şiir yazabiliyor, kısa öyküler yazabiliyor ve akıllıca kelime oyunları üretebiliyor. Çoğu kişiye göre bu çıktılar, insanın hayal gücü ile makine tarafından üretilen dil arasındaki çizgiyi bulanıklaştıracak kadar yaratıcı görünüyor.

Bununla birlikte, yeni ve geniş ölçekli deneysel bir çalışma, günümüzün en gelişmiş yapay zeka sistemlerinin belirli konularda ortalama insana rakip olabileceğini öne sürüyor. yaratıcılık önlemlere rağmen hala en yaratıcı beyinlerin gerisinde kalıyorlar ve bu fark hala önemli.

Araştırmada yayınlandı Bilimsel Raporlarinsan yaratıcılığı ile büyük dil modelleri (LLM'ler) arasında şimdiye kadarki en kapsamlı başa baş karşılaştırmalardan birini sunuyor.

Çoklu kıyaslama yaparak Yapay zeka sistemleri 100.000 insan katılımcıdan oluşan bir veri kümesini karşılaştıran çalışma, spekülasyonun yerine niceliksel kanıtlar koyarak konuşmayı anekdotların ve viral örneklerin ötesine taşıyor.

Montreal Üniversitesi'nden ortak yazar ve Profesör Dr. Karim Jerbi, "Çalışmamız, büyük dil modellerine dayanan bazı yapay zeka sistemlerinin artık iyi tanımlanmış görevlerde ortalama insan yaratıcılığından daha iyi performans gösterebileceğini gösteriyor" dedi. basın bülteni. "Bu sonuç şaşırtıcı, hatta rahatsız edici olabilir ama çalışmamız aynı derecede önemli bir gözlemi de vurguluyor: En iyi yapay zeka sistemleri bile hâlâ en yaratıcı insanların ulaştığı seviyelerin gerisinde kalıyor."

Yaratıcılığı öznellik olmadan ölçmek

Ders çalışmadaki en büyük zorluklardan biri yaratıcılık ölçümdür. Geleneksel yaratıcılık testleri genellikle subjektif derecelendirmelere veya uzman yargısına dayanır ve bu da insanlarla makineler arasında karşılaştırma yapmayı zorlaştırır.

Bu sorunu çözmek için araştırmacılar, hem insanlara hem de yapay zekaya tutarlı bir şekilde uygulanabilen hesaplama araçlarını kullanarak farklı düşünmeye (birbirinden anlamlı derecede farklı fikirler üretme becerisine) odaklandılar.

Araştırmacılar, yaratıcılık araştırmalarında köklü bir test olan Iraksak İlişkilendirme Görevi'ne (DAT) odaklandılar. Katılımcılardan anlam bakımından mümkün olduğu kadar farklı kelimelerden oluşan bir liste oluşturmaları istenir.

Daha sonra yaratıcılık puanı anlamsal mesafe kullanılarak hesaplanır: yüksek boyutlu bir dil alanında kelimelerin birbirinden ne kadar uzakta olduğu. Daha büyük mesafeler, daha çeşitli çağrışımları ve dolayısıyla daha yüksek farklı yaratıcılığı gösterir.

Araştırmacılar, "Bu farklılığa dayalı ölçümler, çağrışımsal düşünceyi (anlamsal alanda uzak kavramlara erişme ve bunları birleştirme yeteneği) yaratıcı bilişin yerleşik bir yönünü indeksliyor" diye açıklıyor.

DAT, insan yargısından ziyade nesnel matematiksel puanlamaya dayandığından, insan ve makine yaratıcılığını eşit düzeyde karşılaştırmak için nadir bir fırsat sunar.

Yapay zekanın ortalama insanı yendiği yer

Araştırmacılar aynı puanlama yöntemlerini kullanarak çok çeşitli dil modellerini test ettiler: GPT-4GPT-4-Turbo, Gemini Pro, Claude ve çeşitli açık kaynaklı sistemler. Sonuçlar ilgi çekiciydi.

Ortalama olarak bazı modeller (en önemlisi GPT-4) insan nüfusunun ortalama DAT puanıyla eşleşti, hatta onu aştı. Gemini Pro istatistiksel olarak insanlarla aynı performansı gösterirken diğer birkaç model bunun hemen altına düştü.

Bu bulgu nedenini açıklamaya yardımcı oluyor Yapay zeka tarafından oluşturulan metin şaşırtıcı derecede yaratıcı hissedebilir. Günlük insan performansıyla karşılaştırıldığında üst düzey modeller, geniş bir anlam alanına yayılan kelime kombinasyonları üretebilir. Tamamen istatistiksel açıdan bakıldığında etkileyici derecede yaratıcı görünebilirler.

Ancak araştırma bunun hikayenin sadece bir kısmı olduğunu vurguluyor.

Tavan yapay zekası hala kırılamıyor

Araştırmacılar insan katılımcıları Divergent Association Task'taki performanslarına göre sıraladığında ve yapay zeka sistemlerini en yüksek puan alan gruplarla karşılaştırdığında açık bir fark ortaya çıktı. DAT puanlarının ilk %50'sinde yer alan insanlar ve özellikle de ilk %10'da yer alanlar, test edilen tüm dil modellerinden sürekli olarak daha iyi performans gösterdi.

Eşit GPT-4Çalışmada en yüksek performansı gösteren sistem, dağılımın üst kuyruğunda yer alan insanların yaratıcılık seviyelerine ulaşamadı.

Araştırmacılar şöyle yazıyor: "En iyi performans gösteren Yüksek Lisans'lar, insan katılımcıların en üstteki yarısı tarafından hâlâ büyük ölçüde geride bırakılıyor; bu da mevcut Yüksek Lisans'ların hâlâ geçemediği bir tavanın altını çiziyor."

Pratik anlamda bu, yapay zekanın genel popülasyonda yaygın olan yaratıcı davranışları taklit edebildiğini, ancak kavramsal sınırları düzenli olarak zorlayan yazarlar, sanatçılar ve yenilikçiler gibi son derece yaratıcı bireylerin gerçekleştirdiği çağrışımsal sıçramaları kopyalamakta zorlandığını gösteriyor.

Yaratıcılık ayarlanabilir; ancak yalnızca şu ana kadar

Araştırmacılar ayrıca olup olmadığını da araştırdılar. Yapay zeka yaratıcılığı teknik düzenlemelerle geliştirilebilir. Bir modelin "sıcaklığını" (kelime seçiminde rastgeleliği kontrol eden bir parametre) artırarak yaratıcılık puanlarının daha yüksek olduğunu gözlemlediler. Daha yüksek sıcaklıklar, tekrarlanan kelime seçimlerini azalttı ve anlamsal alanın daha geniş bir şekilde keşfedilmesini teşvik etti.

Yönlendirme stratejileri de önemliydi. Modellere, kelime etimolojisinden yararlanmak gibi belirli yaklaşımları kullanmaları açıkça öğretildiğinde, farklı yaratıcılık puanları arttı. Bu bulgular, yapay zeka yaratıcılığının sabit olmadığını, modellerin yönlendirilme ve yapılandırılma şekline duyarlı olduğunu gösteriyor.

Yine de bu kazanımlar yapay zeka ile en yaratıcı insanlar arasındaki uçurumu ortadan kaldırmadı. Ayarlama performansı artırdı, ancak tavanı temelden değiştirmedi.

Kelime listelerinden öykü ve şiirlere

DAT performansının daha gerçekçi yaratıcı görevlere dönüşüp dönüşmediğini test etmek için çalışma aynı zamanda yaratıcı yazmayı da inceledi. Modellerden haikular, film özetleri ve flaş kurgular oluşturmaları istendi; bunlar daha sonra anlamsal çeşitlilik ve metinsel karmaşıklığın otomatik ölçümleri kullanılarak değerlendirildi.

Burada yine Yapay zeka sistemleri özellikle özetler ve kısa öyküler gibi daha uzun formatlarda etkileyici yetenekler sergilediler. Ancak insan tarafından yazılan metinler, özellikle haiku gibi yapılandırılmış, üslup açısından kısıtlı biçimlerde tutarlı bir avantaja sahipti.

Sonuçlar, yapay zekanın yaratıcı yazmanın belirli yüzeysel özelliklerine yaklaşabilmesine rağmen, daha derin özgünlük ve entegrasyon kalıplarının insan yazarların daha karakteristik özelliği olmaya devam ettiğini gösteriyor.

Bunun yaratıcı çalışma açısından anlamı nedir?

Bulgular yapay zeka yaratıcılık tartışmasının her iki ucuna da karşı çıkıyor. Bir yandan, yaratıcılığın makinelerin ulaşamayacağı, yalnızca insana özgü bir özellik olduğu iddiasını çürütüyorlar. Öte yandan, yapay zekanın üst düzey yaratıcı profesyonellerin yerini almaya hazır olduğuna dair korkulara da meydan okuyorlar.

Araştırmacılar, "En iyi performans gösteren insanlar ile en gelişmiş yüksek lisans öğrencileri arasındaki sürekli uçurum, endüstrideki en zorlu yaratıcı rollerin yerini mevcut yapay zeka sistemlerinin alması ihtimalinin düşük olduğunu gösteriyor" diye yazıyor.

Araştırma, bir değişim hikayesinden ziyade işbirliğine işaret ediyor. Yapay zeka sistemleri, beyin fırtınası, çeşitlilik ve keşif için yararlı olan yaratıcı yükselticiler olarak hizmet ederken, insanlar en yüksek düzeyde özgünlük, muhakeme ve sentez için vazgeçilmez olmaya devam ediyor.

İnsan yaratıcılığının daha net bir resmi

Yapay zeka kıyaslamasının ötesinde, çalışma aynı zamanda bilim adamlarının yaratıcılığın kendisi hakkındaki düşüncelerini de yeniden çerçeveliyor. Eğer makineler, insan benzeri biliş olmadan bazı yaratıcılık testlerinde iyi puanlar alabiliyorsa, bu durum, bu testlerin gerçekten neyi ölçtüğüne dair önemli soruları gündeme getiriyor.

Büyük insan veri kümelerini nesnel anlamsal ölçümlerle birleştiren araştırma, daha incelikli bir bakış açısı sunuyor: yaratıcılık tek bir yetenek değil, bir spektrumdur. Yapay zeka bu spektrumun ortasında ikna edici bir şekilde işleyebilir, üst uçlar ise açıkça insani kalır. En azından şimdilik.

Yapay zeka sistemleri gelişmeye devam ettikçe bu tür titiz, veriye dayalı karşılaştırmalar gerekli olacaktır. Sonuçta, makinelerin yaratıcılığı taklit edebildiğine dair kanıtlar açık, ancak yaratıcılığın en derin kuyuları insan hayal gücü o kadar kolay kopyalanamaz.

Jerbi, "Yapay zeka artık belirli testlerde insan seviyesindeki yaratıcılığa ulaşabilse de, bu yanıltıcı rekabet duygusunun ötesine geçmemiz gerekiyor" diyor. "Üretken yapay zeka, her şeyden önce insan yaratıcılığının hizmetinde son derece güçlü bir araç haline geldi: yaratıcıların yerini almayacak, ancak onu kullanmayı seçenler için onların hayal etme, keşfetme ve yaratma biçimlerini derinden değiştirecek."

Tim McMillan emekli bir kolluk kuvveti yöneticisi, araştırmacı muhabir ve The Debrief'in kurucu ortağıdır. Yazıları genellikle savunma, ulusal güvenlik, İstihbarat Topluluğu ve psikoloji ile ilgili konulara odaklanmaktadır. Tim'i Twitter'da takip edebilirsiniz: @LtTimMcMillan. Tim'e e-posta yoluyla ulaşılabilir: [email protected] veya şifreli e-posta yoluyla: [email protected]