Araştırmacılar Yapay Zekanın Sınırlarını Test Etmek İçin 'İnsanlığın Son Sınavı'nı Oluşturuyor

Gibi yapay zeka sahip olmak gelişmiş Yıllar geçtikçe kullanılan yöntemler ölçüm onun yetenekler modası geçmiş hale geldi. Bunu bir kez test eder meydan okundu gelişmiş Yapay zeka modelleri artık kolaylıkla çözülüyor, bu da araştırmacıların mevcut sorunun tam olarak ne olduğunu belirlemesini zorlaştırıyor. sistemler aslında yapabilecek kapasiteye sahipler.

Ancak son zamanlarda uluslararası bir araştırmacı ekibi gelişmiş modernliğin sınırlarını test etmek için tasarlanmış yeni bir sınav Yapay zeka sistemleri. İnsanlığın Son Sınavı (HLE) olarak bilinen değerlendirme, aşağıdaki disiplinleri kapsayan 2.500 uzman düzeyinde soruyu içermektedir: matematik ve doğal bilimler ile antik diller Ve beşeri bilimler. Projenin ayrıntıları ve sonuçları bir özette özetlenmiştir. son çalışma şurada yayınlandı Doğa.

İlk sonuçlar, en gelişmiş yapay zeka modellerinin bile bu sınavda zorlandığını gösteriyor. GPT-4o %2,7, Claude 3,5 Sonnet %4,1 puan aldı ve OpenAI'nin o1 modeli yaklaşık %8 doğruluğa ulaştı. Gemini 3.1 Pro ve Claude Opus 4.6 gibi daha yeni sistemler yaklaşık %40-50 doğruluğa ulaştı.

Yapay Zeka Testleri Aşarsa

Araştırmacılar yıllardır yapay zeka yeteneklerini izlemek için standartlaştırılmış testler kullanıyor. İyi bilinen bir örnek, birçok akademik konudaki modelleri test eden Massive Multitask Language Understanding (MMLU) sınavıdır.

Günümüzde pek çok gelişmiş yapay zeka sistemi bu sınavlarda iyi performans gösteriyor ve bu testlerin hala yapay zekanın gerçek yeteneklerine dair anlamlı bilgiler sağlayıp sağlamadığı konusunda soruları gündeme getiriyor.

Bilgisayar bilimi ve mühendisliği öğretim doçenti Dr. Tung Nguyen, "Yapay zeka sistemleri insan kıyaslamalarında son derece iyi performans göstermeye başladığında, bunların insan düzeyindeki anlayışa yaklaştıklarını düşünmek cazip geliyor" dedi. Teksas A&M Üniversitesi ve yeni kıyaslamaya katkıda bulunanlardan biri. "Fakat HLE bize zekanın sadece örüntü tanımayla ilgili olmadığını, derinlik, bağlam ve özel uzmanlıkla ilgili olduğunu hatırlatıyor."

Yapay Zekanın Erişiminin Ötesinde Bir Sınav

İnsanlığın Son Sınavı'nın geliştirilmesine farklı akademik geçmişlerden yaklaşık 1000 araştırmacı katıldı. Her uzman, kendi alanında ileri düzeyde bilgi gerektiren sorulara katkıda bulundu ve her problem tek, doğrulanabilir bir cevaba sahip olacak şekilde tasarlandı.

Sorular, antik Palmira yazıtlarının tercümesinden kuşlardaki mikroskobik anatomik özelliklerin belirlenmesine ve İncil'deki İbranice telaffuzdaki fonolojik ayrıntıların analizine kadar çok çeşitli insan bilgisini yansıtıyor. Ekip her soruyu önde gelen yapay zeka modellerine göre test etti. Bir model bir soruyu doğru yanıtlayabiliyorsa son setin dışında tutuldu. Bu süreç, mevcut yapay zeka teknolojisinin erişemeyeceği şekilde özel olarak tasarlanmış bir sınavla sonuçlandı.

Yapay Zekanın Sınırları

En iyi yapay zeka modelleri bile sınavın ilk denemeleri sırasında pek çok soruyu, özellikle de farklı alanlardan belirli bilgi veya beceriler gerektiren soruları kaçırdı. Bu, yapay zekanın örüntü tanıma konusunda iyi olmasına rağmen gelişmiş, uzmanlaşmış bilgilerde hâlâ sorun yaşadığı anlamına geliyor.

Nguyen, "Doğru değerlendirme araçları olmadan politika yapıcılar, geliştiriciler ve kullanıcılar yapay zeka sistemlerinin gerçekte neler yapabileceğini yanlış yorumlama riskiyle karşı karşıya kalır" dedi.

Adı dramatik bir senaryoyu akla getirse de araştırmacılar, Yapay Zeka'nın insan uzmanlığının yerini alması konusunda uyarıda bulunmak için değil, mevcut Yapay Zeka sistemlerinin güçlü ve zayıf yönlerini daha iyi anlamak için İnsanlığın Son Sınavı'nı yarattı.

Nguyen, "Bu yapay zekaya karşı bir yarış değil" dedi. "Bu sistemlerin nerede güçlü olduğunu ve nerede zorluk yaşadığını anlamaya yönelik bir yöntem."

Gelecek İçin Bir Karşılaştırma Tasarımı Tasarlamak

Çeşitli akademik disiplinlerden uzmanlardan oluşan ekip, hem hesaplama yeteneğini hem de insan uzmanlığını karakterize eden geniş bilgi yelpazesini test etmek için güvenilir bir yol oluşturmak üzere birlikte çalıştı. İnsanlığın Son Sınavı, gelişmiş yapay zeka sistemlerinin yeteneklerini kıyaslamaya yönelik en iddialı girişimlerden birini temsil ediyor. Yapay zeka sistemleri gelişmeye devam ettikçe araştırmacılar sınavın bütünlüğünü korumak için soruların çoğunu gizli tuttu.

Nguyen, "Bu projeyi olağanüstü kılan şey ölçeğiydi" dedi. "Neredeyse her disiplinden uzmanlar katkıda bulundu. Yalnızca bilgisayar bilimcileri değildi; tarihçiler, fizikçiler, dilbilimciler, tıbbi araştırmacılar da vardı. Günümüzün yapay zeka sistemlerindeki boşlukları ortaya çıkaran şey tam olarak bu çeşitlilik; belki de ironik bir şekilde, insanların birlikte çalışması."

Austin Burgess, satış, pazarlama ve veri analitiği konularında geçmişi olan bir yazar ve araştırmacıdır. İşletme Yüksek Lisansı, İşletme alanında Lisans Diploması ve Veri Analitiği sertifikasına sahiptir. Çalışmaları analitik eğitimi yeni ortaya çıkan bilim, havacılık ve astronomik araştırmalara odaklanarak birleştiriyor.