Yapay Zeka Riskini Doğru Kişilere Dış Kaynak Kullanımı

Anthropic CEO'su Dario Amodei, Claude'un Washington DC'deki kırmızı çizgilerini hâlâ tartışıyordu. savaşa gitti. ABD Savunma Bakanlığı'nın Anthropic ile olan sözleşmesini etkili bir şekilde feshetmesinden sadece birkaç saat sonra, ABD'li yetkililer muhtemelen Claude'u İran'a yönelik hava saldırılarında kullandılar. Haftalar sonra nasıl ve hangi sıfatla belirsizliğini koruyor.

Pentagon'un devam eden satır Antropik ile olan ilişki daha derin bir rahatsızlığın yalnızca en gözle görülür belirtisidir. Geçtiğimiz aylarda bir grup yapay zeka etiği ve güvenlik uzmanı, istifa etti en iyi yapay zeka şirketlerinden. Bunlar ilk değildi ve muhtemelen son da olmayacaklar. İstifalar devam ederse yapay zekanın geleceği, risklerini azaltma konusunda en fazla endişe duyan kişiler olmadan belirlenecek.

Çoğu insan için çoğu zaman yapay zekanın tehlikeleri uzaktır; tıpkı havacılık mühendislerinin uçak kazaları hakkında bizim düşünmemize gerek kalmaması için düşünmelerini beklediğimiz gibi uzmanlara dış kaynak sağladığımız türden bir risk.

Yapay zeka risklerinin yelpazesi yeni ve bunu kontrol edecek uzmanlar topluluğu hâlâ şekilleniyor. Nükleer uzmanlar daha önce de buradaydı. Ve onların geçmişi bir ders veriyor: Odada muhalif sesleri sürdürün ya da teşvikleri daha geniş kamuoyununkilerle uyuşmayabilecek parçalanmış bir uzman sınıfı riskini göze alın.

---

İçinde röportajlar Ve çalışanlaraAmodei durmadan bir kitap öneriyor: Richard Rhodes'un 900 sayfaya yakın kitabı Atom Bombasının YapımıManhattan Projesi'nin Pulitzer ödüllü bir anlatımı.

Bu bir zafer metni değil. Rhodes, bilim adamlarının yeni teknolojilerinin nasıl kullanılacağını kontrol etme konusundaki sürekli başarısızlıklarını belgeliyor. Fizikçiler Leo Szilard ve James Franck ve hatta J. Robert Oppenheimer- nükleer teknoloji üzerinde uluslararası kontroller yapılmasını savunarak bombanın kullanılmasına ilişkin koşullar belirlemeye çalıştı. Çabaları, ortaya çıkan Soğuk Savaş'ın zorunlulukları tarafından gölgede bırakıldı.

John von Neumann ve Edward Teller gibi yeni ulusal güvenlik paradigmasıyla barışanlar, yeni bir entelektüeller sınıfı olan “nükleer rahiplik”e katıldılar. Oyun teorisi ve son teknoloji hesaplama gibi yeni yöntemler ve teknolojiler geliştirdiler. Kendi özetlerini anlattılar”teknostratejik“dil ve mantığı çözdüm Nükleer savaş, tırmandırma ve caydırıcılık konularının kamuoyunun incelemesi dışında kalması. Nükleer ortodoksluktan kopan muhalif sesler (silahsızlanmayı destekleyenler, daha küçük cephanelikler ve hatta farklı caydırıcılık duruşları) güç ve planlama merkezlerinden dışlandı. Oppenheimer, Bernard Brodie, Daniel Ellsberg; muhaliflerin yetkileri elinden alındı, kenara itildi veya göz ardı edildi.

Amodei'nin verdiği ders ve diğerleri Görünüşe göre bu durum Rhodes'tan kaynaklanıyor gibi görünüyor, bu da istenmeyen sonuçlardan biri: Dönüştürücü bir teknoloji geliştiren bilim insanları, onu kontrol etmekte defalarca başarısız oldu. Ancak yapay zeka savunucuları bu tarihten başka bir kasıtsız ve riskli ders de çıkarıyor olabilir. Manhattanlı bilim adamlarının dikkate alınmayan uyarılarına, geniş silah yığınağına ve sıklıkla şiddete dönüşen bir süper güç çatışmasına rağmen, ABD'nin 1945'te Japonya'yı bombalamasından bu yana hiçbir lider savaşta nükleer silah kullanmadı. Belki de bu, sistemin muhalefete ihtiyaç duymadan çalıştığı anlamına geliyor. Amodei'ye fazlasıyla güven verilmese bile, diğer yapay zeka araştırmacıları sahte bir rahatlık kaynağı bulmak için nükleer tarih okuyor olabilir.

Bir sorun var. Tarihsel araştırmalar çağrıları kapat—YANLIŞ uyarılarnükleer silahlar kazara uçaklardan düşürüldü, denizde kaybolmak, yanlışlıkla taşınanve neredeyse sarmallaşan krizler kontrolden çıktı- nükleer savaşın sadece bir saç teli uzakta olduğunu öne sürüyor, tekrar tekrar. Dolayısıyla nükleer kayıtlar, nükleer politikanın nükleer savaşı önlemedeki görünürdeki başarısının, nükleer savaşların oynadığı gerekli rolü göz ardı ettiği bir hayatta kalma önyargısından muzdariptir. şans.

Bu kayıt, nükleer silahların felaket potansiyelini evcilleştirdi ve nükleer savaşın dehşetini zihinsel olarak arka plan durumuna kaydırdı. Nükleer silahlar veya tasarlanmış patojenler gibi yapay zekanın en yıkıcı tehlikeleri uzak görünüyor. Bunları hayal etmek zor ve görünüşe göre başka bir yerde veya başka birinin başına gelecekler - tabii bunların bir gün gerçekleşeceğine inanırsak. Bu, psikolojik mesafe sorunudur, bir tehdidin var olduğuna dair öznel duygudur. uzak benliğimden, burada ve şimdi.

Bu nedenle uzak riskleri akılda tutmak için uzman topluluklara ("rahipliklere") güveniyoruz, çünkü halk bunu tam olarak yapamıyor. Günlük kaygılarımızla fazlasıyla meşgulüz ya da haber döngülerinin akışıyla dikkatimiz dağılıyor. Bizi güvende tutmak için rahipliklere güveniyoruz ve mesafe, bu grupların riskleri büyük ölçüde halkın gözü önünde yakalamasına ve yönetmesine olanak tanıyor.

Ancak rahipler halktan farklı ilgi alanları geliştirebilir ve farklı teşviklerle karşı karşıya kalabilir. Bu çıkarlar yeterince farklılaştığında, rahiplikler bir sorun haline gelir; örneğin güvenlik uğruna güvenliği feda etmeleri gibi. kâr veya prestij.

---

İstifalar Yapay zeka güvenlik araştırmacıları Anthropic ve OpenAI'den gelen gelişmeler, AI'nın ortaya çıkan rahiplik dinamikleri için iyiye işaret değil. Yapay zeka ırkının rekabetçi mantığı, Manhattan Projesi'nin muhalif bilim adamlarına yaptığının aynısını onlara da yapıyor olabilir. Yapay zeka şirketleri onlara kapıyı gösterecek, endişelerine sözde destek verecek ve yine de daha büyük yapılar inşa edecek. Muhalif sesleri kenara itme konusunda piyasa teşvikleri Soğuk Savaş rekabetinden bile daha güçlü olabilir. Jeopolitik teşvikler, ABD'li yapay zeka geliştiricileri arasındaki rekabeti bir alanda iç içe geçirerek aynı yöne doğru ilerlemektedir. Çin ile daha büyük bir. Sınır modeli geliştirmenin hızı ve ölçeği, AB'ninki gibi yapay zekayı yukarıdan düzenleme çabalarının da artması anlamına geliyor. Yapay Zeka Yasası veya Birleşmiş Milletler' Yapay Zeka Yönetişimi Konusunda Küresel Diyalogher zaman birkaç adım geride görünürler.

İleriye doğru yarışmak bazen güvenlik stratejisi olarak sunulmuştur: Sınırda bulunan şirketlerin, model hatalarını adım adım dünyaya yayınlayarak keşfedip düzeltebilecekleri ve ne olacağını görmek. Ancak güvenliğe yarış mantığı, model arızalarının kurtarılabilir ve geriye dönük olarak şeffaf olduğunu varsayar. AI'nın “kara kutu"çıktıları, başarısızlıklara atfedilmesi ve ders alınmasını zorlaştıracak şekilde şeffaf değildir.

AI'nın rahipliği bu nedenle şiddetli rüzgarlar altında şekilleniyor. Yapay zekayı düzenlemek, nükleer silahları düzenlemekten çok daha zor olabilir çünkü tehlikeleri oldukça büyük gibi görünüyor. her yer: ayrımcı konuşlandırma, kitlesel gözetleme, otonom öldürücülük ve hatta süper zekaöldürücü yapay zeka"hepsi yapay zeka güvenlik gündeminde. Alanlar arası bu genişlik ve rekabete yönelik ticari baskılar, tehlikelerin ertelenmesini fazlasıyla kolaylaştırıyor.

Dahası, nükleer silahlar uluslararası ilişkileri dönüştürmüş olabilir ama sonuçta bunlar çok büyük bombalardır. sınırlı kullanım bağlamları. Yapay zeka ise tam tersine benzetildiği kadar geniş kullanım bağlamlarına sahiptir elektrik Ve su.

---

İyi haber Eğer nükleer örnek neyin yanlış gidebileceğini gösteriyorsa, diğer endüstriler (özellikle sık kullanılan, güvenilir şekilde güvenli, günlük teknolojiye sahip olanlar) neyin doğru gidebileceğini gösterebilir. Örneğin havacılığın tarihi, dayanıklı güvenlik mimarilerinin asla tamamen gönüllü olmadığını veya basitçe yukarıdan dayatılmadığını göstermektedir. Kazalar, davalar, mühendislik bilgisi, organizasyonel değişim ve düzenleyici baskılar arasındaki karmaşık etkileşimden ortaya çıkarlar. Havacılık güvenliği zaman içinde kısmen tek bir uçak kazası nedeniyle gelişti. pist çarpışması 22 Mart'ta LaGuardia'da düzenlenecek olan etkinliğin genel endüstri üzerinde bireysel etkisi düşüktür ve dolayısıyla havacılık güvenliği uzmanlarının sorunlara çözüm bulmasına olanak tanır bunlar olduktan sonra.

Yapay zekaya yönelik düzenleyici baskı şu ana kadar çalkantılı oldu ancak ortaya çıkan kayıtlar güvenlikten uzaklaşıldığını gösteriyor. 2025'te Başkan Donald Trump'ın Beyaz Saray'ı iptal edildi Biden yönetiminin yapay zekaya ilişkin 2023 idari emri, güvenlik enstitüsünün yetki alanını geniş güvenlik gözetiminden ulusal güvenliğe ve rekabetçiliğe kadar daralttı, hatta “güvenliği” ortadan kaldırmak enstitünün adından. Mart ayının ortasında, açıklanmış hafif bir dokunuş ulusal mevzuat çerçevesi Kongreye çağrıda bulunmak öncelikleriyle çelişen “eyalet yapay zeka yasalarını engellemek”.

Hem Beyaz Saray hem de sektör temsilcileri Avrupa Birliği'nin kararını eleştirdi 2024 Yapay Zeka Yasası olarak gördükleri için düzenleyici aşırı erişim Avrupa'nın yapay zeka yeteneği gelişmeye devam ederken başka yere göç etmek. A yönetişim boşluğu Yapay Zeka için büyük bir pazarlık yerine ortaya çıktı: Düzenlemelerin dişlerinin olduğu yerde, Yapay Zeka yatırımı göç eder; Göç ettiği yerde düzenleyici gözetim yumuşar. Bu düzenleyici asimetri, ortaya çıkan AI rahipliğinin çıkarlarını halkın çıkarlarından giderek daha da uzaklaştırabilir.

Kapsamlı yapay zeka güvenlik yönetiminin ne yazık ki ihtiyaç duyabileceği şey, mesafeyi kapatan ve eylemi tetikleyen tetikleyici bir krizdir. Bu canlı, somut bir felaket olabilir; havada çarpışma Büyük Kanyon'da Federal Havacılık İdaresi'nin yolunu açan bu durum kamuoyu tarafından görülebiliyor ve yapay zekanın zararlarını çok yakın hissettirecek kadar şok edici. Böyle bir katalizör ve bunu takip eden sürekli baskı olmadan, ertelemenin maliyeti her zaman tedbir maliyetinden daha katlanılabilir olabilir.

Şu ana kadarki yapay zeka başarısızlıkları yaygın ve olasılıksal olmaya devam ediyor; bunların zararları dağıtılmış Tek bir enkaz alanında yoğunlaşmak yerine milyonlarca etkileşim boyunca. Hala daha çok benziyorlar kazalardan çok olaylar: zarara yol açmasına rağmen sonradan düzeltilebilen tek bileşenli arızalar. Bu, yapay zekaya daha fazla güvenlik önlemi dayatmaya yönelik dış baskıları azaltır ve özellikle mühendislerin daha güvenliden önce daha iyi, daha hızlı ve daha güçlü inşa etme teşvikleri göz önüne alındığında, güvenliğin içeride de sağlanmasını zorlaştırır.

Yapay zekanın başka bir güvenlik sorunu daha var: hız. Havacılığın ölçeklenmeden önce minyatür olarak başarısız olma zamanı vardı. 1920'lerin sonlarında uçak kaza oranları o kadar yüksekti ki, bugün havayolu endüstrisinin ölçeğine uygulandığında yılda on bine yakın insan ölecekti. 1950'lere gelindiğinde havayolu güvenliği gelişti: Amerika Birleşik Devletleri'nde bir endüstride yılda yaklaşık yüz ölüm 35 kat daha küçük bugünkünden daha. Ancak 1950'lerdeki oran, bugünün ölçeğinde yılda binlerce ölümle sonuçlanacaktır; 2025'te kaydedilen birkaç yüz ölüm yerine.

Yapay zekanın geniş, hızlı ve çok alanlı olarak benimsenmesi, onu zorlu bir güvenlik durumu haline getiriyor. Şu anda, potansiyel zararları kötü tıbbi tavsiye -e insanlığın sonu. Güvenlik sorunu ne kadar büyük olursa, yaratıcı düşünceye duyulan ihtiyaç da o kadar büyük olur. Güvenlik ve kontrol konusunda ciddi olan yapay zeka şirketlerinin, muhalif sesleri (şeytanın baretli avukatları) odada tutmanın yollarını bulması ve onları dışarı iten baskılardan yalıtması gerekecek.

Yapay zeka şirketlerinin bunu yapmak için pek de yüksek fikirli teşvikleri olmayabilir. Güvenlik ve etik araştırmacılarına iç tehditler yerine yapıcı eleştirmenler olarak yaklaşan, dışa dönük prensip odaklı şirketler, pazara daha güvenli ürünler ve daha iyi itibar getirebilir. OpenAI, Anthropic yerine Pentagon anlaşmasını imzaladıktan sonra Claude dramatik bir durumla karşılaştı. popülerliği artırmakABD uygulama mağazası sıralamasında ilk kez rakibinin önüne geçti.

Soğuk Savaş sırasında ABD hükümeti muhalif nükleer uzmanları bir kenara itti ve dünya hayatta kaldı. Küresel tüketiciler yapay zeka konusunda aynı kumarı oynamak istemiyorlarsa, şirketlere güvenlik konusunda daha sorumlu bir yaklaşım benimsemeleri konusunda baskı yapmaları gerekiyor.