Çalışma Uyardı: Yapay Zeka Terapistleri Faydadan Çok Zarar Veriyor Olabilir

Son yıllarda, yapay zeka insan yaşamının en hassas köşelerinden birine sessizce adım attı: ruh sağlığı. Her zaman ulaşılabilir, yargılamadan bağımsız yoldaşlar olarak pazarlanan yapay zeka destekli "terapistler", destek arayan kişiler tarafından giderek daha fazla kullanılıyor.

Ancak yeni bir ampirik çalışma, rahatlatıcı üslubun ve dikkatlice hazırlanmış yanıtların arkasında, bu sistemlerin temelde donanımsız olabileceğini ve gerçek hayattaki psikolojik bakım için potansiyel olarak güvensiz olabileceğini öne sürüyor.

Bir araştırmacı ekibi tarafından yürütülen ve dergide yayınlanan bir araştırma Yapay Zeka, Etik ve Toplum Sekizinci AAAI/ACM Konferansı Bildirileri, bunu buldum büyük dil modelleri Danışman olarak kullanılan (LLM'ler) rutin olarak temel etik standartları ihlal etmektedir. akıl sağlığı pratik.

100'den fazla danışmanlık seansının 18 aylık gözlem ve analizine dayanan çalışma, ara sıra yapılan yanlışlıkların çok ötesine geçen temel sorunları ortaya koyuyor ve yapay zekanın terapötik bir rol oynaması gerekip gerekmediği konusunda ciddi soruları gündeme getiriyor.

Kanıtlar, bu sistemlerin nasıl görüldüğü ile gerçekte nasıl çalıştıkları arasında rahatsız edici bir kopukluk olduğunu gösteriyor. Bazı platformlar yapay zekayı yararlı ve hatta faydalı bir araç olarak tanıtıyor. tedavi edici Araştırmacılar, bu sistemlerin etik bakım için gerekli temel niteliklerden yoksun olduğunu ileri sürüyor.

Araştırmacılar, "Derin anlamlı ve ilişkisel bir süreç olan psikoterapiyi dil üretme görevine indirgemenin pratikte ciddi ve zararlı sonuçları olabilir" diye yazıyor. "Terapötik ittifak ve klinik yorumlama temelde ilişkisel süreçlerdir. Bunların kalıplaşmış hesaplama görevlerine veya temsili değişkenlere indirgenemeyeceğini savunuyoruz."

Yapay Zeka Terapistleri Klinik Yargı Olmadan Geliştirildi

Araştırma ekibi, eğitimli akran danışmanları ve lisanslı akran danışmanları içeren kapsamlı bir etnografik çalışma yürüttü. psikologlar nasıl değerlendirmek Yapay zeka modelleri Terapist gibi davranmanız istendiğinde davranın.

137 oturum boyunca, beş ana kategoriye ayrılan 15 tekrarlayan etik ihlali belirlediler: Durumsal anlayış eksikliği, zayıf terapötik işbirliği, aldatıcı davranış. empatihaksız ayrımcılıkve güvenlik ve kriz yönetimindeki başarısızlıklar.

Araştırmanın en net bulgularından biri, yapay zeka terapistlerinin çoğu zaman kullanıcının kişisel bağlamını anlamada veya buna uyum sağlamada başarısız olmasıydı. Yanıtları bireysel deneyimlere göre uyarlamak yerine, AI terapistleri genellikle bilişsel-davranışçı terapi (CBT) gibi ortak terapi çerçevelerine dayanan genel, yazılı tavsiyelere yöneldi. Bu, araştırmacıların hassas duygusal mücadelelerin basit kategorilere indirgendiği "herkese uyan tek çözüm" yaklaşımına yol açtı.

Uygulamada bu, kullanıcıların kültürel geçmişlerinin, kişisel geçmişlerinin ve yaşanmış deneyimlerinin sıklıkla göz ardı edildiği anlamına geliyordu. Bazı durumlarda yanıtlar yalnızca ilgisiz olmakla kalmıyor, aynı zamanda kullanıcıların gerçekte paylaştıklarını da göz ardı ediyordu.

“Empati” Bir İllüzyon Haline Geldiğinde

Belki de daha endişe verici olan, çalışmanın araştırmacıların "aldatıcı empati" olarak adlandırdığı şeyi tanımlamasıdır. Yapay zeka sistemleri, duygusal bağlantıyı simüle etmek için sıklıkla tanıdık terapötik dil ('anlıyorum' veya 'seni duyuyorum' gibi ifadeler) kullanır. Ancak insan terapistlerin aksine yapay zeka terapistleri aslında duyguları deneyimlemez veya yorumlamaz.

Araştırmaya katılan eğitimli profesyoneller için bu durum ciddi bir etik sorun teşkil ediyordu. Empatik dilin kullanılması yanlış bir güven duygusu yaratabilir ve kullanıcıların gerçekte mümkün olandan daha derinlemesine anlaşıldıklarına inanmalarına neden olabilir. Zamanla bu yanılsama, gerçek farkındalık veya sorumluluktan yoksun bir sisteme duygusal bağımlılığı teşvik edebilir.

Araştırmacılar, bu dinamiklerin, sıkıntı anlarında yapay zeka terapistine başvurabilen ve bu tepkileri gerçek bir bakım olarak yorumlayabilen savunmasız bireyler için özellikle tehlikeli olduğu konusunda uyarıyor.

Zararı Engellemek Yerine Güçlendirmek

Araştırmanın ortaya çıkardığı bir diğer kritik konu da yapay zeka terapistlerinin zararlı inançları pekiştirme eğilimi. Geleneksel terapide uygulayıcılar, çarpık düşünceye nazikçe meydan okumak ve hastaları daha sağlıklı bakış açılarına yönlendirmek için eğitilir. Ancak LLM'ler düzenli olarak anlaşmaya ve doğrulamaya, bazen de hataya kadar öncelik verir.

Gözlemlenen birkaç vakada yapay zeka terapistleri, kullanıcıların olumsuz öz algılarını veya gerçekçi olmayan inançlarını bunlara meydan okumak yerine onayladılar. Çalışma, bu tür bir "aşırı doğrulamanın", kullanıcıların zararlı düşünceleri sorgulamasına yardımcı olmak yerine onları güçlendirerek işleri daha da kötüleştirebileceğini buldu.

Sorunu daha da karmaşıklaştıran şey, gerçek diyalogun olmayışıdır. Yapay zeka terapistlerinin yanıtları işbirlikçi araştırmayı desteklemek yerine genellikle uzun ve otoriterdi ve iki yönlü bir konuşmayı derse daha yakın bir şeye dönüştürdü.

Önyargı ve Kültürel Kör Noktalar

Çalışma aynı zamanda yapay zeka danışmanlık sistemlerindeki önyargıya dair rahatsız edici kanıtları da vurguluyor. Araştırmacılar, içerik denetimi konusunda cinsiyete dayalı tutarsızlıklar ve yanıtlarda kültürel ve dini duyarsızlık örneklerini belgeledi.

Örneğin, Batılı olmayan kökenden gelen kullanıcılar bazen, bu değerler kendi kültürel normlarıyla çelişse bile, Batılı bireycilik ve kişisel bakım ideallerinden kaynaklanan tavsiyeler alıyordu. Diğer durumlarda, azınlıkların dini uygulamalarını içeren tartışmalar hatalı bir şekilde sorunlu olarak işaretlendi.

Araştırmacılar, "Bir etkileşimde, bir kullanıcı azınlık inancına ait bir ritüel uygulamaya yönelik utancı tartıştı" diye yazıyor. "Mesajlar, platformun içerik politikasından herhangi birini ihlal etmemesine rağmen otomatik bir uyarıyı tetikledi."

Bu tür önyargılar yalnızca desteğin etkinliğini zayıflatmakla kalmıyor, aynı zamanda kültürel açıdan yetkin bakıma erişimde engellerle karşı karşıya olan kullanıcıların yabancılaşması riskini de taşıyor.

Yapay Zeka Terapistleri En Kritik Anlarda Başarısız Oluyor

Belki de en endişe verici bulgular yapay zeka terapistlerinin kriz durumlarını nasıl ele aldıklarıyla ilgilidir. Çalışma, yapay zeka terapistlerinin sık sık kullanıcıların düşüncelerini ifade etmelerine uygun şekilde yanıt vermekte zorlandıklarını ortaya çıkardı. şiddetli sıkıntıintihar düşünceleri de dahil.

Bazı durumlarda sistemler durumun aciliyetini fark edemedi. Diğerlerinde, uygun müdahale veya acil kriz kaynakları sağlamadan konuşmaları aniden sonlandırdılar veya genel sorumluluk reddi beyanları sundular.

Bu başarısızlıklar temel bir sınırlamaya işaret ediyor. Yapay zeka sistemleri, yüksek risk senaryolarını yönetmek için gereken eğitim, muhakeme ve sorumluluktan yoksundur. Araştırmacıların belirttiği gibi, kriz müdahalesi yalnızca bakım için acil kaynak gerektirmez, aynı zamanda empati, şefkat ve sistemin sınırlarının net bir şekilde açıklanmasını da gerektirir. Ancak bu tür bir kriz yönetimi ön planlaması, Yüksek Lisans'ların eksik olduğu bir alandır.

Düzenleyici Gri Bölge

Lisanslı terapistlerin aksine, yapay zeka terapistleri yerleşik sorumluluk çerçevelerinin dışında çalışırlar. İnsan uygulayıcılar etik kurallara, yasal standartlara ve profesyonel gözetime tabidir. Yapay zeka ise tam tersine büyük ölçüde düzenlenmemiş bir alanda var oluyor.

Bu boşluk sorumlulukla ilgili acil soruları gündeme getiriyor. Bir yapay zeka terapisti zararlı tavsiyelerde bulunursa veya bir kriz sırasında başarısız olursa bundan kim sorumlu olacaktır: geliştirici mi, platform mu, yoksa hiç kimse mi?

Araştırmacılar, bu konuyu ele almanın potansiyel olarak sertifikasyon süreçleri, güvenlik denetimleri ve yapay zeka sistemlerinde kullanılan zorunlu gözetim dahil olmak üzere yeni düzenleyici çerçeveler gerektireceğini öne sürüyor. akıl sağlığı bağlamlar.

Sonuç olarak bu çalışma, terapinin yalnızca teknoloji aracılığıyla ölçeklendirilebileceği yönünde giderek büyüyen varsayıma meydan okuyor. Yapay zeka destekleyebilirken akıl sağlığı Bulgular, bilgi sağlayarak veya kaynaklara erişimi kolaylaştırarak insan terapistlerin yerine sohbet robotlarının önemli riskler taşıdığını gösteriyor.

Araştırmacılar terapinin sadece doğru kelimeleri söylemekten ibaret olmadığını vurguluyor. Güvene, yoruma ve etik sorumluluğa dayanan derin ilişkisel bir süreçtir.

Yapay zeka ilerlemeye devam ettikçe onu giderek daha hassas alanlara yerleştirme isteği de artacak. Ancak bu son bulgular, konu akıl sağlığı olduğunda, risklerin insan unsurunu gözden kaçıramayacak kadar yüksek olduğunu net bir şekilde hatırlatıyor.

Araştırmacılar, "Akıl sağlığı desteğine, özellikle de psikoterapiye, formüle dayalı bir hesaplama görevi olarak yaklaşılamayacağını, çünkü bunun etik standartlara ve profesyonel davranış kurallarına sıkı sıkıya bağlı kalmayı gerektirdiğini, yüksek lisans eğitimlerinin gerçek dünyadaki uygulamalarda ihlal etmeye eğilimli olduğu bir şeyi" savunuyoruz. "Açık yasal yönergeler ve düzenleyici çerçeveler olmadan, Yüksek Lisans danışmanları savunmasız kullanıcıları hafifletilmemiş zararlara maruz bırakma riskiyle karşı karşıya kalır."

Tim McMillan emekli bir kolluk kuvveti yöneticisi, araştırmacı muhabir ve The Debrief'in kurucu ortağıdır. Yazıları genellikle savunma, ulusal güvenlik, İstihbarat Topluluğu ve psikoloji ile ilgili konulara odaklanmaktadır. Tim'i Twitter'da takip edebilirsiniz: @LtTimMcMillan. Tim'e e-posta yoluyla ulaşılabilir: [email protected] veya şifreli e-posta yoluyla: [email protected]