Antropic’in Claude AI chatbot’u artık “ısrarla zararlı veya küfürlü” olarak kabul edilen konuşmaları sona erdirebilir. daha önce TechCrunch. Yetenek şimdi Opus 4 ve 4.1 modellerinde mevcutve sohbet botunun, kullanıcılar tekrar tekrar birden fazla ret ve yeniden yönlendirme girişimlerine rağmen zararlı içerik üretmesini istedikten sonra konuşmaları “son çare” olarak bitirmesine izin verecektir. Amaç, AI modellerinin “potansiyel refahına” yardım etmektir, diyor Antropic, Claude’un “belirgin sıkıntı” gösterdiği etkileşim türlerini sonlandırarak.
Claude bir konuşmayı kısa kesmeyi seçerse, kullanıcılar bu konuşmaya yeni mesajlar gönderemezler. Yine de yeni sohbetler oluşturabilirler, belirli bir iş parçacığına devam etmek istiyorlarsa önceki mesajları düzenleyebilir ve yeniden deneyebilirler.
Claude Opus 4’ü test etmesi sırasında Antropic, Claude’un küçükler içeren cinsel içerik üretmesi veya şiddet eylemlerine ve terörizme katkıda bulunabilecek bilgiler sağlaması istendiğinde “zarar için sağlam ve tutarlı bir isteksizlik” olduğunu bulduğunu söyledi. Bu durumlarda Antropic, Claude’un “görünür bir sıkıntı paterni” ve “yetenek verildiğinde zararlı konuşmaları sona erdirme eğilimi” gösterdiğini söyledi.
Antropik, bu tür yanıtı tetikleyen konuşmaların “aşırı kenar durumları” olduğunu belirterek, çoğu kullanıcının tartışmalı konular hakkında sohbet ederken bile bu barikatla karşılaşmayacağını da sözlerine ekledi. AI girişimi, bir kullanıcı kendilerine zarar vermek veya başkalarına “yakın zarar vermek” isteyebileceğine dair işaretler gösteriyorsa Claude’a konuşmaları sona erdirmemesi talimatı verdi. Antropik ortaklar Kendine zarar ve zihinsel sağlıkla ilgili istemlere yanıtlar geliştirmeye yardımcı olmak için çevrimiçi bir kriz destek sağlayıcısı olan Todline ile.
Geçen hafta, Antropik ayrıca Claude’un kullanım politikasını da güncelledi Hızla ilerleyen AI modelleri güvenlik konusunda daha fazla endişe yaratıyor. Şimdi şirket, insanların biyolojik, nükleer, kimyasal veya radyolojik silahlar geliştirmek ve kötü niyetli kod geliştirmek veya bir ağın güvenlik açıklarından yararlanmak için Claude kullanmasını yasaklıyor.
Source link
