'Vibe-Hacking' artık en iyi AI tehdidi

“Ajanik AI sistemleri silahlandırılıyor.”

Bu, Antropic'in yeni tehdit istihbarat raporunun ilk çizgilerinden biri, bugün Claude - ve muhtemelen diğer birçok önde gelen AI ajanı ve sohbet botları - istismar edildiği çok çeşitli vakaları detaylandırıyor.

İlk olarak: “Vibe-hacking.” Antropic'in yakın zamanda, bir ay içinde dünyanın en az 17 farklı kuruluşundan verileri zorlamak için Antropic'in AI kodlama ajanı olan Claude Kodunu bozduğunu söylediği sofistike bir siber suç yüzüğü. Hacklenen taraflar arasında sağlık kuruluşları, acil durum hizmetleri, dini kurumlar ve hatta devlet kuruluşları vardı.

Antropic Tehdit İstihbarat Ekibi Başkanı Jacob Klein, “Sofistike bir aktörseniz, aksi takdirde, vibe-hacking davası gibi sofistike aktörlerden oluşan bir ekibin yürütmesi için-şimdi tek bir birey, ajan sistemlerinin yardımıyla yürütebilir” dedi. Eşek bir röportajda. Bu durumda Claude'un “operasyonu uçtan uca yürüttüğünü” de sözlerine ekledi.

Antropic, raporda bu gibi durumlarda AI'nın “hem teknik danışman hem de aktif operatör olarak hizmet ettiğini ve bireysel aktörlerin manuel olarak yürütülmesi daha zor ve zaman alıcı saldırıları sağladığını yazdı.” Örneğin, Claude özellikle “psikolojik olarak hedeflenen gasp talepleri” yazmak için kullanıldı. Daha sonra siber suçlular, sağlık verileri, finansal bilgiler, devlet kimlik bilgileri ve daha fazlasını içeren verilerin karanlık ağda ne kadar değeceğini ve antropik başına fidye taleplerinin 500.000 doları aşacağını anladılar.

Klein, “Bu, siber suç için gördüğüm ajanların en sofistike kullanımı” dedi.

Başka bir vaka çalışmasında Claude, Kuzey Koreli BT işçilerinin ülkenin silah programını finanse etmek için ABD'deki Fortune 500 şirketlerinde hileli bir şekilde iş almalarına yardımcı oldu. Tipik olarak, bu gibi durumlarda, Kuzey Kore, üniversiteye sahip olan, BT deneyimine sahip olan veya İngilizce iletişim kurma yeteneğine sahip olan insanları kullanmaya çalışır - ancak bu durumda, engelin Kuzey Kore'deki insanların büyük teknoloji şirketlerinde teknik görüşmeler yapması ve daha sonra işlerini sürdürmeleri için çok daha düşük olduğunu söyledi.

Claude'un yardımıyla Klein, “Kod yazmayı bilmeyen, profesyonel olarak nasıl iletişim kuracağını bilmeyen, İngilizce dili veya kültürü hakkında çok az şey bilmeyen, Claude'dan sadece her şeyi yapmasını isteyen ve sonra işi yaptıklarında, Claude ile yaptıkları işin çoğu işi sürdürüyor.” Dedi.

Başka bir vaka çalışması bir romantizm aldatmaca içeriyordu. Aylık 10.000'den fazla kullanıcıya sahip bir telgraf botu, görünüşte dolandırıcılık için duygusal olarak akıllı mesajlar üretmeye yardımcı olmak için Claude'u “yüksek EQ modeli” olarak ilan etti. Yerli olmayan İngiliz konuşmacıların ABD, Japonya ve Kore'de kurbanların güvenini kazanmak ve onlardan para istemek için ikna edici, ücretsiz mesajlar yazmasını sağladı. Rapordaki bir örnek, bir kullanıcının kravattaki bir adamın görüntüsünü yüklediğini ve ona en iyi nasıl iltifat edeceğini sorduğunu gösterdi.

Raporda, Antropik'in kendisi, şirketin AI'sının kötüye kullanılmasını önlemek için “sofistike güvenlik ve güvenlik önlemleri geliştirmiş olsa da” ve önlemlerin “genel olarak etkili” olmasına rağmen, kötü aktörler hala etraflarında yollar bulmayı başarıyor. Antropic, AI'nın sofistike siber suçların önündeki engelleri düşürdüğünü ve kötü aktörlerin teknolojiyi kurbanları profillemek, uygulamalarını otomatikleştirmek, yanlış kimlikler oluşturmak, çalıntı verileri analiz etmek, kredi kartı bilgilerini çalmak ve daha fazlasını kullanmak için kullandıklarını söylüyor.

Rapordaki vaka çalışmalarının her biri, AI şirketlerinin olabildiğince denedikleri, genellikle yarattıkları ve dünyaya koydukları teknoloji ile ilişkili toplumsal risklere ayak uyduramadıklarına dair artan kanıtlara katkıda bulunuyor. Raporda, “Claude'a özgü olsa da, aşağıda sunulan vaka çalışmaları muhtemelen tüm sınır AI modellerinde tutarlı davranış kalıplarını yansıtıyor” diyor.

Antropic, her vaka çalışması için ilgili hesapları yasakladığını, yeni sınıflandırıcılar veya diğer tespit önlemleri oluşturduğunu ve istihbarat ajansları veya kolluk kuvvetleri gibi uygun devlet kurumlarıyla paylaşıldığını doğruladı. Ayrıca ekibinin gördüğü vaka çalışmalarının AI riskinde daha geniş bir değişikliğin bir parçası olduğunu söyledi.

Klein, “AI sistemlerinin sadece bir sohbet botu olmadığı yerde meydana gelen bu değişim var, çünkü artık birden fazla adım atabilirler,” dedi Klein, “Burada gördüğümüz gibi eylemler veya etkinlikler gerçekleştirebiliyorlar.”