Bu bir alıntıdır Alex Heath’in kaynaklarıyapay zeka ve teknoloji endüstrisi hakkında bir haber bülteni, yalnızca The Verge abonelerine haftada bir kez dağıtılıyor.
Amazon’un yapay zeka şefinin model kıyaslama takıntılılarına bir mesajı var: Skor tablolarına bakmayı bırakın.
Amazon’un AGI Kıdemli Başkan Yardımcısı Rohit Prasad, Las Vegas’ta düzenlenen AWS re:Invent’te bugün yapılan duyurular öncesinde bana “Gerçek dünyada fayda sağlamak istiyorum. Bu kriterlerin hiçbiri gerçek değil” dedi. “Gerçek kıyaslama yapmanın tek yolu, herkesin aynı eğitim verilerine uyması ve değerlendirmelerin tamamen uzatılmasıdır. Olan bu değil. Değerlendirmeler açıkçası gürültülü olmaya başlıyor ve bu modellerin gerçek gücünü göstermiyor.”
Diğer tüm yapay zeka laboratuvarlarının, yeni modellerinin lider tablolarında nasıl hızla tırmandığıyla övünmesi, bu duruma aykırı bir duruş. Prasad ve ben geçen hafta konuştuğumuzda, amiral gemisi modeli Nova’nın önceki versiyonunun LMArena’da 79. sırada olduğu göz önüne alındığında, Amazon için de uygun. Yine de kıyaslamaların reddedilmesi yalnızca Amazon’un ilerlemenin nasıl göründüğüne dair farklı bir hikaye sunabilmesi durumunda işe yarar.
“Bu modellerin gerçek gücünü göstermiyorlar.”
Bugünkü re:Invent duyurularının en önemli parçası, Amazon’un şirketlerin özel yapay zeka modellerini milyarlarca dolar harcamadan daha önce imkansız olan yöntemlerle eğitmesine olanak tanıdığını iddia ettiği bir hizmet olan Nova Forge’dur. Forge’un adreslediği sorun gerçektir. Yapay zeka modellerini özelleştirmeye çalışan şirketlerin çoğu, üç kötü seçenekle karşı karşıyadır: kapalı bir modele ince ayar yapmak (ancak yalnızca kenarlarda), açık ağırlıklı modeller üzerinde eğitim vermek (ancak orijinal eğitim verileri olmadan ve yapay zekanın yeni veriler konusunda uzman olduğu ancak orijinal, daha geniş becerileri unuttuğu yetenek gerileme riskini göze almadan) veya muazzam maliyetle sıfırdan bir model oluşturmak.
Forge başka bir şey daha sunuyor: eğitim öncesi, eğitim ortası ve eğitim sonrası aşamalarda Amazon’un Nova modeli kontrol noktalarına erişim. Şirketler, sürecin sonunda model davranışında ince ayar yapmak yerine, Prasad’ın ifadesiyle, modelin “öğrenme kapasitesi en yüksek olduğunda”, sürecin başında özel verilerini enjekte edebilirler.
Prasad, “Yaptığımız şey, kullanım durumlarınız için yapay zekayı ve sınır model geliştirmeyi (daha önce) maliyetinin çok altında demokratikleştirmekti” dedi. Forge, Amazon’un dahili ekiplerinin, alan uzmanlığını sıfırdan oluşturmaya gerek kalmadan temel bir modele aktaracak bir araç istemesi nedeniyle oluşturuldu.
“Forge’u kurduk çünkü dahili ekiplerimiz Forge’u istiyordu” dedi. Bu tanıdık bir Amazon modeli. AWS’nin kendisi, şirketin kâr motoru haline gelmeden önce Amazon’un kendi perakende operasyonu için oluşturulmuş bir altyapı olarak işe başladı.
Reddit, 23 yıllık topluluk denetleme verileriyle eğitilmiş özel güvenlik modelleri oluşturmak için Forge’u kullanıyor. Reddit’in CTO’su ve ilk çalışanı Chris Slowe bana “Henüz böyle bir şey görmedim” dedi. “Şekerci dükkanındaki çocuk gibi davranan seçkin bir mühendisimiz vardı.”
Slowe, Reddit’in geçen hafta “gerçekten umut verici görünen” bir ön eğitim çalışması yürüttüğünü söyledi. Hedef: Birden fazla özel güvenlik modelini, her yerde alt dizinlerde görülen meşhur öznel kural da dahil olmak üzere, topluluk denetiminin nüanslarını anlayan tek bir Reddit uzmanı modeliyle değiştirin: “Aptallık etme.”
Slowe, “Uzman bir modele sahip olmak toplumu anlayacaktır” dedi. “Pisliğin ne anlama geldiğine dair oldukça iyi bir fikre sahip olacak.”
Amazon’un geliştiricilerin ilgilenmesini istediği konu bu: ham IQ puanları değil, kontrol ve uzmanlaşma.
Forge’un, Reddit’in modellerini kontrol etmesine, API değişikliklerinden kaynaklanan sürprizleri önlemesine, ağırlıklarının sahipliğini korumasına ve hassas verileri üçüncü taraf model sağlayıcılara göndermekten kaçınmasına olanak tanıdığını açıkladı. Reddit’in halihazırda Reddit Cevapları ve diğer ürünler için aynı yaklaşımı kullanmayı araştırdığını söyledi.
Slowe’a, Nova’nın kıyaslamalarda üst düzey bir model olmamasının önemli olup olmadığını sorduğumda açık sözlü oldu: “Bu bağlamda önemli olan, modelin Reddit uzmanlığıdır.” Amazon’un geliştiricilerin ilgilenmesini istediği konu bu: ham IQ puanları değil, kontrol ve uzmanlaşma.
Amazon, Forge ile model yarışının metalaştığına ve şirketlerin belirli iş sorunları için özel yapay zeka oluşturabilecekleri yer olarak başarılı olabileceğine dair hesaplı bir iddiaya giriyor. Bu, AWS’ye çok benzeyen bir dünya görüşü: zekadan ziyade altyapı ve ham yetenekten ziyade özelleştirme. Bu strateji aynı zamanda Amazon’un bir zamanlar her ikisi de olan OpenAI ve Anthropic ile doğrudan karşılaştırmalardan kaçınmasına da olanak tanıyor. model katmanında rekabet etmeyi umuyordum.
Forge’un gerçekten öncü mü yoksa sadece akıllı bir konumlandırma mı olduğu elbette geliştiricilerin benimsemesine bağlıdır. Amazon, yaygın olarak anlaşıldığı şekliyle model yarışının önemli olmadığı konusunda ısrar ediyor. Eğer bu doğru çıkarsa puan tablosu çok daha sessiz ve oynaması daha zor bir şeye kayar: Yapay Zeka modellerinin gerçekten gerçek dünyada fayda sağlayıp sağlamadığı.
Source link
