Meta'nın Açık Kaynak Lama 3'ü Zaten OpenAI'nin Peşinden Geliyor

Jerome Pesenti'nin Meta'nın geçen haftaki kararını kutlamak için birkaç nedeni var: Llama 3'ü yayınlagüçlü bir açık kaynak büyük dil modeli Herkesin indirebileceği, çalıştırabileceği ve üzerine derleme yapabileceği.

Pesenti eskiden başkan yardımcısıydı yapay zeka en Meta ve sık sık şirketi, teknolojisini başkalarının kullanması ve geliştirmesi için yayınlamayı düşünmeye ittiğini söylüyor. Ancak onun asıl sevinmesinin nedeni, yeni girişiminin, iktidara çok yakın olduğunu söylediği bir yapay zeka modeline erişebilecek olması. OpenAI'nin sektör lideri metin oluşturucusu GPT-4ancak çalıştırılması oldukça ucuz ve dışarıdan incelemeye ve değişikliğe daha açık.

Pesenti, “Geçen Cuma günü yayınlanan sürüm gerçekten oyunun kurallarını değiştirecek gibi görünüyor” diyor. Yeni şirketi, CızırtıBir yapay zeka öğretmeni olan , öğrenciler için problem setleri ve müfredatlar oluşturmak amacıyla şu anda GPT-4 ve hem kapalı hem de açık diğer yapay zeka modellerini kullanıyor. Mühendisleri birçok durumda Llama 3'ün OpenAI modelinin yerini alıp alamayacağını değerlendiriyor.

Sizzle'ın hikayesi yapay zekadaki güç dengesinde daha geniş bir değişimin habercisi olabilir. OpenAI, ChatGPT ile dünyayı değiştirdi, bir yapay zeka yatırımı dalgası başlattı ve 2 milyondan fazla geliştiriciyi bulut API'lerine çekti. Ancak açık kaynak modellerinin rekabetçi olduğu kanıtlanırsa, geliştiriciler ve girişimciler OpenAI veya Google'ın en son modeline erişmek için ödeme yapmayı bırakıp Llama 3'ü veya ortaya çıkan giderek daha güçlü olan diğer açık kaynak modellerinden birini kullanmaya karar verebilirler.

Pesenti, Llama 3 gibi açık modeller ile GPT-4 ve Google'ın Gemini gibi kapalı modelleri arasındaki rekabet hakkında “İlginç bir at yarışı olacak” diyor.

Meta'nın önceki modeli Llama 2 zaten etkiliydi, ancak şirket, gereksiz veya bozuk içeriği filtrelemek ve en iyiyi seçmek için geliştirilen yeni tekniklerle, daha fazla miktarda yüksek kaliteli eğitim verisi besleyerek en son sürümü daha güçlü hale getirdiğini söylüyor. kullanılacak veri kümelerinin karışımı.

Pesenti, Llama 3'ün aşağıdaki gibi bir bulut platformunda çalıştırıldığını söylüyor: havai fişek.ai bir API aracılığıyla GPT-4'e erişim maliyetinin yalnızca 20'de biri kadardır. Llama 3'ün sorgulara son derece hızlı yanıt verecek şekilde yapılandırılabildiğini ekliyor; bu, kendisi gibi farklı sağlayıcıların modellerinden yararlanmaya dayanan şirketlerdeki geliştiriciler için önemli bir husus. “Bu, gecikme, maliyet ve doğruluk arasında bir denklem” diyor.

Açık modeller etkileyici bir hızla düşüyor gibi görünüyor. Birkaç hafta önce Databricks startup'ına girdim DBRX oluşturma çabasının son aşamalarına tanık olmak, kısaca piyasadaki en açık model olan oluşturulmuş bir dil modeli. O taç artık Llama 3'ün. Databricks'in CEO'su Ali Ghodsi de Llama 3'ü “oyunun kurallarını değiştiren” olarak tanımlıyor ve daha büyük modelin “açık ve kapalı kaynak LLM'ler arasındaki oyun alanını eşitleyen GPT 4 kalitesine yaklaştığını” söylüyor.

Llama 3 ayrıca yapay zeka modellerini daha küçük hale getirerek daha az güçlü donanımlarda çalıştırılma potansiyelini de ortaya koyuyor. Meta, en son modelinin iki versiyonunu yayınladı; biri 70 milyar parametreli (eğitim verilerinden öğrenmek için kullandığı değişkenlerin ölçüsü), diğeri ise 8 milyar parametreli. Daha küçük olan model, bir dizüstü bilgisayarda çalışacak kadar kompakttır ancak en azından WIRED'in testinde dikkate değer derecede yeteneklidir.

Meta'nın yayınlanmasından iki gün önce, MistralPesenti'nin Meta'daki ekibinin mezunları tarafından kurulan bir Fransız yapay zeka şirketi, açık kaynaklı Karışım 8x22B. 141 milyar parametresi var ama bunların yalnızca 39 milyarını aynı anda kullanıyor; uzmanların karışımı olarak bilinen bir tasarım. Bu hile sayesinde model, çok daha büyük olan bazı modellere göre oldukça daha yeteneklidir.

Açık kaynak yapay zekayı yayınlayan tek teknoloji devi Meta değil. Bu hafta Microsoft piyasaya çıktı Phi-3-mini ve Apple piyasaya sürüldü AçıkELMakıllı telefonlarda çalışabilen iki küçük ama yetenekli, kullanımı ücretsiz dil modeli.

Önümüzdeki aylar, Llama 3 ve diğer açık modellerin, bazı geliştiriciler için GPT-4 gibi premium yapay zeka modellerinin yerini gerçekten alıp alamayacağını gösterecek. Ve daha da güçlü açık kaynaklı yapay zeka geliyor. Şirket, baş yapay zeka bilimcisi olan Llama 3'ün 400 milyar parametrelik devasa bir versiyonu üzerinde çalışıyor. Yann LeCun dünyanın en yeteneklilerinden biri olması gerektiğini söylüyor.

Elbette tüm bu açıklık tamamen fedakarlıktan ibaret değil. Meta CEO'su Mark Zuckerberg yapay zeka modellerini açtığını söyledi sonuçta şirkete fayda sağlamalı Güvendiği teknolojilerin maliyetini düşürerek, örneğin Meta'nın kendisi için kullanabileceği uyumlu araçlar ve hizmetler üreterek. OpenAI, Microsoft veya Google'ın bu alana hakim olmasını önlemenin Meta'nın da yararına olabileceğini söylemedi.