Luminous, Avrupa’daki AI açığını kapatıyor: Aleph Alpha, ABD’li sağlayıcılarla aynı seviyede
Alman yapay zeka şirketi Aleph Alpha’nın araştırma departmanı etkileyici bir performans raporu sundu: Tarafsız kıyaslamalara göre, Luminous ailesinin AI modelleri, ChatGPT konuşma AI’sının yayıncısı OpenAI’nin GPT-3’ünden daha yüksek operasyonel verimlilik gösteriyor. Luminous ile Avrupa yapay zekası, performans özellikleri, yani ortak büyük dil modelleri (LLM’ler) ve temeli oluşturan temel modeller açısından ilk kez Amerika Birleşik Devletleri’ndeki dünyanın en iyi yapay zeka sistemleriyle eşit olmalıdır. ChatGPT gibi uygulamalar.
Aydınlanma: David, Goliath’a Karşı?
Karşılaştırma için, Heidelberg araştırma ekibi Almanya’da geliştirilen Luminous Foundation Modellerini sistematik bir dizi teste tabi tuttu ve diğer şeylerin yanı sıra 70 milyar parametreli Luminous-supreme modelini OpenAI , BigScience ve Meta AI’dan üç modelle karşılaştırdı. iki kattan fazla, yani davinci (OpenAI, 175 milyar parametre), BLOOM (BigScience, 176 milyar parametre) ve OPT (Meta AI, 175 milyar parametre) ile. Kriterler bağımsız araştırma grubu EleutherAI’den geliyor, onlar hakkında makalenin sonunda konuşacağız.
Yüksek doğruluk ve daha büyük modellerle aynı seviyede
Boyutsal farklılıklar göz önüne alındığında, Heidelberg modelinin doğruluğu, yani doğruluğu ve doğruluğu, kulaklarımızı dikmemize neden oluyor. Sınıflandırma, kapalı metin tabanlı soruları yanıtlama, muhakeme ve muhakeme, okuduğunu anlama ve hatta doğal dil çıkarımı ile ilgili görevler için Luminous, OpenAI ve Meta’nın karşılaştırma adaylarıyla aynı seviyedeyken, BLOOM bazı durumlarda önemli ölçüde beş kategoriden dördünde birinci oldu. Luminous, aynı seviyede performansla iki kat daha verimli ve bu da onu son derece rekabetçi kılıyor. Kurucu ve CEO Jonas Andrulis’e göre şu anda test aşamasında olan 300 milyar parametreli bir versiyonun piyasaya sürülmesi, oldukça karmaşık ve kritik uygulamalar için olanaklar sunacak, bu nedenle heyecan verici olmalı.
En İyi İşletme Karşılaştırması: Aleph Alpha’dan Luminous ve OpenAI’den davinci, BigScience’tan BLOOM ve Meta AI’dan OPT
(Resim: Aleph Alpha, hafif performans karşılaştırması)
Şimdiye kadar, Aleph Alpha’nın AI modelleri, 13 ila 70 milyar parametre arasında üç boyutlu olarak geliyor. Daha sonraki testlerde, bu üç model kategorisinin yetenekleri karşılaştırma amacıyla test edildi: Luminous-base (13B), Luminous-extended (30B) ve Luminous-supreme (70B), 175 milyar OpenAI davinci parametresine (davinci) karşı çok iyi performans gösterdi. GPT-3 ailesinden üretken bir metin modeli) – hem gelişmiş metin işlemede hem de çok adımlı metin eklerken (birkaç vuruş önerisi). Test sıfır ila beş adıma baktı. Özellikle Luminous ailesinin en genç üyesi olan 70 milyar metrik Luminous-supreme, testlerde çok iyi performans gösterdi ve bazı durumlarda OpenAI’nin metin modelini geride bıraktı. Tam performans raporu, Aleph Alpha araştırma alanında halka açıktır.
Luminous kardeşler (13 ila 70 milyar parametre), OpenAI’nin davinci’sini (175 milyar parametre) ikna edici bir şekilde bu şekilde yendi.
(Resim: Aleph Alpha, hafif performans karşılaştırması)
Aydınlık: Beş Avrupa dilinde metin tabanı
Karşılaştırma, metinleri sıralama, değerlendirme ve oluşturma görevlerinin yanı sıra metin içeriğiyle ilgili soruları yanıtlamayı içeriyordu. Test kitinin GitHub açıklamasına göre, tüm görevler ve sonuçlar tekrarlanabilir olmalıdır. Spektrum, Aleph Alpha Playground ve API istemcisinin kullanıcılara ve uygulama geliştiricilere sunduğu üç temel seçeneğe karşılık gelir: sorular ve cevaplar, metin entegrasyonu ve yüklenen metinlerin özeti. Görüntüler ve görüntü-metin kombinasyonları da Aleph Alpha ile kombinasyon halinde (multimode) işlenebilir, ancak bu, görünüşe göre bu kıyaslama testinde hiçbir rol oynamadı. Aydınlık modeller, İngilizce, Almanca, Fransızca, İtalyanca ve İspanyolca dillerinde seçilen kaynaklarla çok dilli metin tabanlı olarak önceden eğitilir ve bu dillerin her biri için eğitime 400 ila 588 milyar jeton girer. OpenAI’nin GPT-3 eğitim veritabanı göz önüne alındığında, bazı kullanıcıların zaten ChatGPT’yi test ederken fark ettikleri gibi (“İngilizce ile 10 kat daha iyi çalışıyor gibi görünüyor.”)”)).
Eng(lisch)er horizon: GPT-3 neredeyse hiç yabancı dil bilmiyor
Karşılaştırma için: GPT-3 eğitimine toplam 499 milyar jeton girdi, bunların çoğu (410 milyar) filtrelenmiş “ortak taramalardan”, yani World Wide Web’den trol yoluyla çalınan konuşma verilerinden geldi. 67 milyar token kitaplardan, 19 milyar token web bağlantılarını daha uzun bir süre araştıran “WebText2” adlı bir veri koleksiyonundan ve yalnızca 3 milyar (eğitim karışımında yaklaşık %3 ağırlık) İngilizce Wikipedia’dan geliyor – ve görünüşe göre sadece bundan.
GPT-3’ü eğitmek için milyarlarca jeton ve bunların ağırlık yüzdesi olarak kullanılan kayıtlar.
(Resim: arxiv.org/former OpenAI ekibi)
Özel olarak bir dilde eğitilen önceki model GPT-2’den farklı olarak GPT-3, eğitim sırasında bazı yabancı dil materyalleri de gördü. arxiv.org’da saklanan GPT-3 (“Dil Modelleri Çok Az Kişidir”) hakkındaki makale kabaca rakamları veriyor: GPT-3’ten alınan eğitim verilerinin yüzde 93’ü İngilizce idi. Biraz değersiz görünen kalan yüzde yedi, dünyanın diğer dillerinde materyal içeriyordu, ama kesinlikle hepsi değil. Avrupa dilleri bu nedenle GPT-3 eğitim veri setinde yetersiz temsil edildi ve bundan türetilen uygulamalarda ciddi şekilde yetersiz temsil ediliyor. Aynısı Afrika ve Asya dilleri için de geçerlidir (bu nedenle, örneğin Afrika’da kendi yapay zeka modelleri için dilsel gerçekliği daha iyi temsil eden çok sayıda girişim vardır).
Aleph Alpha ve EleutherAI – Avrupa alternatifleri
Bilimsel araştırmanın temeli, birkaç isabetli otoregresif dil modelini değerlendirmek için bir çerçeve olan araştırma topluluğu EleutherAI’nin “Evaluation Harness lm-eval” paketiydi. Farklı bir mimariye sahip olan BERT gibi çift yönlü modellerin aksine bu, Luminous’un da tip olarak sınıfına ait olduğu GPT-2, GPT-3 ve GPT-Neo gibi büyük AI trafo modelleri anlamına gelir.
Andrulis’e göre Luminous “birçok çevrede güçlü bir alternatif ve bu nedenle Avrupa’nın teknolojik egemenliğine doğru önemli bir adım”. Halihazırda pratik kullanım örnekleri var: Örneğin, Heidelberg şehri, Aleph Alpha tarafından geliştirilen, derlenmiş bir veritabanı üzerinde çalışan ve kamu yönetimi ile halk arasındaki alışverişi kolaylaştıran Lumi vatandaş asistanını kullanıyor. Baden-Württemberg şirketinin bir başka odak noktası, AI kontrollü yeteneklerin günlük uygulamalara hızla dahil edilmesi göz önüne alındığında bir gereklilik olan AI’yı pratikte güvenli hale getirmek için anlaşılabilirlik ve açıklanabilirliktir (Açıklanabilir AI).
Yapay zekanın açıklanabilirliği, güvenliği ve görünürlüğü
Bu amaçla ekip, Ocak 2023’ün sonlarında uluslararası ilgi gören bir araştırma makalesi sundu. CEO ve kurucu, çıktı üzerinde büyük hassasiyet ve kontrol gerektiren yüksek kaliteli işler için o sırada Twitter’da ChatGPT’yi “işe yaramaz” olarak nitelendirdi. Andrulis ve ekibi, temel araştırmaları nedeniyle 2021’de Alman Yapay Zeka Ödülü’nü kazandı. Aleph Alpha’nın Açıklanabilir AI araştırma tweet’i yaklaşık çeyrek milyon Twitter okuyucusuna ulaştı ve görünüşe göre şirketin Almanca konuşulan sınırların ötesindeki görünürlüğünü artırdı.
Daha fazla bilgi arıyorsanız veya modelleri test etmek istiyorsanız, bunları Aleph Alpha web sitesinde bulabilirsiniz. Luminous’a Playground (ücretsiz başlangıç kredisi ile) veya API aracılığıyla erişilebilir. Web sitesinin Araştırma bölümünde ek araştırma bulunabilir ve karşılaştırmalı değerlendirmelerle birlikte, Aydınlık Performans Raporu bilgi istemleri ve sonuçların örneklerini sunar. 300 milyar parametreli Luminous World şu anda test aşamasında ve bu yıl çıkması bekleniyor.
ayrıca oku
Daha fazla göster
daha az göster
EleutherAI: Bağımsız araştırmaya karşı kontrpuanlar
Merkezi olmayan bir araştırma topluluğu olarak EleutherAI, AI’nın anlaşılabilirliğini ve ölçeklenebilirliğini, açık kaynaklı AI araştırmasını ve yapay zeka için uyumu, yani AI modellerini ve uygulamalarını insan değerlerine ve bunların uygulamalarda güvenli kullanımına göre hizalamayı amaçlar. 2022’nin başlarında grubun kendisi, OpenAI’nin GPT-3’üne bir açık kaynak alternatifi olarak kabul edilen 20 milyar parametreli bir açık kaynak dil modeli olan GPT-NeoX-20B’yi tanıttı. Bağımsız araştırmacılardan oluşan topluluk, Discord ve GitHub aracılığıyla birlikte çalışıyor ve GPT-3’ün İlkbahar 2020’de piyasaya sürülmesinden bu yana Microsoft OpenAI durumunda ciddi şekilde sınırlandırılmış olan ABD kaynaklı tescilli modellere alternatifler için savunuculuk yapıyor.
Kolektif, yapay zeka araştırmacıları, mühendisleri ve geliştiricilerinden oluşan gevşek bir birlik olarak Temmuz 2020’den beri varlığını sürdürüyor. Ortak ilgi alanlarının özü, Aleph Alpha’nın araştırma departmanının yaptığı gibi, EleutherAI’de yer alan ve kendi gelişimlerini doğrulamak için kolektifte oluşturulan araştırma yöntemlerini kullanan “hiper ölçekleyicilerin” Avrupalı rakipleri ile açık kaynaklı yapay zekadır. Heidelberg merkezli şirket, 2019’da kurulduğundan beri bu tabandan gelen yapay zeka hareketini destekliyor ve ayrıca bir arxiv belgesi ve GitHub deposu bulunan MAGMA modeli gibi modellerinin ve araştırmalarının bazı kısımlarını halka açık hale getirdi.
(onun)
Haberin Sonu