Kaliforniyalı şirket Cerebras da aynı şeyi yapıyor: Dev Wafer Scale Engine işlemcisi, TSMC'nin 5 nanometre üretiminden yeni bir WSE-3 nesliyle teslim ediliyor. Transistör sayısındaki artışla birlikte (WSE-2'nin yaklaşık 2,5 trilyonu yerine artık toplam 4 adet), hesaplama gücü de benzer elektrik enerjisi tüketimiyle artıyor.
Duyuru
Cerebras, WSE-3 ile CS-3 adı verilen yeni nesil dahili yapay zeka sistemlerini donatıyor. Bunlar, daha büyük yapay zeka modellerini eğitebilmek için daha fazla bellek genişletmesiyle birleştirilebilir. Cerebras, bir CS-3 kümesinin yapay zeka modellerini 24 trilyona kadar parametreyle eğitebileceğinin sözünü veriyor.
Disk işlemcisi
Önceki WSE (2019) ve WSE-2 (2021) gibi, WSE-3 de 30 santimetrelik bir silikon levhanın tüm kullanılabilir alanını kaplıyor. Cerebras, 4 trilyon transistörü yalnızca çok hızlı bir şekilde ağa bağlanan 900.000 AI bilgi işlem çekirdeği için değil, aynı zamanda 44 GB hızlı SRAM için de kullanıyor.
WSE-3'lü Cerebras CS-3 bilgi işlem modülü.
(Resim: Beyinler)
Hızlı arayüzler aracılığıyla 2.048'e kadar CS-3 sistemi birbirine bağlanabilir.
Ayrıca, her biri 1,5 TByte, 12 TByte veya 1,2 Petabyte RAM'li ek bellek genişletmeleri (MemoryX), SwarmX arayüzü aracılığıyla her CS-3'e bağlanabilir.
Cerebras'a göre, dört CS-3'ten oluşan “kompakt bir küme”, tek bir günde 70 milyar parametreli bir yapay zeka modelini optimize edebilir (ince ayar yapabilir). Ancak tek bir CS-2'nin maliyeti yaklaşık 2,5 milyon dolar; Cerebras kesin fiyatlandırmayı kamuya açıklamıyor.
Cerebras'a göre 2048 CS-3'e sahip bir veri merkezi, Llama 70B üretken yapay zeka dil modelini bir günde eğitebilmelidir. Cerebras şu anda Arap yatırımcı Mubadala'nın şirketi G42 ile birlikte bu tür veri merkezlerini inşa ediyor.
Seyrek matrisler
Cerebras, WSE'lerin özel bir özelliğini vurguluyor: seyrek matrisleri otomatik olarak daha hızlı işleyecek şekilde tasarlandılar. Ayrıca “yapılandırılmamış seyreklikten” de yararlanmalısınız. Ana rakip Nvidia ayrıca H100 “Hopper” gibi AI hızlandırıcılarının, örneğin Int8 değerlerini işlerken seyreklik sayesinde iki kat bilgi işlem gücü elde ettiğine dikkat çekiyor.
Cerebras makinelerinde eğitilen modeller, Qualcomm AI bilgi işlem hızlandırıcılarına sahip çıkarım sunucularında özellikle verimli bir şekilde kullanılabilir. İki şirket bu hedefe ulaşmak için birlikte çalışıyor.
(chiw)
Haberin Sonu
Duyuru
Cerebras, WSE-3 ile CS-3 adı verilen yeni nesil dahili yapay zeka sistemlerini donatıyor. Bunlar, daha büyük yapay zeka modellerini eğitebilmek için daha fazla bellek genişletmesiyle birleştirilebilir. Cerebras, bir CS-3 kümesinin yapay zeka modellerini 24 trilyona kadar parametreyle eğitebileceğinin sözünü veriyor.
Disk işlemcisi
Önceki WSE (2019) ve WSE-2 (2021) gibi, WSE-3 de 30 santimetrelik bir silikon levhanın tüm kullanılabilir alanını kaplıyor. Cerebras, 4 trilyon transistörü yalnızca çok hızlı bir şekilde ağa bağlanan 900.000 AI bilgi işlem çekirdeği için değil, aynı zamanda 44 GB hızlı SRAM için de kullanıyor.
WSE-3'lü Cerebras CS-3 bilgi işlem modülü.
(Resim: Beyinler)
Hızlı arayüzler aracılığıyla 2.048'e kadar CS-3 sistemi birbirine bağlanabilir.
Ayrıca, her biri 1,5 TByte, 12 TByte veya 1,2 Petabyte RAM'li ek bellek genişletmeleri (MemoryX), SwarmX arayüzü aracılığıyla her CS-3'e bağlanabilir.
Cerebras'a göre, dört CS-3'ten oluşan “kompakt bir küme”, tek bir günde 70 milyar parametreli bir yapay zeka modelini optimize edebilir (ince ayar yapabilir). Ancak tek bir CS-2'nin maliyeti yaklaşık 2,5 milyon dolar; Cerebras kesin fiyatlandırmayı kamuya açıklamıyor.
Cerebras'a göre 2048 CS-3'e sahip bir veri merkezi, Llama 70B üretken yapay zeka dil modelini bir günde eğitebilmelidir. Cerebras şu anda Arap yatırımcı Mubadala'nın şirketi G42 ile birlikte bu tür veri merkezlerini inşa ediyor.
Seyrek matrisler
Cerebras, WSE'lerin özel bir özelliğini vurguluyor: seyrek matrisleri otomatik olarak daha hızlı işleyecek şekilde tasarlandılar. Ayrıca “yapılandırılmamış seyreklikten” de yararlanmalısınız. Ana rakip Nvidia ayrıca H100 “Hopper” gibi AI hızlandırıcılarının, örneğin Int8 değerlerini işlerken seyreklik sayesinde iki kat bilgi işlem gücü elde ettiğine dikkat çekiyor.
Cerebras makinelerinde eğitilen modeller, Qualcomm AI bilgi işlem hızlandırıcılarına sahip çıkarım sunucularında özellikle verimli bir şekilde kullanılabilir. İki şirket bu hedefe ulaşmak için birlikte çalışıyor.
(chiw)
Haberin Sonu