Każdy chip WSE-3, o wielkości pudełka do pizzy, zawiera zdumiewające cztery biliony tranzystorów, zapewniając dwukrotnie wyższą wydajność niż poprzedni model firmy (który był również poprzednim rekordzistą świata) przy tym samym koszcie i poborze mocy. Kiedy są one połączone w system CS-3, mogą najwyraźniej zapewnić wydajność pokoju pełnego serwerów w jednym urządzeniu wielkości mini-lodówki.

Cerebras twierdzi, że CS-3 obsługuje 900 000 rdzeni AI i 44 GB pamięci SRAM na chipie, zapewniając do 125 petaFLOPS szczytowej wydajności AI. Teoretycznie powinno to wystarczyć, by znaleźć się wśród 10 najlepszych superkomputerów na świecie - choć oczywiście nie został on przetestowany w tych testach porównawczych, więc nie możemy być pewni, jak dobrze by sobie poradził.

Aby przechowywać wszystkie te dane, opcje pamięci zewnętrznej obejmują 1,5 TB, 12 TB lub ogromne 1,2 petabajta (PB), czyli 1200 TB. CS-3 może trenować modele AI obejmujące do 24 bilionów parametrów - dla porównania, większość modeli AI ma obecnie miliardy parametrów, a GPT-4 szacuje się na około 1,8 biliona. Cerebras twierdzi, że CS-3 powinien być w stanie wytrenować model o jednym bilionie parametrów tak łatwo, jak obecne komputery oparte na GPU trenują marny model o jednym miliardie parametrów.

Dzięki procesowi produkcji płytek w chipach WSE-3, CS-3 został zaprojektowany tak, aby był skalowalny, umożliwiając zgrupowanie do 2 048 jednostek w jeden ledwo pojmowalny superkomputer. Byłoby to w stanie osiągnąć do 256 exaFLOPS, podczas gdy najlepsze superkomputery na świecie wciąż grają z nieco ponad jednym exaFLOP. 

MOŻE ZAINTERESUJE CIĘ TAKŻE

Inne

Sztuczna inteligencja pomaga badać media cyfrowe

Co słuchana przez nas muzyka mówi o naszej osobowości? Jak na podstawie setek tysięcy opinii o restauracjach zjeść coś dobrego we Wrocławiu? Odpowiedzi m.in. na te pytania szukali studenci Politechniki Wrocławskiej, wykorzystując w swoich badaniach sztuczną inteligencję.

Raporty

Sztuczna inteligencja kluczem do bezpiecznej i efektywnej modernizacji IT

Aż 58% przedsiębiorstw na świecie zwiększyło poziom swojego bezpieczeństwa dzięki modernizacji infrastruktury IT i aplikacji – wskazują wyniki raportu Red Hat.

Już teraz wydaje się, że modele sztucznej inteligencji rozwijają się w zastraszającym tempie, ale ten rodzaj technologii tylko jeszcze bardziej podkręci ogień. Bez względu na to, jaką pracę wykonujesz, wydaje się, że systemy AI będą pojawiać się w Twojej pracy, a nawet w Twoim hobby, szybciej niż kiedykolwiek.

Źródło: Cerebras