Firma Tenstorrent, firma produkująca chipy pod przewodnictwem Jima Kellera, wypuściła na rynek procesor Wormhole nowej generacji do obciążeń AI, który ma zapewnić dobrą wydajność w przystępnej cenie.Firma oferuje obecnie dwie dodatkowe karty PCIe, które mogą pomieścić jeden lub dwa procesory Wormhole, a także stacje robocze TT-LoudBox i TT-QuietBox dla twórców oprogramowania. Wszystkie dzisiejsze ogłoszenia są skierowane do programistów, a nie do tych, którzy używają płyt Wormhole do zastosowań komercyjnych.
„Zawsze miło jest przekazywać więcej naszych produktów w ręce programistów. Systemy rozwoju wersji wykorzystujące nasze karty Wormhole™ mogą pomóc programistom w skalowaniu i opracowywaniu wieloukładowego oprogramowania AI” – powiedział Jim Keller, dyrektor generalny Tenstorrent.Oprócz tej premiery jesteśmy podekscytowani postępem, jaki czynimy w zakresie wypuszczenia taśmy i uruchomienia naszego produktu drugiej generacji, Blackhole”.
Każdy procesor Wormhole zawiera 72 rdzenie Tensix (z których pięć obsługuje rdzenie RISC-V w różnych formatach danych) i 108 MB pamięci SRAM, zapewniając 262 FP8 TFLOPS przy 1 GHz przy projektowej mocy cieplnej 160 W. Jednoukładowa karta Wormhole n150 wyposażona jest w 12 GB pamięci wideo GDDR6 i charakteryzuje się przepustowością 288 GB/s.
Procesory tunelowe zapewniają elastyczną skalowalność, aby sprostać różnorodnym potrzebom obciążeń. W standardowej konfiguracji stacji roboczej z czterema kartami Wormhole n300 procesory można połączyć w jedną jednostkę, która pojawia się w oprogramowaniu jako ujednolicona, szeroka sieć rdzeniowa Tensix. Taka konfiguracja pozwala akceleratorowi obsłużyć to samo obciążenie pracą, podzielić je między czterech programistów lub uruchomić jednocześnie maksymalnie osiem różnych modeli sztucznej inteligencji. Kluczową cechą tej skalowalności jest to, że może działać lokalnie, bez konieczności wirtualizacji. W środowisku centrum danych procesory Wormhole będą wykorzystywać PCIe do rozbudowy wewnątrz maszyny lub Ethernet do rozbudowy zewnętrznej.
Pod względem wydajności jednoukładowa karta Tenstorrent Wormhole n150 (72 rdzenie Tensix, częstotliwość 1 GHz, 108 MB SRAM, 12 GB GDDR6, przepustowość 288 GB/s) osiągnęła 262 FP8 TFLOPS przy 160 W, podczas gdy dwuukładowa płyta Wormhole n300 (128 rdzeni Tensix, częstotliwość 1 GHz, 192 MB SRAM, zagregowane 24 GB GDDR6, przepustowość 576 GB/s) zapewnia do 466 TFLOPS FP8 przy 300 W.
Aby umieścić 300 W z 466 FP8 TFLOPS w kontekście, porównamy je z tym, co oferuje lider rynku sztucznej inteligencji, Nvidia, przy tej projektowanej mocy cieplnej. Nvidia A100 nie obsługuje FP8, ale obsługuje INT8, z maksymalną wydajnością 624 TOPS (1248 TOPS, gdy jest rzadki). Dla porównania, karta Nvidia H100 obsługuje FP8 i osiąga szczytową wydajność 1670 TFLOPS przy 300 W (3341 TFLOPS przy trybie rzadkim), co znacznie różni się od Wormhole n300 firmy Tenstorrent.
Jednakże jest jeden zasadniczy problem. Wormhole n150 firmy Tenstorrent kosztuje 999 dolarów, a model n300 – 1399 dolarów. Dla porównania, pojedyncza karta graficzna Nvidia H100 kosztuje 30 000 dolarów, w zależności od ilości. Oczywiście nie wiemy, czy cztery czy osiem procesorów Wormhole rzeczywiście jest w stanie zapewnić wydajność pojedynczego H300, ale ich TDP wynoszą odpowiednio 600 W i 1200 W.
Oprócz kart Tenstorrent oferuje gotowe stacje robocze dla programistów, w tym 4 karty n300 w tańszej wersji TT-LoudBox opartej na Xeon z aktywnym chłodzeniem oraz zaawansowany TT-QuietBox z funkcją chłodzenia cieczą Xiaolong (opartą na EPYC).
Czas publikacji: 29 lipca 2024 r