Firma Tenstorrent, produkująca układy scalone pod kierownictwem Jima Kellera, wypuściła procesor Wormhole nowej generacji przeznaczony do zadań związanych ze sztuczną inteligencją. Oczekuje się, że zapewni on dobrą wydajność w przystępnej cenie.Firma oferuje obecnie dwie dodatkowe karty PCIe, które mogą obsługiwać jeden lub dwa procesory Wormhole, a także stacje robocze TT-LoudBox i TT-QuietBox dla programistów. Wszystkie dzisiejsze ogłoszenia są skierowane do programistów, a nie do osób korzystających z kart Wormhole w zastosowaniach komercyjnych.
„Zawsze cieszymy się, gdy więcej naszych produktów trafia w ręce deweloperów. Systemy do tworzenia wydań wykorzystujące nasze karty Wormhole™ mogą pomóc deweloperom skalować i rozwijać wieloprocesorowe oprogramowanie AI” – powiedział Jim Keller, dyrektor generalny Tenstorrent.Oprócz tej premiery z niecierpliwością czekamy na postępy prac nad zakończeniem produkcji i uruchomieniem naszego produktu drugiej generacji, Blackhole”.
Każdy procesor Wormhole zawiera 72 rdzenie Tensix (pięć z nich obsługuje rdzenie RISC-V w różnych formatach danych) i 108 MB pamięci SRAM, zapewniając 262 FP8 TFLOPS przy taktowaniu 1 GHz i mocy obliczeniowej 160 W. Jednoprocesorowa karta Wormhole n150 jest wyposażona w 12 GB pamięci wideo GDDR6 i ma przepustowość 288 GB/s.
Procesory Wormhole zapewniają elastyczną skalowalność, aby sprostać zróżnicowanym potrzebom obciążeń. W standardowej konfiguracji stacji roboczej z czterema kartami Wormhole n300, procesory można połączyć w jedną jednostkę, która w oprogramowaniu jest widoczna jako zunifikowana, szeroka sieć rdzeniowa Tensix. Taka konfiguracja pozwala akceleratorowi obsługiwać to samo obciążenie, podzielone między czterech programistów lub uruchamiać do ośmiu różnych modeli sztucznej inteligencji jednocześnie. Kluczową cechą tej skalowalności jest możliwość lokalnego działania bez konieczności wirtualizacji. W środowisku centrum danych procesory Wormhole wykorzystują PCIe do rozbudowy wewnątrz maszyny lub Ethernet do rozbudowy zewnętrznej.
Pod względem wydajności, jednoprocesorowa karta Wormhole n150 firmy Tenstorrent (72 rdzenie Tensix, częstotliwość 1 GHz, 108 MB pamięci SRAM, 12 GB pamięci GDDR6, przepustowość 288 GB/s) osiągnęła 262 FP8 TFLOPS przy poborze mocy 160 W, natomiast dwuprocesorowa karta Wormhole n300 (128 rdzeni Tensix, częstotliwość 1 GHz, 192 MB pamięci SRAM, agregacja 24 GB pamięci GDDR6, przepustowość 576 GB/s) osiąga do 466 FP8 TFLOPS przy poborze mocy 300 W.
Aby zobrazować 300 W mocy 466 TFLOPS FP8 w kontekście, porównamy to z tym, co lider rynku sztucznej inteligencji oferuje przy tej samej mocy obliczeniowej. Procesor A100 firmy Nvidia nie obsługuje FP8, ale obsługuje INT8, osiągając maksymalną wydajność 624 TOPS (1248 TOPS przy rozproszonym układzie). Dla porównania, procesor H100 firmy Nvidia obsługuje FP8 i osiąga maksymalną wydajność 1670 TFLOPS przy 300 W (3341 TFLOPS przy rozproszonym układzie), co znacząco różni się od Wormhole n300 firmy Tenstorrent.
Jest jednak jeden poważny problem. Wormhole n150 firmy Tenstorrent kosztuje 999 dolarów, a n300 1399 dolarów. Dla porównania, pojedyncza karta graficzna Nvidia H100 kosztuje 30 000 dolarów, w zależności od ilości. Oczywiście nie wiemy, czy cztery czy osiem procesorów Wormhole może faktycznie zapewnić wydajność pojedynczego H300, ale ich TDP wynosi odpowiednio 600 W i 1200 W.
Oprócz kart Tenstorrent oferuje gotowe stacje robocze dla deweloperów, w tym 4 karty n300 w tańszym modelu TT-LoudBox z procesorem Xeon i aktywnym chłodzeniem oraz zaawansowanym modelu TT-QuietBox z funkcją chłodzenia cieczą Xiaolong (opartym na procesorze EPYC).
Czas publikacji: 29 lipca 2024 r.