Tenstorrent Galaxy
Tenstorrent Galaxy Wormhole Server는 기업과 연구 기관을 위한 Tenstorrent의 확장 가능한 초고밀도 AI 컴퓨팅 솔루션으로, 비용 대비 우수한 성능 밀도를 제공합니다.
이러한 사전 구성된 랙 장착 Tenstorrent Galaxy 시스템은 32개의 Tenstorrent Wormhole™ 프로세서로 구성된 Ethernet-based mesh에 기반하여 고밀도, 확장 가능한 고성능 AI 컴퓨팅을 제공하도록 설계되었습니다.
Specification
Tenstorrent Wormhole Tensix Processor
Tenstorrent Galaxy Wormhole Server
AI Processor(s)
Tenstorrent Wormhole
32 x Tenstorrent Wormhole
Tenstorrent Galaxy Modules
1
32
Tensix Cores
80
2,560
AI Clock
1 GHz
1 GHz
TeraFLOPs (FP8)
292
9,322 (9.3 PetaFLOPs)
SRAM
120MB (1.5MB per Tensix Core)
3.8GB (120MB per Module)
Memory
12GB GDDR6 (192-bit memory bus, 12 GT/sec)
384GB GDDR6, globally addressable
Power
200W
7.5 kW
System Interface
3.2 Tbps Ethernet (16 x 200Gbps)
41.6 Tbps Ethernet Internal Connectivity
Board Management Controller (BMC)
-
IMX8
지원되는 데이터 유형
Floating point
FP8, FP16, FP32*
*Output only
Block floating point
BFP2, BFP4, BFP8
Integer
INT8, INT16, INT32*
*Output only
Unsigned integer
UINT8
TensorFloat
TF32
매우 높은 밀도.
Tenstorrent Galaxy Wormhole Server는 Tenstorrent의 초고밀도 AI 컴퓨팅 솔루션으로, 비용 대비 우수한 성능 밀도를 제공합니다. 확장 가능하도록 설계되어, HPC 및/또는 슈퍼컴퓨터의 주요 컴퓨팅 엔진으로 응용 프로그램을 갖춘 슈퍼컴퓨터의 완벽한 AI Sidecar입니다. Tenstorrent Galaxy는 복잡한 네트워킹/소프트웨어 계층이 필요 없이 세분화되도록 설계되어 여러 개의 작은 호스트 또는 단일 호스트 간에 쉽게 전환할 수 있습니다.
하나의 서버에는 384GB의 Tensix Processor GDDR6 메모리가 포함되어 있으며, 확장할수록 비용 대비 성능이 증가합니다. Tenstorrent Galaxy는 Tenstorrent의 오픈 소스 TT-Metalium™ SDK에서 지원되어 엔지니어가 메탈에 대한 전체 액세스 권한을 얻을 수 있습니다.
