TT-Metalium™
TT-Metalium™은 Tenstorrent의 오픈 소스, Low Level AI 하드웨어 SDK로, 사용자 정의 커널 개발, 실험 등을 위해 Metal에 최대한 가까이 다가갈 수 있도록 도와줍니다. 블랙박스, 암호화된 API 또는 숨겨진 기능은 없습니다.
TT-Metalium™은 모델을 사용자 정의하거나, 새 모델을 작성하거나, 심지어 머신 러닝이 아닌 코드를 실행하려는 개발 고객에게 적합합니다.
Tenstorrent 하드웨어에 직접 액세스하기 위한 bottom up SDK인 TT-Buda™를 찾고 계신가요? TT-Buda™ 문서 사이트
TT-Metalium™은 다양한 CPU와 Tenstorrent 장치를 위한 Low Level 소프트웨어 플랫폼으로, 사용자는 Tensix Core 내의 RISC-V 프로세서, NoC(Network-on-Chip), Matrix 및 Vector 엔진에 직접 액세스할 수 있습니다.
위의 그림은 TT-Metalium™ 플랫폼 위에 구축할 수 있는 소프트웨어 계층을 보여줍니다. TT-Metalium™을 사용하면 개발자는 특정 수학 연산(예: 행렬 곱셈, 이미지 크기 조정 등)을 구현하는 호스트 및 커널 프로그램을 작성한 다음 라이브러리에 패키징할 수 있습니다. 다양한 프레임워크는 라이브러리를 빌딩 블록으로 사용하여 사용자에게 다양한 HPC 및 ML 애플리케이션을 개발할 수 있는 유연한 고수준 환경을 제공합니다.
특징:
No Customization Required
- Python API
- 사용하기 쉬움
- 직관적이고 PyTorch와 유사함
Beginner
Lightweight Optimization/Perf
- Batch
- Library of Fused OP
- Op Selection & Parallelization
- Data formats & Math Fidelity
- Tensor Storage L1 또는 DRAM
- Augmented Python API
Intermediate
Heavyweight Optimization
Write your own custom kernels & OPs
- Fused Kernels
- TMs
Go into TT-Metalium™ code
- Write C++ Kernels
- Understand the Hardware
- Low-Level Optimization
Expert