TT-Metalium™
TT-Metalium™은 Tenstorrent의 오픈 소스 로우레벨 AI 하드웨어 SDK로, 커스텀 커널 개발, 실험 등에서 가능한 한 하드웨어에 가깝게 작업할 수 있도록 해줍니다. 블랙박스, 암호화된 API, 숨겨진 함수가 없습니다.
TT-Metalium™은 모델을 커스터마이즈하거나 새로운 모델을 작성하거나, 심지어 머신러닝이 아닌 코드를 실행하려는 개발 고객에게 매우 적합합니다.
TT-Metalium™은 CPU와 Tenstorrent 디바이스의 이기종 집합을 위한 로우레벨 소프트웨어 플랫폼으로, 사용자가 Tensix Core 내부의 RISC-V 프로세서, NoC(Network-on-Chip), Matrix 및 Vector 엔진에 직접 접근할 수 있게 해줍니다.
아래 그림은 TT-Metalium™ 플랫폼 위에 구축할 수 있는 소프트웨어 계층을 보여줍니다. TT-Metalium™을 사용하면 개발자는 특정 수학 연산(예: 행렬 곱셈, 이미지 리사이징 등)을 구현하는 호스트 및 커널 프로그램을 작성하고, 이를 라이브러리로 패키징할 수 있습니다. 이러한 라이브러리를 빌딩 블록으로 사용하면 다양한 프레임워크가 유연한 고수준 환경을 제공하여, 사용자가 여러 HPC 및 ML 애플리케이션을 개발할 수 있습니다.
기능
tt-nn
커스터마이즈 불필요
- Python APIs
- 사용이 쉬움
- 직관적, PyTorch 유사
초급
tt-nn
경량 최적화/성능
- 배치
- Fused OP 라이브러리
- OP 선택 및 병렬화
- 데이터 형식 및 Math Fidelity
- Tensix Storage L1 또는 DRAM
- 확장된 Python APIs
중급
tt-nn + tt-metalium
헤비웨이트 최적화
직접 커스텀 커널과 OP를 작성
- Fused Kernels
- TMs
TT-Metalium™ 코드로 들어가기
- C++ 커널 작성
- 하드웨어 이해
- 로우레벨 최적화
고급