TT-Forge™
TT-Forge는 Tenstorrent의 MLIR 기반 컴파일러 스택으로, 모델을 컴파일하고, 최적화하고, 디버그하고, 확장할 수 있게 해줍니다.
이제 퍼블릭 베타로 제공되는 TT-Forge는 여러분이 함께 만들어갈 수 있습니다. 기능을 제안하고, 프로토타입을 만들고, 바운티를 가져가세요.
혁신을 위해 설계됨
오픈소스 유연성을 염두에 두고 설계된 TT-Forge는 OpenXLA, MLIR, ONNX, TVM, PyTorch, TensorFlow와 연결됩니다. TT-Forge는 커스텀 실리콘에서 AI 워크로드를 밀어붙일 수 있는 모듈식 기반을 제공합니다. 모델을 최적화된 IR로 낮춰 실행하며, 이는 Tenstorrent의 로우레벨 AI 하드웨어 SDK인 TT-NN 및 TT-Metalium에서 구동됩니다.
왜 MLIR인가?
MLIR은 모듈식이고 확장 가능하며, 다단계 추상화를 가능하게 합니다. 여러 프레임워크에 걸쳐 작동하고, 커스텀 dialect를 지원하며, AI부터 HPC까지 모두 다룹니다. MLIR의 유연한 설계 덕분에 TT-Forge는 새로운 ops, 프레임워크, 하드웨어 타깃을 빠르게 수용할 수 있습니다. MLIR 생태계가 확장될수록 TT-Forge도 그와 함께 발전합니다.
거의 어디서나 모델을 가져올 수 있습니다*
TT-XLA
JAX와 PyTorch를 위한 멀티칩 프로젝트
TT-XLA는 JAX와 PyTorch의 모델을 Tenstorrent 하드웨어에서 컴파일하고 실행하기 위한 Tenstorrent의 PJRT 기반 브리지입니다. StableHLO를 통한 just-in-time (JIT) 컴파일을 지원하며, 최적화된 실행을 위해 TT-MLIR로 전달됩니다.
JAX의 네이티브 지원과 PyTorch/XLA를 통한 통합을 통해 TT-XLA는 기존 코드 변경을 최소화하면서 Tenstorrent 하드웨어에서 모델이 실행되도록 컴파일하며, 멀티칩 실행도 지원합니다.
TT-Forge-ONNX
ONNX와 TensorFlow를 위한 싱글칩 프로젝트
TT-Forge-ONNX는 딥러닝 모델의 계산 그래프를 최적화하고 변환하도록 설계된 Tenstorrent의 프레임워크 불가지론적 프런트엔드입니다. TT-TVM 기반으로 구동되며 ONNX, TensorFlow 및 유사한 ML 프레임워크의 입력을 지원하여, 모델을 Tenstorrent 하드웨어로 더 쉽게 그리고 효율적으로 가져올 수 있게 합니다.
기능
성능
최적화된 컴파일과 커스텀 dialect(TTIR, TTNN, TTKernel)는 효율적인 실행을 가능하게 하여 Tenstorrent 하드웨어에서 추론 성능을 극대화합니다. tt-explorer를 통해 성능 최적화도 간소화됩니다.
하드웨어 인지형 컴파일
TT-Forge™는 모델을 단순히 컴파일하는 데 그치지 않고, 그 모델이 실행될 하드웨어를 이해합니다. TTIR과 같은 커스텀 dialect와 TT-MLIR 중심으로 구축된 컴파일러 스택을 통해 Tenstorrent의 아키텍처에 최적화되어, 높은 활용도, 효율적인 메모리 액세스, 그리고 칩 전반에 걸친 확장 가능한 성능을 제공합니다.
도구
Tenstorrent의 툴체인은 Tenstorrent 하드웨어에서 ML 모델의 컴파일, 최적화, 실행을 단순화합니다. 주요 도구로는 TT-Blacksmith(즉시 실행 가능한 학습 예제), TT-Explorer(모델용 시각적 성능 분석기), 그리고 TT-NPE(network-on-chip (NoC) 시뮬레이터 및 프로파일러)가 있습니다.