TT-Forge™
TT-Forge™는 도메인별 컴파일러부터 맞춤형 커널 생성기까지 다양한 ML 프레임워크와 함께 작동하도록 설계된 Tenstorrent의 MLIR 기반 컴파일러입니다.
TT-Forge™는 Tenstorrent의 기존 AI 소프트웨어 에코시스템과 기본적으로 통합되어 있으므로 쉽게 빌드할 수 있습니다.
혁신을 위한 설계
오픈소스를 염두에 두고 제작된 TT-Forge는 OpenXLA(JAX, Shardy), LLVM의 MLIR 및 torch-mlir, ONNX, TVM, PyTorch, TensorFlow를 포함한 핵심 기술과 통합됩니다.
하드웨어 실행을 위해 TT-Forge는 TT-Metalium과 TT-NN을 활용하여 Tenstorrent 하드웨어에 맞게 워크로드를 최적화합니다. 더 넓은 Tenstorrent 오픈소스 소프트웨어 생태계의 일부로서 TT-Forge는 AI 워크로드를 위한 유연하고 확장 가능한 기반을 제공하며, 개방형 표준과 커뮤니티 주도 개발을 통해 상위 수준의 프레임워크와 하위 수준의 실행을 연결합니다.
왜 MLIR인가? AI 컴파일레이션에 대한 통합적 접근법
MLIR은 PyTorch, OpenXLA, JAX와 같은 오픈 소스 프레임워크와 원활하게 통합되어 구조화된 컴파일 접근 방식을 가능하게 합니다. TT-MLIR 컴파일러는 고수준 모델 및 HPC 워크로드를 Tenstorrent 하드웨어 실행으로 연결하는 다리 역할을 합니다. 또한 MLIR은 향후 통합을 위해 빠르게 확장되는 생태계를 제공합니다.
tt-torch는 MLIR 네이티브, 오픈 소스, PyTorch 2.X 및 torch-mlir 기반 프런트엔드입니다. tt-mlir에 안정적인 HLO(SHLO) 그래프를 제공합니다.
PT2.X 컴파일을 통한 PyTorch 모델 수집과 torch-mlir(ONNX->SHLO)를 통한 ONNX 모델 수집을 지원합니다.
또한 PyTorch 그래프를 개별 연산으로 분해하여 병렬화된 버그나 누락된 연산 발견을 용이하게 해줍니다.
TT-Forge-FE는 딥러닝 모델을 위해 계산 그래프를 최적화하고 변환하여 성능과 효율성을 향상시키도록 설계된 그래프 컴파일러입니다.
이 컴파일러는 TVM(tt-tvm)을 통해 PyTorch, ONNX, TensorFlow 및 유사한 ML 프레임워크의 수집을 지원합니다.
TVM IR을 기반으로 다양한 프레임워크의 그래프를 개별 작업으로 세분화하여 모델 불러오기 작업을 데이터 기반으로 수행할 수 있습니다.
tt-xla는 PJRT 인터페이스를 활용하여 JAX(및 향후 다른 프레임워크), tt-mlir 및 Tenstorrent 하드웨어를 통합합니다.
jit 컴파일을 통한 JAX 모델 수집을 지원하며, tt-mlir 컴파일러에 StableHLO(SHLO) 그래프를 제공합니다.
tt-xla 플러그인은 tt-mlir 컴파일러와 런타임으로 JAX 모델을 컴파일하고 실행하기 위해 JAX에 기본적으로 로드됩니다.
