TT-Forge™
TT-Forge™는 도메인별 컴파일러부터 맞춤형 커널 생성기까지 다양한 ML 프레임워크와 함께 작동하도록 설계된 Tenstorrent의 MLIR 기반 컴파일러입니다.
TT-Forge™는 Tenstorrent의 기존 AI 소프트웨어 에코시스템과 기본적으로 통합되어 있으므로 쉽게 빌드할 수 있습니다.
MLIR: AI 컴파일을 위한 통합 접근 방식
TT-MLIR 컴파일러는 하이레벨 모델과 HPC 워크로드에서 Tenstorrent 하드웨어 실행으로 연결되는 다리 역할을 합니다. MLIR은 PyTorch, OpenXLA, JAX와 같은 오픈 소스 프레임워크와 원활하게 통합되어 컴파일에 대한 구조화된 접근 방식을 가능하게 합니다. MLIR 에코시스템이 확장됨에 따라 향후 통합의 기회도 커지고 있습니다.
혁신을 위한 설계
오픈소스를 염두에 두고 구축된 TT-Forge™는 OpenXLA(JAX, 샤디), LLVM의 MLIR 및 토치-mlir, ONNX, TVM, PyTorch, TensorFlow 등의 주요 기술과 통합됩니다.
TT-Forge™는 AI 워크로드를 위한 유연하고 확장 가능한 기반을 제공하며, 개방형 표준과 커뮤니티 중심 개발을 통해 높은 수준의 프레임워크와 낮은 수준의 실행을 연결합니다. 하드웨어 실행의 경우, TT-Forge™는 Tenstorrent의 AI 소프트웨어 스택을 활용하여 Tenstorrent 하드웨어에 맞게 워크로드를 최적화합니다.
tt-torch는 MLIR 네이티브, 오픈 소스, PyTorch 2.X 및 torch-mlir 기반 프런트엔드입니다. tt-mlir에 안정적인 HLO(SHLO) 그래프를 제공합니다.
PT2.X 컴파일을 통한 PyTorch 모델 수집과 torch-mlir(ONNX->SHLO)를 통한 ONNX 모델 수집을 지원합니다.
또한 PyTorch 그래프를 개별 연산으로 분해하여 병렬화된 버그나 누락된 연산 발견을 용이하게 해줍니다.
TT-Forge-FE는 딥러닝 모델을 위해 계산 그래프를 최적화하고 변환하여 성능과 효율성을 향상시키도록 설계된 그래프 컴파일러입니다.
이 컴파일러는 TVM(tt-tvm)을 통해 PyTorch, ONNX, TensorFlow 및 유사한 ML 프레임워크의 수집을 지원합니다.
TVM IR을 기반으로 다양한 프레임워크의 그래프를 개별 작업으로 세분화하여 모델 불러오기 작업을 데이터 기반으로 수행할 수 있습니다.
tt-xla는 PJRT 인터페이스를 활용하여 JAX(및 향후 다른 프레임워크), tt-mlir 및 Tenstorrent 하드웨어를 통합합니다.
jit 컴파일을 통한 JAX 모델 수집을 지원하며, tt-mlir 컴파일러에 StableHLO(SHLO) 그래프를 제공합니다.
tt-xla 플러그인은 tt-mlir 컴파일러와 런타임으로 JAX 모델을 컴파일하고 실행하기 위해 JAX에 기본적으로 로드됩니다.
