TT-Forge™
TT-Forge™はTenstorrentのMLIRベースのコンパイラーで、ドメイン固有のコンパイラーからカスタム・カーネル・ジェネレーターまで、様々なMLフレームワークで動作するように設計されています。
TT-Forge™ は、Tenstorrent の既存の AI ソフトウェア・エコシステムとネイティブに統合されているため、簡単に構築できます。
革新のために設計された
オープンソースを念頭に置いて構築されたTT-Forgeは、OpenXLA (JAX, Shardy)、LLVMのMLIRとtorch-mlir、ONNX、TVM、PyTorch、TensorFlowといった主要なテクノロジーと統合されています。
ハードウェアでの実行にあたり、TT-ForgeはTT-MetaliumとTT-NNを活用し、Tenstorrentのハードウェア向けにワークロードを最適化します。Tenstorrentの広範なオープンソースソフトウェアエコシステムの一部として、TT-ForgeはAIワークロードのための柔軟で拡張性の高い基盤を提供し、オープンスタンダードとコミュニティ主導の開発によって、高レベルのフレームワークと低レベルの実行を橋渡しします。
なぜMLIRなのか？AI コンパイルへの統一的アプローチ
MLIRは、PyTorch、OpenXLA、JAXなどのオープンソースフレームワークとシームレスに統合され、構造化されたコンパイルアプローチを可能にします。TT-MLIRコンパイラは、高レベルモデルやHPCワークロードからTenstorrentハードウェア実行への橋渡しの役割を果たします。さらに、MLIRは将来の統合に向けて急速に拡大するエコシステムを提供しています。
tt-torch は MLIR ネイティブのオープンソース PyTorch 2.X と torch-mlir ベースのフロントエンドです。tt-mlir に stableHLO (SHLO) グラフを提供します。
PT2.XコンパイルによるPyTorchモデルの取り込みと、torch-mlir(ONNX->SHLO)によるONNXモデルの取り込みをサポートします。
また、PyTorchのグラフを個々の操作に分解し、並列化されたバグや見つからない操作の発見を容易にします。
TT-Forge-FEは、ディープラーニングモデルの計算グラフを最適化・変換し、性能と効率を向上させるために設計されたグラフコンパイラです。
TVM（tt-tvm）を介して、PyTorch、ONNX、TensorFlow、および類似のMLフレームワークの取り込みをサポートします。
TVM IRに基づき、異なるフレームワークからのグラフを個々の操作に分解することができ、モデル投入の手間をデータドリブンにします。
tt-xla は PJRT インターフェースを利用して、JAX（将来的には他のフレームワークも）、tt-mlir、Tenstorrent ハードウェアを統合します。
jit コンパイル経由で JAX モデルの取り込みをサポートし、StableHLO (SHLO) グラフを tt-mlir コンパイラーに提供します。
tt-xlaプラグインはJAXでネイティブにロードされ、tt-mlirコンパイラーとランタイムでJAXモデルをコンパイルして実行する。
