TT-Forge™
TT-Forge™はTenstorrentのMLIRベースのコンパイラーで、ドメイン固有のコンパイラーからカスタム・カーネル・ジェネレーターまで、様々なMLフレームワークで動作するように設計されています。
TT-Forge™ は、Tenstorrent の既存の AI ソフトウェア・エコシステムとネイティブに統合されているため、簡単に構築できます。
MLIR：AIコンパイルへの統一されたアプローチ
TT-MLIR コンパイラーは、高レベルのモデルや HPC ワークロードから Tenstorrent ハードウェア実行へのブリッジとして機能します。MLIR は、PyTorch、OpenXLA、JAX などのオープンソースのフレームワークとシームレスに統合され、コンパイルへの構造的なアプローチを可能にします。MLIRのエコシステムが拡大するにつれて、将来の統合の機会も広がっています。
革新のために設計された
オープンソースを念頭に構築された TT-Forge™ は、OpenXLA (JAX、Shardy)、LLVM の MLIR、torch-mlir、ONNX、TVM、PyTorch、TensorFlow などの主要テクノロジーと統合されています。
TT-Forge™ は、AI ワークロードのための柔軟で拡張可能な基盤を提供し、オープン・スタンダードとコミュニティ主導の開発により、高レベルのフレームワークと低レベルの実行を橋渡しします。ハードウェア実行では、TT-Forge™ はTenstorrentのAIソフトウェア・スタックを活用し、Tenstorrentハードウェア向けにワークロードを最適化します。
tt-torch は MLIR ネイティブのオープンソース PyTorch 2.X と torch-mlir ベースのフロントエンドです。tt-mlir に stableHLO (SHLO) グラフを提供します。
PT2.XコンパイルによるPyTorchモデルの取り込みと、torch-mlir(ONNX->SHLO)によるONNXモデルの取り込みをサポートします。
また、PyTorchのグラフを個々の操作に分解し、並列化されたバグや見つからない操作の発見を容易にします。
TT-Forge-FEは、ディープラーニングモデルの計算グラフを最適化・変換し、性能と効率を向上させるために設計されたグラフコンパイラです。
TVM（tt-tvm）を介して、PyTorch、ONNX、TensorFlow、および類似のMLフレームワークの取り込みをサポートします。
TVM IRに基づき、異なるフレームワークからのグラフを個々の操作に分解することができ、モデル投入の手間をデータドリブンにします。
tt-xla は PJRT インターフェースを利用して、JAX（将来的には他のフレームワークも）、tt-mlir、Tenstorrent ハードウェアを統合します。
jit コンパイル経由で JAX モデルの取り込みをサポートし、StableHLO (SHLO) グラフを tt-mlir コンパイラーに提供します。
tt-xlaプラグインはJAXでネイティブにロードされ、tt-mlirコンパイラーとランタイムでJAXモデルをコンパイルして実行する。
