TT-Forge™

TT-Forge™はTenstorrentのMLIRベースのコンパイラーで、ドメイン固有のコンパイラーからカスタム・カーネル・ジェネレーターまで、様々なMLフレームワークで動作するように設計されています。

TT-Forge™ は、Tenstorrent の既存の AI ソフトウェア・エコシステムとネイティブに統合されているため、簡単に構築できます。

革新のために設計された

オープンソースの柔軟性を念頭に設計されたTT-Forgeは、OpenXLA、MLIR、ONNX、TVM、PyTorch、TensorFlowと連携します。TT-Forgeは、カスタムシリコン上でAIワークロードを推進するためのモジュラーな基盤を提供します。モデルを最適化されたIRに落とし込み、TT-NNおよびTT-Metalium（Tenstorrentの低レベルAIハードウェアSDK）上で実行できるようにします。

なぜMLIRなのか？

MLIRはモジュール式で拡張可能で、マルチレベルの抽象化を可能にします。複数のフレームワークにまたがり、カスタム方言をサポートし、AIからHPCまで幅広く対応します。MLIRの柔軟な設計のおかげで、TT-Forgeは新しいオペレーション、フレームワーク、ハードウェアターゲットを素早く取り入れられます。MLIRのエコシステムが拡大するにつれて、TT-Forgeもそれと歩調を合わせて進化します。

どこからでも*（ほぼ）あなたのモデルを持ち込めます

TT-XLA

JAXとPyTorchを使ったシングルチップのプロジェクト

TT-XLA is Tenstorrent’s PJRT-based bridge for compiling and running models from JAX and PyTorch on Tenstorrent hardware. It supports just-in-time (JIT) compilation through StableHLO, feeding into TT-MLIR for optimized execution.

With native support in JAX and integration through PyTorch/XLA, TT-XLA compiles models to run on Tenstorrent hardware—with minimal changes to your existing code and support for multi-chip execution.

TT-Forge-FE

ONNX と TensorFlow を用いたマルチチップ・プロジェクト

TT-Forge-FE は、ディープラーニングモデルの計算グラフを最適化・変換するために設計された、Tenstorrent のフレームワーク非依存のフロントエンドです。TT-TVM を基盤としており、ONNX や TensorFlow などの機械学習フレームワークの取り込みに対応しているため、モデルを Tenstorrent のハードウェアに効率的に移行しやすくなります。

特徴

パフォーマンス

最適化されたコンパイルとカスタム方言（TTIR、TTNN、TTKernel）により、効率的な実行が可能になり、Tenstorrentハードウェア上での推論とトレーニングのパフォーマンスを最大化します。tt-explorer によるパフォーマンスの最適化が簡素化されました。

ハードウェア認識型コンパイル

TT-Forge™は単にモデルをコンパイルするだけではなく、そのモデルが動作するハードウェアまで理解しています。TTIRのようなカスタム方言と、TT-MLIRを中心に構築されたコンパイラスタックにより、Tenstorrentのアーキテクチャ向けに最適化されており、高いユーティリゼーション、効率的なメモリアクセス、そしてチップ間でスケールするパフォーマンスを実現します。

ツール

Tenstorrent のツールチェーンは、Tenstorrent ハードウェア上での ML モデルのコンパイル、最適化、実行を簡素化します。主なツールには、TT-Blacksmith（すぐに実行できる学習用サンプル）、TT-Explorer（モデル向けのビジュアルなパフォーマンスアナライザー）、TT-NPE（Network-on-Chip（NoC）のシミュレーター兼プロファイラー）が含まれます。