開発者
Tenstorrentハードウェアでモデルを高速に立ち上げ、実行する方法をご紹介します。
2つのオープンソースSDKにより、可能な限り金属に近づけることも、当社のAIコンパイラに任せることもできます。
モデルサポートテーブル
Qwen 3 32B
QuietBox
LLM
TP=8
QwQ 32B
QuietBox
LLM
TP=8
DeepSeek R1 Distill Llama 3.3 70B
QuietBox
LLM
TP=8
Llama 3.1 70B
Galaxy
LLM
TP=32
Llama 3.1 70B
QuietBox
LLM
TP=8
Llama 3.2 11B Vision
n300
LLM
TP=2
Qwen 2.5 7B
n300
LLM
TP=2
Qwen 2.5 72B
QuietBox
LLM
TP=8
Falcon 7B
n150
LLM
Falcon 7B
QuietBox
LLM
DP=8
Falcon 7B
Galaxy
LLM
DP=32
Falcon 40B
QuietBox
LLM
TP=8
Llama 3.1 8B
p100
LLM
Llama 3.1 8B
p150
LLM
Llama 3.1 8B
2 x p150
LLM
DP=2
Llama 3.1 8B
n150
LLM
Llama 3.2 1B
n150
LLM
Llama 3.2 3B
n150
LLM
Mamba 2.8B
n150
LLM
Mistral 7B
n150
LLM
Mixtral 8x7B
QuietBox
LLM
TP=8
ResNet-50
n150
CNN
224 x 224
ResNet-50
n300
CNN
224 x 224
DP=2
ResNet-50
QuietBox
CNN
224 x 224
DP=8
ResNet-50
Galaxy
CNN
224 x 224
DP=32
ViT
n150
CNN
224 x 224
Stable Diffusion 1.4
n150
CNN
512 x 512
YOLOv4
n150
CNN
320 x 320
YOLOv4
n150
CNN
640 x 640
SegFormer Semantic Segmentation
n150
CNN
512 x 512
Stable Diffusion 3.5 medium
n150
CNN
512 x 512
BERT-Large
n150
NLP
Tenstorrentを始める
TT-Forge™
TT-Forge™ は、Tenstorrent の MLIR ベースのコンパイラです。
TT-NN™
TT-NN™は、Tenstorrentハードウェア上でMLワークロードを実行するためのユーザーフレンドリーなAPIです。
TT-Metalium™
TT-Metalium™ は、Tenstorrent のオープン ソースの低レベル AI ハードウェア SDK です。
その他の文書をお探しですか？
イベント予定
Jun 25
Webinar | TT-Explorer
In this webinar, we'll introduce the TT-Explorer tool as a part of the TT-Forge™ project, highlighting the integration with our current compiler, runtime, and performance tracing infrastructure.
Jul 10
Office Hours | TT-Metal
Get to know Tenstorrent engineers in an informal environment with a focus on the tt-metal library.
Jul 16
Tech Talk Tokyo #2
Learn about data transfer and kernel programming at our second tech talk in Tokyo.
教育コンテンツ
チュートリアル
チュートリアル
ttnn-visualizerのインストールと実行方法について説明します。ttnn-visualizerは、モデルを完全に理解するのに役立ちます。
チュートリアル
Bring up LLMs with TTNN
TT-Metaliumスタックを使用して、Tenstorrentハードウェア上で高性能マルチチップモデルを立ち上げる方法について説明します。
Op Writer's Guide to Dispatch Overhead
このチュートリアルでは、ディスパッチ オーバーヘッドのリソース割り当て、カーネルの初期化、およびランタイム引数を最適化するさまざまな方法について説明します。
コミュニティに参加する
新しいハードウェアのセットアップ、モデルの実行、セットアップの最適化、さらにTenstorrentのハードウェアとソフトウェアの最新情報など、あらゆるサポートにアクセスできます。
