開発者
Tenstorrentハードウェアでモデルを高速に立ち上げ、実行する方法をご紹介します。
2つのオープンソースSDKにより、可能な限り金属に近づけることも、当社のAIコンパイラに任せることもできます。
モデルサポートテーブル
Qwen 3 32B
QuietBox (Wormhole)
LLM
TP=8
QwQ 32B
QuietBox (Wormhole)
LLM
TP=8
DeepSeek R1 Distill Llama 3.3 70B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 70B
Galaxy (Wormhole)
LLM
TP=32
Llama 3.1 70B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 70B
QuietBox (Blackhole)
LLM
TP=4
Llama 3.2 11B Vision
n300 (Wormhole)
LLM
TP=2
Qwen 2.5 7B
n300 (Wormhole)
LLM
TP=2
Qwen 2.5 72B
QuietBox (Wormhole)
LLM
TP=8
Falcon 7B
n150 (Wormhole)
LLM
Falcon 7B
QuietBox (Wormhole)
LLM
DP=8
Falcon 7B
Galaxy (Wormhole)
LLM
DP=32
Falcon 40B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 8B
p100 (Blackhole)
LLM
Llama 3.1 8B
p150 (Blackhole)
LLM
Llama 3.1 8B
2 x p150 (Blackhole)
LLM
DP=2
Llama 3.1 8B
n150 (Wormhole)
LLM
Llama 3.2 1B
n150 (Wormhole)
LLM
Llama 3.2 3B
n150 (Wormhole)
LLM
Mamba 2.8B
n150 (Wormhole)
LLM
Mistral 7B
n150 (Wormhole)
LLM
Mixtral 8x7B
QuietBox (Wormhole)
LLM
TP=8
Whisper (distil-large-v3)
n150 (Wormhole)
Speech-to-Text
Whisper (distil-large-v3)
p150 (Blackhole)
Speech-to-Text
Stable Diffusion 1.4
n150 (Wormhole)
Diffusion Model
512 x 512
Stable Diffusion 1.4
p150 (Blackhole)
Diffusion Model
512 x 512
Stable Diffusion 3.5 Medium
n150 (Wormhole)
Diffusion Model
512 x 512
ResNet-50
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
ResNet-50
n300 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=2
ResNet-50
QuietBox (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=8
ResNet-50
Galaxy (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=32
ViT-base
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
ViT-base
n300 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=2
ViT-base
QuietBox (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=8
MobileNet-v2
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
MobileNet-v2
n300 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=2
YOLOv4
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
320 x 320
YOLOv4
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
320 x 320
DP=2
YOLOv4
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv4
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv5x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv5x
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv6l
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv6l
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv8x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8x
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv8s
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8s
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv8s_world
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8s_world
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv9c
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv9c
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv10x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv10x
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv11m
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv11m
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv11n
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv11n
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
YOLOv12x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv12x
n300 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
DP=2
UNet - VGG19
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
256 x 256
UNet - VGG19
n300 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
256 x 256
DP=2
UNet - Vanilla
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
480 x 640
UNet - Vanilla
n300 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
480 x 640
SegFormer Semantic Segmentation
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
512 x 512
SegFormer Semantic Segmentation
n300 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
512 x 512
DP=2
YOLOv9c
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
640 x 640
YOLOv9c
n300 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
640 x 640
DP=2
UFLD - v2
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
320 x 800
UFLD - v2
n300 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
320 x 800
DP=2
BERT-Large
n150 (Wormhole)
NLP
(Segmentation)
Sentence-Bert (backbone: bert-base)
n150 (Wormhole)
NLP
(Segmentation)
Sentence-Bert (backbone: bert-base)
n300 (Wormhole)
NLP
(Segmentation)
DP=2
Tenstorrentを始める
TT-Forge™
TT-Forge™ は、Tenstorrent の MLIR ベースのコンパイラです。
TT-NN™
TT-NN™は、Tenstorrentハードウェア上でMLワークロードを実行するためのユーザーフレンドリーなAPIです。
TT-Metalium™
TT-Metalium™ は、Tenstorrent のオープン ソースの低レベル AI ハードウェア SDK です。
その他の文書をお探しですか？
教育コンテンツ
チュートリアル
チュートリアル
ttnn-visualizerのインストールと実行方法について説明します。ttnn-visualizerは、モデルを完全に理解するのに役立ちます。
チュートリアル
Bring up LLMs with TTNN
TT-Metaliumスタックを使用して、Tenstorrentハードウェア上で高性能マルチチップモデルを立ち上げる方法について説明します。
Op Writer's Guide to Dispatch Overhead
このチュートリアルでは、ディスパッチ オーバーヘッドのリソース割り当て、カーネルの初期化、およびランタイム引数を最適化するさまざまな方法について説明します。
コミュニティに参加する
新しいハードウェアのセットアップ、モデルの実行、セットアップの最適化、さらにTenstorrentのハードウェアとソフトウェアの最新情報など、あらゆるサポートにアクセスできます。
