開発者
Tenstorrentハードウェアでモデルを高速に立ち上げ、実行する方法をご紹介します。
2つのオープンソースSDKにより、可能な限り金属に近づけることも、当社のAIコンパイラに任せることもできます。
モデルサポートテーブル
Qwen 3 32B
QuietBox (Wormhole)
LLM
TP=8
QwQ 32B
QuietBox (Wormhole)
LLM
TP=8
DeepSeek R1 Distill Llama 3.3 70B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 70B
Galaxy (Wormhole)
LLM
TP=32
Llama 3.1 70B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 70B
QuietBox (Blackhole)
LLM
TP=4
Llama 3.2 11B Vision
n300 (Wormhole)
LLM
TP=2
Qwen 2.5 7B
n300 (Wormhole)
LLM
TP=2
Qwen 2.5 72B
QuietBox (Wormhole)
LLM
TP=8
Falcon 7B
n150 (Wormhole)
LLM
Falcon 7B
QuietBox (Wormhole)
LLM
DP=8
Falcon 7B
Galaxy (Wormhole)
LLM
DP=32
Falcon 40B
QuietBox (Wormhole)
LLM
TP=8
Llama 3.1 8B
p100 (Blackhole)
LLM
Llama 3.1 8B
p150 (Blackhole)
LLM
Llama 3.1 8B
2 x p150 (Blackhole)
LLM
DP=2
Llama 3.1 8B
n150 (Wormhole)
LLM
Llama 3.2 1B
n150 (Wormhole)
LLM
Llama 3.2 3B
n150 (Wormhole)
LLM
Mamba 2.8B
n150 (Wormhole)
LLM
Mistral 7B
n150 (Wormhole)
LLM
Mixtral 8x7B
QuietBox (Wormhole)
LLM
TP=8
Whisper (distil-large-v3)
n150 (Wormhole)
Speech-to-Text
Stable Diffusion 1.4
n150 (Wormhole)
Diffusion Model
512 x 512
Stable Diffusion 3.5 Medium
n150 (Wormhole)
Diffusion Model
512 x 512
ResNet-50
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
ResNet-50
n300 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=2
ResNet-50
QuietBox (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=8
ResNet-50
Galaxy (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=32
ViT-base
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
ViT-base
n300 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=2
ViT-base
QuietBox (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
DP=8
MobileNet-v2
n150 (Wormhole)
CNNs and Vision Transformer
(Classification model)
224 x 224
YOLOv4
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
320 x 320
YOLOv4
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8s
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv8s_world
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv9c
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
YOLOv10x
n150 (Wormhole)
CNNs and Vision Transformer
(Object Detection)
640 x 640
UNet - VGG19
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
256 x 256
SegFormer Semantic Segmentation
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
512 x 512
YOLOv9c
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
640 x 640
UFLD - v2
n150 (Wormhole)
CNNs and Vision Transformer
(Segmentation)
320 x 800
BERT-Large
n150 (Wormhole)
NLP
(Segmentation)
Sentence-Bert (backbone: bert-base)
n150 (Wormhole)
NLP
(Segmentation)
Tenstorrentを始める
TT-Forge™
TT-Forge™ は、Tenstorrent の MLIR ベースのコンパイラです。
TT-NN™
TT-NN™は、Tenstorrentハードウェア上でMLワークロードを実行するためのユーザーフレンドリーなAPIです。
TT-Metalium™
TT-Metalium™ は、Tenstorrent のオープン ソースの低レベル AI ハードウェア SDK です。
その他の文書をお探しですか？
イベント予定
Aug 9
COSCUP 2025
Stop by our booth at the Conference for Open Source Coders, Users & Promoters (COSCUP), the largest open source conference in Asia.
Aug 13
Office Hours: TT-Forge
Come learn more about tt-forge, Tenstorrent's AI compiler as we gear up for our public beta. Find out how to access Tenstorrent hardware and share feedback.
教育コンテンツ
チュートリアル
チュートリアル
ttnn-visualizerのインストールと実行方法について説明します。ttnn-visualizerは、モデルを完全に理解するのに役立ちます。
チュートリアル
Bring up LLMs with TTNN
TT-Metaliumスタックを使用して、Tenstorrentハードウェア上で高性能マルチチップモデルを立ち上げる方法について説明します。
Op Writer's Guide to Dispatch Overhead
このチュートリアルでは、ディスパッチ オーバーヘッドのリソース割り当て、カーネルの初期化、およびランタイム引数を最適化するさまざまな方法について説明します。
コミュニティに参加する
新しいハードウェアのセットアップ、モデルの実行、セットアップの最適化、さらにTenstorrentのハードウェアとソフトウェアの最新情報など、あらゆるサポートにアクセスできます。
