開発者
Tenstorrentハードウェアでモデルを高速に立ち上げ、実行する方法をご紹介します。
2つのオープンソースSDKにより、可能な限り金属に近づけることも、当社のAIコンパイラに任せることもできます。
モデルサポートテーブル
QwQ 32B
QuietBox
LLM
TP=8
DeepSeek R1 Distill Llama 3.3 70B
QuietBox
LLM
TP=8
Llama 3.1 70B
Galaxy
LLM
TP=32
Llama 3.1 70B
QuietBox
LLM
TP=8
Llama 3.2 11B Vision
n300
LLM
TP=2
Qwen 2.5 7B
n300
LLM
TP=2
Qwen 2.5 72B
QuietBox
LLM
TP=8
Falcon 7B
n150
LLM
Falcon 7B
QuietBox
LLM
DP=8
Falcon 7B
Galaxy
LLM
DP=32
Falcon 40B
QuietBox
LLM
TP=8
Llama 3.1 8B
p100
LLM
Llama 3.1 8B
p150
LLM
Llama 3.1 8B
2 x p150
LLM
DP=2
Llama 3.1 8B
n150
LLM
Llama 3.2 1B
n150
LLM
Llama 3.2 3B
n150
LLM
Mamba 2.8B
n150
LLM
Mistral 7B
n150
LLM
Mixtral 8x7B
QuietBox
LLM
TP=8
ResNet-50
n150
CNN
224 x 224
ResNet-50
n300
CNN
224 x 224
DP=2
ResNet-50
QuietBox
CNN
224 x 224
DP=8
ResNet-50
Galaxy
CNN
224 x 224
DP=32
ViT
n150
CNN
224 x 224
Stable Diffusion 1.4
n150
CNN
512 x 512
YOLOv4
n150
CNN
320 x 320
YOLOv4
n150
CNN
640 x 640
SegFormer Semantic Segmentation
n150
CNN
512 x 512
Stable Diffusion 3.5 medium
n150
CNN
512 x 512
BERT-Large
n150
NLP
Tenstorrentを始める
TT-Forge™
TT-Forge™ は、Tenstorrent の MLIR ベースのコンパイラです。
TT-NN™
TT-NN™は、Tenstorrentハードウェア上でMLワークロードを実行するためのユーザーフレンドリーなAPIです。
TT-Metalium™
TT-Metalium™ は、Tenstorrent のオープン ソースの低レベル AI ハードウェア SDK です。
その他の文書をお探しですか？
イベント予定
Jun 6
Tenstorrent Meetup Tokyo
本イベントは、AIアクセラレータを開発するTenstorrent社のハードウェア・ソフトウェア技術について、Tenstorrent社員による技術解説を交えながら学ぶ開発者向けの技術交流会です。
Jun 7
Edge AI Hardware Hack with Tenstorrent
Join for a full day of building on the latest AI hardware with the Tenstorrent team. Whether you’re into compiler internals, ML training, or graphics experiments, there’s something here to build on. The winner will take home a Wormhole™ n150d.
Jun 11
Office Hours | TT-Forge
Get to know TT-Forge engineers in an informal environment ahead of stable release in summer 2025.
教育コンテンツ
チュートリアル
チュートリアル
ttnn-visualizerのインストールと実行方法について説明します。ttnn-visualizerは、モデルを完全に理解するのに役立ちます。
チュートリアル
Bring up LLMs with TTNN
TT-Metaliumスタックを使用して、Tenstorrentハードウェア上で高性能マルチチップモデルを立ち上げる方法について説明します。
Op Writer's Guide to Dispatch Overhead
このチュートリアルでは、ディスパッチ オーバーヘッドのリソース割り当て、カーネルの初期化、およびランタイム引数を最適化するさまざまな方法について説明します。
コミュニティに参加する
新しいハードウェアのセットアップ、モデルの実行、セットアップの最適化、さらにTenstorrentのハードウェアとソフトウェアの最新情報など、あらゆるサポートにアクセスできます。
