TT-Metalium™

TT-Metalium™ は、Tenstorrent のオープンソースなローレベル AI ハードウェア SDK で、カスタムカーネルのかいはつやエクスペリメント、そのほかのさぎょうで、できるだけハードウェアそのものにちかいレベルをあつかえるようにします。ブラックボックスや、あんごうかされた API、かくれたファンクションはありません。

TT-Metalium™ は、モデルをカスタマイズしたい、あたらしいモデルをかきたい、またはマシンラーニングではないコードをうごかしたいデベロップメントカスタマーにとてもてきしています。

TT-Metalium™ は、CPU と Tenstorrent デバイスのヘテロジニアスなコレクションのためのローレベル ソフトウェアプラットフォームで、Tensix Core のなかにある RISC-V プロセッサ、NoC (Network-on-Chip)、そして Matrix / Vector エンジンへユーザーがちょくせつアクセスできるようにします。

ネイティブ スケールアウト ダイアグラム

したのずは、TT-Metalium™ プラットフォームのうえにこうちくできるソフトウェアレイヤーをしめしています。TT-Metalium™ をつかうと、デベロッパーはホストプログラムとカーネルプログラムをかいて、とくていのすうがくえんざん(たとえば、matrix multiplication、image resizing など)をじっそうし、それらをライブラリにまとめられます。ライブラリをビルディングブロックとしてつかうことで、さまざまなフレームワークが、いろいろな HPC / ML アプリケーションをかいはつできる、フレキシブルなハイレベルかんきょうをユーザーにていきょうします。

ソフトウェア アブストラクト

フィーチャー

tt-nn

tt-nn

カスタマイズはふよう

  • Python APIs
  • つかいやすい
  • ちょっかんてき、PyTorch ライク
ビギナー
tt-nn

tt-nn

ライトウェイト オプティマイゼーション / パフォーマンス

  • バッチ
  • Fused OP のライブラリ
  • OP せんたくとパラレルか
  • データフォーマットと Math Fidelity
  • Tensix Storage L1 または DRAM
  • エンハンスされた Python APIs
インターミディエイト
tt-nn + tt-metalium

tt-nn + tt-metalium

ヘビーウェイト オプティマイゼーション

じぶんでカスタムカーネルと OP をかく

  • Fused Kernels
  • TMs

TT-Metalium™ コードにはいっていく

  • C++ カーネルをかく
  • ハードウェアをりかいする
  • ローレベル オプティマイゼーション
アドバンスト

TT-Metalium についてもっとしりたいですか?