用語集
フレームワークのドキュメントやコード全体で使用される用語と略語。
フレームワークの概念
| 用語 | 定義 |
|---|
| Neat（フレームワーク） | このドキュメントで説明するライブラリは、GStreamer をベースとしたAI推論パイプラインを構築、検証、およびModalix上で実行するためのC++/Pythonフレームワークです。|
| Node | パイプラインにおける最小の構成要素。GStreamer要素をラップした型付きオブジェクト。詳細はinclude/builder/Node.hを参照 。|
| 再利用可能なグラフフラグメント | モデルの事前処理/推論/事後処理フラグメントや、入力/出力ヘルパーなど、再利用可能な構成単位として使用されるGraph。|
| グラフ | ノードを実際に実行可能な実行ファイルに変換するアセンブリ段階。|
| 実行 | 稼働中のパイプライン。サンプルデータを投入し、処理後のサンプルデータを取り出します。|
| モデル | コンパイルされた.tar.gzモデルアーカイブをロードして実行するための、簡略化されたエントリーポイントです。|
| MPK | モデルアーカイブ（.tar.gz）に埋め込まれた、モデル推論コントラクトのJSONファイル（mpk.jsonまたは*_mpk.json）。|
| サンプル | このフレームワークにおけるパイプラインデータの単位。テンソルまたはエンコードされたメディアとメタデータをまとめて扱います。|
| テンソル | フレームワークにおける、ピクセル、オーディオ、推論結果などのデータの型付きビュー。|
| テンソルバッファ | は、Tensor の基盤となるメモリであり、(buffer_id, paddr, vaddr) の3つの値（バッファID、物理アドレス、仮想アドレス）を保持します。|
| セグメント | アロケーターとアクセスメタデータを持つ、名前付きのメモリ領域。バッファーはセグメントから取得されます。|
ハードウェア
| 用語 | 定義 |
|---|---|
| Modalix | SiMaのエッジAI SoCプラットフォーム。このフレームワークはそのプラットフォームを対象としています。 |
| MLA | 機械学習アクセラレータ — SoCの主要な推論エンジン。 |
| MLASHM | MLA共有メモリ — MLAが読み込む低遅延メモリ領域。| | EV74 / CVU | コンピュータビジョンユニット。これは、前処理/後処理カーネルに最適なSIMD対応のDSPです。| | A65 | Linuxを動作させるARMコアを搭載したアプリケーションです。|
| APU | オーディオ処理ユニット。| | M4 | 低レベルの連携（RPMsg、ハードウェアシーケンス）に使用されるCortex-M4。| | TVM | Apache TVMは、MLA（機械学習アクセラレータ）で処理できない演算に対する、フレームワークのCPU側フォールバックコンパイラです。|
| VCCM | 一部のアクセラレータで使用される、SoC内部のコヒーレントメモリ領域。|
| OCM | MLAで使用されるオンチップメモリ。|
| DMS | ダイレクト メモリ サーバー — SoCのメモリコントローラー／アロケーターサービス。| | RPMsg | リモートプロセッサ間メッセージング — A65とM4間のIPC（プロセス間通信）チャネル。|
| IOMMU | I/O メモリ管理ユニット。ハードウェア向けに物理アドレスを仮想アドレスにマッピングします。|
データ形式
| 用語 | 定義 |
|---|
| BF16 | Brain Float 16 — IEEE 754のbinary16形式で、FP32の指数範囲全体をサポート。MLA（機械学習アクセラレータ）で推奨される浮動小数点型。| | NV12 | YUV 4:2:0形式。Y平面とインターリーブされたUV平面を持つ。フレームワークのデフォルトのデコード済みビデオ形式である。| | I420 | Y、U、Vの各プレーンが分離されたYUV 4:2:0形式。| | HWC / CHW | テンソルのレイアウト（高さ-幅-チャンネル vs. チャンネル-高さ-幅）。|
| テッセレーション | MLAの入力スクラッチパッドが期待する形状になるように、テンソルを並べ替えるタイルシャッフル処理。純粋なレイアウト変更であり、同じバイトが異なる順序で配置されるだけである。|
| 量子化 | FP32値を、スケールとゼロ点を用いてINT8にマッピングします。|
運用中
| 用語 | 定義 |
|---|
| 汎用プリプロセス | ユーザーが指定した任意の変換処理を標準のプリプロセス処理グラフに統合するプリプロセス機能の拡張。|
| BoxDecode | EV74上で動作する検出モデルに対し、NMS（Non-Maximum Suppression）/デコード処理を行う後処理フュージョン。|
| DetectionMeta | BoxDecodeによって検出モデルの出力サンプルに付加されるメタデータ構造体。|
| GstSimaMeta | これは、フレームワークによって管理されるすべてのバッファーにアタッチされる、フレームワークの GStreamer メタデータ構造体です。|
| ルート計画 | フレームワークが、コンパイル時に各ステージをどのプロセッサで実行し、各バッファをどのセグメントに配置するかを決定すること。|
| 再現可能な起動文字列 | これは、Graph::describe()によって生成された、再現可能なgst-launchテキストです。|
関連項目
Graph::describe()— 再生起動文字列を出力します。- dtype の規約.
- メモリモデル.
- プロセッサのバックエンド.