CVUカーネルとグラフのカタログ
このフレームワークには、CVU(EV74)カーネルの小さなカタログが含まれており、これらは、プランナーが各モデルに対して選択する前処理および後処理グラフに組み込まれます。このページでは、カーネルと、それらを構成するグラフファミリーについて説明します。
カーネルファミリー
前処理カーネル
入力とMLAの間で実行されます。標準ファミリー:
- Resize — バイリニア/ニアレストスケーリング。オプションでレターボックスま たはセンタークロップを使用。
- 色変換 — RGB ↔ BGR、NV12 → RGB、I420 → RGB、GRAY8 ↔ パック。
- Layout convert — HWC ↔ CHW、軸の並べ替え。
- Normalize — チャンネルごとの平均/標準偏差(FP32入力、FP32出力)。
境界カーネル
MLA境界を越えてFP32 / BF16 / INT8をブリッジします。
- Quant — FP32 → INT8(スケール+ゼロポイント付き)。
- Dequant — INT8 → FP32(スケール+ゼロポイント付き)。
- Cast — FP32 ↔ BF16(スケール/ゼロポイントなし)。
- Tess / Detess — MLAタイルジオメトリへの/からのレイアウトシャッフル。バイト数は同じで、順序が異なります。
融合カーネル
モデルのコントラクトが境界カーネルを要求するが、MLAステージにそれらを含まない場合に、プランナーが選択する組み合わせ:
- QuantTess — Quant + Tessを融合。
- DetessDequant — Detess + Dequantを融合。
- CastTess / DetessCast — BF16パスでCastとTessを融合。