FPGA開発日記

カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages , English Version https://fpgadevdiary.hatenadiary.com/

SPEC CPU 2006 を SimPoint (100M interval) と Full-run で比較してみる (4. クラスタリングバイアス)

これまでの流れを振り返ると、

# 内容 結果
1. 403.gcc を SimPoint と Full-run で比較 cycle が −13% で過小評価。cold-cache が原因と仮説提示
2. 20M warmup を入れて再シミュレーション cycle 変化 +0.06〜+1.0%、ほぼゼロ
3. warmup を 50M に伸ばして simpoint 410 で再実験 cycle 変化 +1.13% で頭打ち、仮説 A (cold-cache 量不足) を事実上棄却

ここまでで残された有力仮説はクラスタリングバイアス だった。

仮説: SimPoint の k-means クラスタリングは BBV (basic block vector) 距離をベースにしているが、BBV が似ている = ランタイムのキャッシュ動作も似ているとは限らない。 代表 simpoint がクラスタ内でたまたま「キャッシュフレンドリーな点」を引き当てているなら、代表点だけ見ていると cycle を過小評価することになる。

今回はこれを検証するため、SimPoint を -saveLabels 付きで再実行して クラスタ内の非代表 interval を直接 Sniper で実走 し、代表点 simpoint との分散を見ることにした。

1. 実験のセットアップ

1.1 BBV ファイルの再生成

bbv_results/ 配下の .bb ファイルが過去のクリーンアップで消えていたので、まず再生成する。 QEMU + libbbv プラグインで 403.gcc subcmd 1 のフルラン (~71B 命令) を回す。

qemu-riscv64 -plugin libbbv.so,outfile=bbv_1.out,interval=100000000 \
  -s 1024M -L /riscv-linux/sysroot \
  ../run_base_ref_gcc.0000/gcc_base.gcc 166.i -o 166.s

3 分ほどで完了。bbv_results/403.gcc/bbv_1.out.0.bb (17 MB) ができた。

1.2 SimPoint を saveLabels 付きで再実行

$SIMPOINT/bin/simpoint \
  -loadFVFile bbv_results/403.gcc/bbv_1.out.0.bb \
  -saveSimpoints   simpoint_results_with_labels/403.gcc/bbv_1.out.0.simpoints \
  -saveSimpointWeights simpoint_results_with_labels/403.gcc/bbv_1.out.0.weights \
  -saveLabels      simpoint_results_with_labels/403.gcc/bbv_1.out.0.labels \
  -maxK 30

labels ファイルは 1 行 1 interval の形式で、<cluster_id> <distance_to_centroid> が並ぶ。 今回は 709 intervals × 16 clusters の構成になった (オリジナル実行時は 15 cluster だった。BBV ファイルが微妙に違う = QEMU plugin の dimension 認識が 80266 → 80264 で 2 個ずれた、影響でクラスタ数が 1 増えている)。

クラスタ番号と元 simpoint 410 が新クラスタリングで属するクラスタを引き当てる。

$ awk 'NR==411 {print}' bbv_1.out.0.labels
4 0.00651874   # interval 410 はクラスタ 4 に所属、距離 0.0065

1.3 クラスタ 4 の構造

クラスタ 4 のメンバー数は 75 個 (= 0.106 × 709)。新代表点は interval 454 (距離 0.0019、重心に最も近い)。元 simpoint 410 は距離 0.0065 で、クラスタ内では「重心からそこそこ近い」位置。

実走対象として 4 点をピックアップ。

Interval 役割 距離
454 新代表 (重心に最も近い) 0.0019
410 元 simpoint (既に Sniper 結果あり) 0.0065
41 中位メンバー 0.0265
73 最遠メンバー 0.0730

454 と 410 でクラスタの中心付近、41 で中位、73 で外周をカバーする狙い。

1.4 Sniper 実行条件

クラスタリングバイアスの検証なので、warmup 等の細工はせず 元と同じ cold-cache 条件 (roi-icount:0:0:100M + --no-cache-warming) で 4 点とも Sniper を回す。

2. 結果

クラスタ 4 のメンバー 4 点を距離順に並べる。

Interval 距離 Cycles IPC DRAM access L2 miss%
454 (新代表) 0.0019 54.4M 1.82 15,124 2.28%
410 (元 simpoint) 0.0065 54.8M 1.81 18,804 2.57%
41 (中位) 0.0265 61.5M 1.61 60,144 4.97%
73 (最遠) 0.0730 125.8M 0.79 543,777 28.91%

観察:

  • 重心からの距離が増えるほど cycles と miss rate がほぼ単調に増加 → 「重心からの距離 ≈ キャッシュ動作の差」 という強い相関が見える
  • クラスタ内の variance が圧倒的:
    • IPC: 0.79 〜 1.82 (2.3×)
    • DRAM access: 15K 〜 544K (36×)
    • L2 miss rate: 2.28% 〜 28.91% (12×)
  • 代表点として選ばれた 410 / 454 はどちらも「キャッシュフレンドリーな低 miss 端」 に位置していた

これは 「BBV が似ている」と「キャッシュ動作が似ている」が一致しない ことを直接示している。クラスタ 4 は「実行している基本ブロックの組み合わせは似ているが、データアクセスパターンと先行コードによるキャッシュ汚染状態が大きく異なる 75 個の interval」 が混在している、と解釈するのが自然。

3. なぜ重心点だけ「low-miss 寄り」に偏るのか

これは推測になるが、k-means の重心は「ベクトルの平均」 で定義される。BBV ベクトルでクラスタの重心を取ると、

  • そのクラスタの「典型的な basic block 実行回数の組み合わせ」 が出る
  • 一方、稀に発生する「特定の重い memory access パターン」 (例えば数千万エントリの LRU テーブル舐めとか) は basic block 数自体に大きく寄与しないので、ベクトルの距離計算では「外側」に追いやられがち

結果として、重心 = 「平均的な制御フロー」 = 「平均的なデータアクセス量」 ≠ 「平均的なキャッシュ動作」 という現象が起きている可能性。

クラスタ 4 で言うと、重い memory bound な実行パスは外周メンバー (interval 73 など) に押し出されていて、k-means が選ぶ重心代表点はそれらを取り逃している、という構図。

4. 過小評価の規模を見積もる

クラスタ 4 単体で SimPoint と「より realistic な平均」 の差を粗く見積もる。

SimPoint 推定 (代表点 410 のみ)
  = 54.8M cycles × 75 intervals
  = 4.11B cycles

非代表メンバー込みの推定 (4 点平均)
  = (54.4M + 54.8M + 61.5M + 125.8M) / 4 × 75 intervals
  = 74.1M × 75
  = 5.56B cycles

クラスタ 4 単体での過小評価率
  = (5.56 − 4.11) / 4.11 = +35%

クラスタ 4 の重み 0.106 を benchmark 全体にかけると +3.7% ぶんの cycle 過小評価 に寄与する計算。他の高 IPC クラスタ (= 元 simpoint で IPC 1.0 以上のもの、4〜5 個ある) で同様のバイアスがあれば、合計で 1 本目で見えていた −13% の cycle gap をかなりよく説明できる。

ただしこの粗い見積もりは「4 点の平均 = クラスタ平均」と仮定していて、実際にはもっと精度の高いサンプリングが要る。正確な数値を出すなら 75 個全部回すか、距離別の階層化サンプリングをやるべきだが、今回はサイズ感を見るだけなのでこれで十分。

仮説 B が確定的に支持されたことで、SimPoint で IPC を 1% 精度で再現するのは 手法の根本的な限界 に当たっていることが分かった。 緩和策として考えられるのは:

案 内容 期待効果 コスト
A 各クラスタから複数 simpoint をサンプリング クラスタ内 variance を取り込める サンプル数 N 倍の Sniper 実行
B BBV 以外の特徴量 (cache miss signature 等) でクラスタリング キャッシュ動作で直接クラスタリング 特徴量計算が要る、反復実装が要る
C SIMPOINT_K を 30 → 100 に増やしてクラスタを細分化 variance を K で薄める Sniper 実行回数が 3〜7 倍
D クラスタ内のサンプリングを stratified にする サンプル数を増やさず variance に対応 サンプリング戦略の設計が必要

直感的には A か C が実装しやすい。

  • A は「各クラスタから 3 点 (重心 + 中位 + 外周) を取って重みを按分」 するだけで、Sniper 実行回数が 3 倍。
  • C はクラスタ数が増えるので各クラスタのメンバー数が減り、variance が下がる方向に効くが、本質的な BBV ≠ キャッシュ動作の問題は残る。

理想的には B が筋が良いが、SimPoint をそのまま使う限り BBV ベースのまま。別ツール (PinPoints や独自実装) の検討が要る。