FPGA開発日記

カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages , English Version https://fpgadevdiary.hatenadiary.com/

SPEC CPU2006 SimPoint CI パイプラインまとめ (4. SIFT 生成と Sniper シミュレーション)

前回の続き。Phase 2 では、全 SimPoint を列挙し、それぞれについて SIFT トレースの生成 → Sniper でのシミュレーション → SIFT の削除 を行う。ここで動く ci_pipeline.sh の phase2 と run_sift_single_simpoint.sh の入出力・処理内容を整理する。

Phase 2 のブロック図

  simpoint_results/<benchmark>/*.simpoints, *.weights
  spec2006_installed/.../run_base_ref_gcc.0000/ (specinvoke -n)
       │
       v
  ci_pipeline.sh phase2:
    1) 全 (benchmark, subcmd, simpoint, weight) を TASK_FILE に列挙
    2) xargs -P NPROC で process_task を並列実行
          process_task → make run_sift_<bench>_<subcmd>_<simpoint>
       │
       v
  run_sift_single_simpoint.sh (1 SimPoint あたり1回)
       │
       ├─ 1. 実行ディレクトリ準備・コマンド取得
       ├─ 2. QEMU + Sniper frontend で fast_forward → detailed → SIFT 出力
       ├─ 3. Sniper で .sift をシミュレーション → sim.out, sim.stats.*
       ├─ 4. convert_sniper_sqlite.py で sim.stats.json 等を生成
       └─ 5. SIFT と一時 run_dir を削除
       │
       v
  sniper_results/<benchmark>/subcmd_<n>/simpoint_<idx>/
       sim.out, sim.stats.json (または sqlite3), sniper.log

ci_pipeline.sh の phase2 がやっていること

入力

  • simpoint_results/<benchmark>/ の .simpoints / .weights
  • spec2006_installed/.../run/run_base_ref_gcc.0000/(specinvoke 用)
  • 環境変数: SIMPOINT_DIR, SPEC_ROOT, BENCHMARKS, NPROC, SIMPOINT_INTERVAL

    処理の流れ

  • TASK_FILE(一時ファイル)を用意する。

  • 各 benchmark について:
    • simpoint ディレクトリと run ディレクトリが無ければスキップ。
    • specinvoke -n で subcommand 一覧を取得。
    • 各 subcmd に対し、対応する .simpoints / .weights を paste で結合し、1行を benchmark subcmd simpoint weight として TASK_FILE に追記。
  • process_task 関数を xargs -P NPROC で並列に呼ぶ。引数は TASK_FILE の1行。
  • process_task 内で SIMPOINT_INTERVAL=... make run_sift_<benchmark>_<subcmd>_<simpoint> を実行。失敗したら FAILED_FILE に記録し、最後に1件でも失敗があれば exit 1。

出力

  • sniper_results/<benchmark>/subcmd_<n>/simpoint_<idx>/ が各 SimPoint ごとにできる(run_sift_single_simpoint.sh の出力)。
  • Phase 2 自体の「出力」は、上記ディレクトリが揃うことと、失敗が 0 であること。

run_sift_single_simpoint.sh の役割と中身

呼び出し方(Makefile の run_sift_% から)

./scripts/run_sift_single_simpoint.sh $(benchmark) $(subcmd) $(simpoint) $(SIMPOINT_INTERVAL)

環境変数で渡すもの: SPEC_ROOT, SPECINVOKE, SIMPOINT_DIR, SIFT_DIR, SNIPER_ROOT, PIN_HOME, SNIPER_SIM_LD_PATH, QEMU, QEMU_FLAGS, QEMU_CPU_OPTIONS, QEMU_FRONTEND_PLUGIN, SNIPER_CONFIG_DIR, SIMULATION_DIR。

入力

入力 説明
benchmark 例: 429.mcf
subcmd specinvoke -n の N 番目(1始まり)。
simpoint SimPoint の区間インデックス(.simpoints の1列目)。
SIMPOINT_INTERVAL 区間の長さ(命令数)。
run_dir SPEC の run_base_ref_gcc.0000。
simpoint/weights ファイル 該当 subcmd の .simpoints / .weights。

処理ステップの詳細

1. コマンドと重みの取得

  • specinvoke -n の subcmd 行目を取得し、リダイレクトを除いた cmd_clean を作る。
  • .simpoints / .weights から、この simpoint インデックスに対応する cluster_id と weight を取得(AWK)。

2. fast_forward / detailed の計算

  • fast_forward_target = simpoint × SIMPOINT_INTERVAL(この SimPoint の開始命令までスキップする命令数)。
  • detailed_target = SIMPOINT_INTERVAL(その区間の長さ)。

3. SIFT 生成(QEMU + frontend プラグイン)

  • run_dir のコピーを sift_results/<bench>/subcmd_<n>/run_dir_simpoint_<simpoint>/ に用意(初回のみ)。
  • QEMU に Sniper の QEMU frontend プラグイン を付け、次のように実行する:
    • fast_forward_target まで実行(トレースは出さない)。
    • 続く detailed_target 命令分をトレースし、output_file(例: simpoint_<id>.sift)に書き出す。
  • プラグインオプション: fast_forward_target=..., detailed_target=..., output_file=...。
  • 標準入力リダイレクトが必要なベンチ(例: 445.gobmk)は、0< file で明示的に渡す。

4. Sniper シミュレーション

  • ROI は roi-icount: WARMUP_LENGTH = SIMPOINT_INTERVAL*20%、DETAILED_LENGTH = SIMPOINT_INTERVAL*80%。
  • run-sniper に渡す主なオプション:
    • --roi-script、-s roi-icount:0:WARMUP:LENGTH
    • --traces=<.sift ファイル>
    • 設定は riscv.cfg 等をベースに、general/app、perf_model 等を上書き。
  • 出力先: SIMULATION_DIR/<benchmark>/subcmd_<n>/simpoint_<idx>/。ここに sim.out、sim.stats.sqlite3 等ができる。

5. SQLite → JSON(任意)

  • convert_sniper_sqlite.py で sim.stats.sqlite3 を sim.stats.json(または YAML)に変換。estimate_ipc は主に sim.stats.json から IPC を読む。

6. クリーンアップ

  • 生成した .sift、response 用 .sift、.log を削除。
  • run_dir_simpoint_<id> を削除。
    → ディスクを節約しつつ、sniper_results/ には sim.out / sim.stats.* が残る。

出力(run_sift_single_simpoint.sh)

出力 説明
sniper_results/<bench>/subcmd_<n>/simpoint_<idx>/sim.out Sniper のテキストレポート(IPC 行あり)。
sniper_results/.../sim.stats.sqlite3 統計 DB。
sniper_results/.../sim.stats.json 変換後(estimate_ipc が参照)。
sniper_results/.../sniper.log 実行ログ。

SIFT と run_dir のコピーは削除済み。

run_sniper_all_benchmark.sh との関係

  • run_sift_single_simpoint.sh は「1 SimPoint だけ」SIFT 生成 → Sniper → 削除まで行う。
  • run_sniper_all_benchmark.sh は、既に存在する SIFT ファイルを列挙し、それぞれに対して Sniper 用の run スクリプトを生成・実行する(SIFT を自前で作らない運用用)。
  • CI パイプラインでは、Phase 2 では run_sift_single_simpoint.sh のみを使い、SIFT は都度生成して使い終わったら消す形になっている。