前回の続き。Phase 2 では、全 SimPoint を列挙し、それぞれについて SIFT トレースの生成 → Sniper でのシミュレーション → SIFT の削除 を行う。ここで動く ci_pipeline.sh の phase2 と run_sift_single_simpoint.sh の入出力・処理内容を整理する。
Phase 2 のブロック図
simpoint_results/<benchmark>/*.simpoints, *.weights
spec2006_installed/.../run_base_ref_gcc.0000/ (specinvoke -n)
│
v
ci_pipeline.sh phase2:
1) 全 (benchmark, subcmd, simpoint, weight) を TASK_FILE に列挙
2) xargs -P NPROC で process_task を並列実行
process_task → make run_sift_<bench>_<subcmd>_<simpoint>
│
v
run_sift_single_simpoint.sh (1 SimPoint あたり1回)
│
├─ 1. 実行ディレクトリ準備・コマンド取得
├─ 2. QEMU + Sniper frontend で fast_forward → detailed → SIFT 出力
├─ 3. Sniper で .sift をシミュレーション → sim.out, sim.stats.*
├─ 4. convert_sniper_sqlite.py で sim.stats.json 等を生成
└─ 5. SIFT と一時 run_dir を削除
│
v
sniper_results/<benchmark>/subcmd_<n>/simpoint_<idx>/
sim.out, sim.stats.json (または sqlite3), sniper.log
ci_pipeline.sh の phase2 がやっていること
入力
simpoint_results/<benchmark>/の.simpoints/.weightsspec2006_installed/.../run/run_base_ref_gcc.0000/(specinvoke用)環境変数:
SIMPOINT_DIR,SPEC_ROOT,BENCHMARKS,NPROC,SIMPOINT_INTERVAL処理の流れ
TASK_FILE(一時ファイル)を用意する。- 各
benchmarkについて:- simpoint ディレクトリと run ディレクトリが無ければスキップ。
specinvoke -nで subcommand 一覧を取得。- 各 subcmd に対し、対応する
.simpoints/.weightsをpasteで結合し、1行をbenchmark subcmd simpoint weightとしてTASK_FILEに追記。
process_task関数をxargs -P NPROCで並列に呼ぶ。引数はTASK_FILEの1行。process_task内でSIMPOINT_INTERVAL=... make run_sift_<benchmark>_<subcmd>_<simpoint>を実行。失敗したらFAILED_FILEに記録し、最後に1件でも失敗があれば exit 1。
出力
sniper_results/<benchmark>/subcmd_<n>/simpoint_<idx>/が各 SimPoint ごとにできる(run_sift_single_simpoint.shの出力)。- Phase 2 自体の「出力」は、上記ディレクトリが揃うことと、失敗が 0 であること。
run_sift_single_simpoint.sh の役割と中身
呼び出し方(Makefile の run_sift_% から)
./scripts/run_sift_single_simpoint.sh $(benchmark) $(subcmd) $(simpoint) $(SIMPOINT_INTERVAL)
環境変数で渡すもの: SPEC_ROOT, SPECINVOKE, SIMPOINT_DIR, SIFT_DIR, SNIPER_ROOT, PIN_HOME, SNIPER_SIM_LD_PATH, QEMU, QEMU_FLAGS, QEMU_CPU_OPTIONS, QEMU_FRONTEND_PLUGIN, SNIPER_CONFIG_DIR, SIMULATION_DIR。
入力
| 入力 | 説明 |
|---|---|
benchmark |
例: 429.mcf |
subcmd |
specinvoke -n の N 番目(1始まり)。 |
simpoint |
SimPoint の区間インデックス(.simpoints の1列目)。 |
SIMPOINT_INTERVAL |
区間の長さ(命令数)。 |
run_dir |
SPEC の run_base_ref_gcc.0000。 |
| simpoint/weights ファイル | 該当 subcmd の .simpoints / .weights。 |
処理ステップの詳細
1. コマンドと重みの取得
specinvoke -nの subcmd 行目を取得し、リダイレクトを除いたcmd_cleanを作る。.simpoints/.weightsから、この simpoint インデックスに対応するcluster_idとweightを取得(AWK)。
2. fast_forward / detailed の計算
fast_forward_target= simpoint ×SIMPOINT_INTERVAL(この SimPoint の開始命令までスキップする命令数)。detailed_target=SIMPOINT_INTERVAL(その区間の長さ)。
3. SIFT 生成(QEMU + frontend プラグイン)
run_dirのコピーをsift_results/<bench>/subcmd_<n>/run_dir_simpoint_<simpoint>/に用意(初回のみ)。- QEMU に Sniper の QEMU frontend プラグイン を付け、次のように実行する:
fast_forward_targetまで実行(トレースは出さない)。- 続く
detailed_target命令分をトレースし、output_file(例:simpoint_<id>.sift)に書き出す。
- プラグインオプション:
fast_forward_target=..., detailed_target=..., output_file=...。 - 標準入力リダイレクトが必要なベンチ(例: 445.gobmk)は、
0< fileで明示的に渡す。
4. Sniper シミュレーション
- ROI は roi-icount:
WARMUP_LENGTH = SIMPOINT_INTERVAL*20%、DETAILED_LENGTH = SIMPOINT_INTERVAL*80%。 run-sniperに渡す主なオプション:--roi-script、-s roi-icount:0:WARMUP:LENGTH--traces=<.sift ファイル>- 設定は
riscv.cfg等をベースに、general/app、perf_model等を上書き。
- 出力先:
SIMULATION_DIR/<benchmark>/subcmd_<n>/simpoint_<idx>/。ここにsim.out、sim.stats.sqlite3等ができる。
5. SQLite → JSON(任意)
convert_sniper_sqlite.pyでsim.stats.sqlite3をsim.stats.json(または YAML)に変換。estimate_ipcは主にsim.stats.jsonから IPC を読む。
6. クリーンアップ
- 生成した
.sift、response 用.sift、.logを削除。 run_dir_simpoint_<id>を削除。
→ ディスクを節約しつつ、sniper_results/にはsim.out/sim.stats.*が残る。
出力(run_sift_single_simpoint.sh)
| 出力 | 説明 |
|---|---|
sniper_results/<bench>/subcmd_<n>/simpoint_<idx>/sim.out |
Sniper のテキストレポート(IPC 行あり)。 |
sniper_results/.../sim.stats.sqlite3 |
統計 DB。 |
sniper_results/.../sim.stats.json |
変換後(estimate_ipc が参照)。 |
sniper_results/.../sniper.log |
実行ログ。 |
SIFT と run_dir のコピーは削除済み。
run_sniper_all_benchmark.sh との関係
run_sift_single_simpoint.shは「1 SimPoint だけ」SIFT 生成 → Sniper → 削除まで行う。run_sniper_all_benchmark.shは、既に存在する SIFT ファイルを列挙し、それぞれに対して Sniper 用の run スクリプトを生成・実行する(SIFT を自前で作らない運用用)。- CI パイプラインでは、Phase 2 では
run_sift_single_simpoint.shのみを使い、SIFT は都度生成して使い終わったら消す形になっている。