SPEC CPU2006 の SimPoint ベースの IPC 推定パイプラインを整備していて、ふと気になることがあった。ipc_estimation.csv に記録されている simpoint_1824 の IPC が 0.5868 なのに、同じディレクトリの sim.out を見ると IPC は 0.83 と表示されている。
# sim.out の中身 (一部抜粋)
| Core 0
Instructions | 15999949
Cycles | 19207122
IPC | 0.83
Time (ns) | 9603561
0.5868 と 0.83 は 40% 以上の差がある。どちらかが間違っているはずだ。
sim.stats.sqlite3 から IPC を検証する
まず「正解」を作るために、Sniper が出力する SQLite データベース (sim.stats.sqlite3) を直接読んで IPC を計算してみた。
SQLite の構造
sim.stats.sqlite3 には 3 つの主要テーブルがある。
prefixes テーブル: prefixid -> prefixname 1: start 2: roi-begin ← ROI (詳細シミュレーション) 開始時点のスナップショット 3: roi-end ← ROI 終了時点のスナップショット 4: stop names テーブル: nameid -> (objectname, metricname) values テーブル: (prefixid, nameid, core, value)
カウンタはすべて累積値として記録されており、IPC の計算には roi-end - roi-begin の差分を使う。
正しい IPC の計算式
instructions = performance_model.instruction_count[roi-end] # roi-beginは0なので差分不要 elapsed_end = thread.elapsed_time[roi-end] # 単位: フェムト秒 (fs) elapsed_beg = thread.elapsed_time[roi-begin] # 単位: フェムト秒 (fs) delta_fs = elapsed_end - elapsed_beg # clock_period_fs: 2 GHz -> 1サイクル = 0.5 ns = 500,000 fs cycles = delta_fs / 500_000 ipc = instructions / cycles
実際の数値を当てはめると:
performance_model.instruction_count[roi-end] = 15,999,949 thread.elapsed_time[roi-end] = 16,420,647,500,000 fs thread.elapsed_time[roi-begin] = 6,817,086,375,000 fs Δ elapsed_time = 9,603,561,125,000 fs cycles = 9,603,561,125,000 / 500,000 = 19,207,122 IPC = 15,999,949 / 19,207,122 = 0.8330
sim.out の IPC = 0.83 と一致した。正解は 0.83 だ。
なぜ ipc_estimation.csv は 0.5868 になるのか
ipc_estimation.csv を生成するスクリプト estimate_ipc.py を読むと、get_ipc() という関数が IPC を取得している。
def get_ipc(sim_dir: Path) -> float | None: """Get IPC from sim.stats.json in sim_dir if present, else from sim.out.""" stats_json = sim_dir / "sim.stats.json" if stats_json.exists(): ipc = extract_ipc_from_stats_json(stats_json) # sim.stats.json を優先 if ipc is not None: return ipc sim_out = sim_dir / "sim.out" if sim_out.exists(): return extract_ipc_from_simout(sim_out) return None
sim.stats.json が存在する場合はそちらを優先し、extract_ipc_from_stats_json() で IPC を計算する。この関数が怪しい。
def extract_ipc_from_stats_json(path: Path) -> float | None: text = path.read_text() inst_m = re.search(r'"core\.instructions"\s*:\s*(\d+)', text) time_m = re.search(r'"barrier\.global_time"\s*:\s*(\d+)', text) or \ re.search(r'"thread\.elapsed_time"\s*:\s*(\d+)', text) instructions = int(inst_m.group(1)) time_fs = int(time_m.group(1)) cycles = time_fs / 1e6 # ← 1 GHz 仮定 return round(instructions / cycles, 4)
見ただけで 2 つの問題がわかる。だが実際に追いかけてみると、もう 1 つ根本的な問題があった。
バグ 1: sim.stats.json の先頭が破損している
run_sift_single_simpoint.sh の中で convert_sniper_sqlite.py を呼ぶ部分を見ると:
"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
"${output_subdir_abs}/sim.stats.sqlite3" \
--format "${SQLITE_OUTPUT_FORMAT:-json}" \
> "${output_subdir_abs}/sim.stats.json" 2>&1 # ← 問題のリダイレクト
convert_sniper_sqlite.py はファイルへの JSON 書き出しとstdout へのサマリー出力を別々に行う設計だ。
# convert_sniper_sqlite.py の出力部分 with open(output_path, 'w') as f: json.dump(data, f, ...) # JSON を output_path に書く # (output_path = sim.stats.json) print(f"Successfully converted ...") # stdout にサマリーを出力 print(f" Format: json") print(f" Prefixes: 4") ...
シェルが > sim.stats.json でリダイレクトを張るとき、bash は実行前にそのファイルを開いて fd 1 を張る。Python スクリプトは実行中に同じ sim.stats.json を開いて JSON を書き終えたあと、stdout (= fd 1 = sim.stats.json) にサマリーを書く。fd 1 のファイルポインタは位置 0 から書き始めるため、JSON の先頭約 200 バイトがサマリーテキストで上書きされる。
実際の sim.stats.json の先頭はこうなっている:
Successfully converted .../sim.stats.sqlite3 to .../sim.stats.json
Format: json
Prefixes: 4
- start: 1 metrics
- roi-begin: 190 metrics
- roi-end: 359 metrics
- stop: 359 metrics
3606625000,
"dram-queue.num-requests": 14458,
"itlb.miss": 7332,
"core.instructions": 4000002, ← ここが roi-begin の値
JSON の { から始まる部分が消え、残存した JSON の断片がそのまま残っている。
バグ 2: re.search が roi-begin の値を拾う
JSON の先頭が上書きされているため、re.search(r'"core\.instructions"...') が最初にヒットするのは roi-begin プレフィックスに属するエントリだ。
roi-begin の core.instructions = 4,000,002
これは何の数字か。Sniper の SimPoint シミュレーションでは、詳細シミュレーション区間の前にウォームアップ区間 (20%) が実行される。今回の SimPoint は interval = 20,000,000 命令なので:
ウォームアップ命令数 = 20,000,000 × 20% = 4,000,000 命令
roi-begin の core.instructions = 4,000,002 はウォームアップ終了時点の累積命令数であり、ROI 期間 (詳細区間) の命令数 15,999,949 とは全く別の値だ。
同様に barrier.global_time の最初のヒットも roi-begin の値になる:
barrier.global_time[roi-begin] = 6,817,086,375,000 fs ← ROI開始時点の「絶対時刻」
これは ROI 期間の経過時間ではなく、シミュレーション開始からROI開始までの累積時間だ。
バグ 3: 1 GHz を仮定したクロック計算
cycles = time_fs / 1e6 # 1 GHz (1 サイクル = 1 ns = 1,000,000 fs) を仮定
実際のシミュレーションは 2 GHz (1 サイクル = 0.5 ns = 500,000 fs) なので、分母は 1e6 ではなく 5e5 が正しい。
3 つのバグが IPC = 0.5868 を生み出した仕組み
正しい値と各バグ単独の影響を整理すると:
| 命令数 | 時間 | クロック仮定 | サイクル | IPC |
|---|---|---|---|---|
| roi-end Δ: 15,999,949 | Δ: 9,603,561,125,000 fs | 2 GHz (正しい) | 19,207,122 | 0.8330 (正解) |
| roi-begin: 4,000,002 | roi-begin 絶対値: 6,817,086,375,000 fs | 1 GHz (バグ) | 6,817,086 | 0.5868 (バグあり) |
| roi-begin: 4,000,002 | roi-begin 絶対値: 6,817,086,375,000 fs | 2 GHz | 13,634,172 | 0.2934 |
| roi-end Δ: 15,999,949 | Δ: 9,603,561,125,000 fs | 1 GHz (バグ) | 9,603,561 | 1.6660 |
バグ 2 (roi-begin の値を使う) とバグ 3 (1 GHz 仮定) は逆方向に誤差を生み出している。バグ 2 だけなら 0.29、バグ 3 だけなら 1.67 になるところが、2 つ重なることで「それらしい」0.59 に偶然収まってしまっていた。
修正
シェルスクリプトの修正
run_sift_single_simpoint.sh と run_full_benchmark_fifo.sh の両方で、リダイレクトを廃止して --output オプションで明示的に出力先を指定するよう変更した。
# 修正前: stdout リダイレクトが JSON を破壊する
"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
sim.stats.sqlite3 --format json \
> sim.stats.json 2>&1
# 修正後: Python スクリプト自身がファイルに書く; stdout は端末へ
"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
sim.stats.sqlite3 --format json \
--output sim.stats.json 2>&1
estimate_ipc.py の修正
extract_ipc_from_stats_json を廃止し、SQLite を直接読む extract_ipc_from_sqlite に置き換えた。
def extract_ipc_from_sqlite(path: Path, freq_ghz: float = 2.0) -> float | None: """SQLite から正しい IPC を算出する。 Instructions = performance_model.instruction_count at roi-end Elapsed = thread.elapsed_time[roi-end] - thread.elapsed_time[roi-begin] (fs) Cycles = elapsed_fs / clock_period_fs IPC = instructions / cycles """ conn = sqlite3.connect(str(path)) cur = conn.cursor() def _get(prefix, obj, metric): cur.execute(''' SELECT v.value FROM "values" v JOIN names n ON v.nameid = n.nameid JOIN prefixes p ON v.prefixid = p.prefixid WHERE p.prefixname = ? AND n.objectname = ? AND n.metricname = ? ''', (prefix, obj, metric)) row = cur.fetchone() return int(row[0]) if row else None instructions = _get("roi-end", "performance_model", "instruction_count") elapsed_end = _get("roi-end", "thread", "elapsed_time") elapsed_beg = _get("roi-begin", "thread", "elapsed_time") conn.close() delta_fs = elapsed_end - elapsed_beg clock_period_fs = 1e15 / (freq_ghz * 1e9) cycles = delta_fs / clock_period_fs return round(instructions / cycles, 4)
get_ipc() の優先順位も変更した。
def get_ipc(sim_dir: Path, freq_ghz: float = 2.0) -> float | None: # 修正後の優先順位: # 1. sim.out - Sniper が自ら算出した値; 常に正しい # 2. sim.stats.sqlite3 - 正しい式で読めば正確 # 3. sim.stats.json - 破損の可能性あり; 最後の手段 sim_out = sim_dir / "sim.out" if sim_out.exists(): ipc = extract_ipc_from_simout(sim_out) if ipc is not None: return ipc sqlite_file = sim_dir / "sim.stats.sqlite3" if sqlite_file.exists(): return extract_ipc_from_sqlite(sqlite_file, freq_ghz) return None
修正後の IPC 再計算結果
403.gcc の全 9 subcmd について修正前後の加重平均 IPC を比較した。
| subcmd | 旧 IPC | 新 IPC | 差 |
|---|---|---|---|
| 1 | 0.5737 | 0.8441 | +0.27 |
| 2 | 0.6976 | 0.7730 | +0.08 |
| 3 | 0.6317 | 0.8193 | +0.19 |
| 4 | 0.6231 | 0.7994 | +0.18 |
| 5 | 0.6014 | 0.8968 | +0.30 |
| 6 | 0.5900 | 0.8451 | +0.26 |
| 7 | 0.5013 | 0.7633 | +0.26 |
| 8 | 0.6826 | 0.9619 | +0.28 |
| 9 | 0.5740 | 0.7690 | +0.19 |
| 全体 | 0.6084 | 0.8302 | +0.22 |
全 subcmd で一様に約 +0.22 の上方修正が入った。すべての simpoint で同じ 2 つのバグが効いていたため、系統的なずれになっている。