FPGA開発日記

カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages , English Version https://fpgadevdiary.hatenadiary.com/

SimPoint の IPC 推定値の解析

msyksphinz.hatenablog.com

SPEC CPU2006 の SimPoint ベースの IPC 推定パイプラインを整備していて、ふと気になることがあった。ipc_estimation.csv に記録されている simpoint_1824 の IPC が 0.5868 なのに、同じディレクトリの sim.out を見ると IPC は 0.83 と表示されている。

# sim.out の中身 (一部抜粋)
                                     | Core 0
  Instructions                       |   15999949
  Cycles                             |   19207122
  IPC                                |       0.83
  Time (ns)                          |    9603561

0.5868 と 0.83 は 40% 以上の差がある。どちらかが間違っているはずだ。


sim.stats.sqlite3 から IPC を検証する

まず「正解」を作るために、Sniper が出力する SQLite データベース (sim.stats.sqlite3) を直接読んで IPC を計算してみた。

SQLite の構造

sim.stats.sqlite3 には 3 つの主要テーブルがある。

prefixes テーブル: prefixid -> prefixname
  1: start
  2: roi-begin    ← ROI (詳細シミュレーション) 開始時点のスナップショット
  3: roi-end      ← ROI 終了時点のスナップショット
  4: stop

names テーブル: nameid -> (objectname, metricname)
values テーブル: (prefixid, nameid, core, value)

カウンタはすべて累積値として記録されており、IPC の計算には roi-end - roi-begin の差分を使う。

正しい IPC の計算式

instructions = performance_model.instruction_count[roi-end]   # roi-beginは0なので差分不要
elapsed_end  = thread.elapsed_time[roi-end]    # 単位: フェムト秒 (fs)
elapsed_beg  = thread.elapsed_time[roi-begin]  # 単位: フェムト秒 (fs)

delta_fs = elapsed_end - elapsed_beg
# clock_period_fs: 2 GHz -> 1サイクル = 0.5 ns = 500,000 fs
cycles   = delta_fs / 500_000
ipc      = instructions / cycles

実際の数値を当てはめると:

performance_model.instruction_count[roi-end]  = 15,999,949
thread.elapsed_time[roi-end]                  = 16,420,647,500,000 fs
thread.elapsed_time[roi-begin]                =  6,817,086,375,000 fs

Δ elapsed_time = 9,603,561,125,000 fs
cycles         = 9,603,561,125,000 / 500,000 = 19,207,122
IPC            = 15,999,949 / 19,207,122     = 0.8330

sim.out の IPC = 0.83 と一致した。正解は 0.83 だ。


なぜ ipc_estimation.csv は 0.5868 になるのか

ipc_estimation.csv を生成するスクリプト estimate_ipc.py を読むと、get_ipc() という関数が IPC を取得している。

def get_ipc(sim_dir: Path) -> float | None:
    """Get IPC from sim.stats.json in sim_dir if present, else from sim.out."""
    stats_json = sim_dir / "sim.stats.json"
    if stats_json.exists():
        ipc = extract_ipc_from_stats_json(stats_json)  # sim.stats.json を優先
        if ipc is not None:
            return ipc
    sim_out = sim_dir / "sim.out"
    if sim_out.exists():
        return extract_ipc_from_simout(sim_out)
    return None

sim.stats.json が存在する場合はそちらを優先し、extract_ipc_from_stats_json() で IPC を計算する。この関数が怪しい。

def extract_ipc_from_stats_json(path: Path) -> float | None:
    text = path.read_text()
    inst_m = re.search(r'"core\.instructions"\s*:\s*(\d+)', text)
    time_m = re.search(r'"barrier\.global_time"\s*:\s*(\d+)', text) or \
             re.search(r'"thread\.elapsed_time"\s*:\s*(\d+)', text)
    instructions = int(inst_m.group(1))
    time_fs = int(time_m.group(1))
    cycles = time_fs / 1e6          # ← 1 GHz 仮定
    return round(instructions / cycles, 4)

見ただけで 2 つの問題がわかる。だが実際に追いかけてみると、もう 1 つ根本的な問題があった。


バグ 1: sim.stats.json の先頭が破損している

run_sift_single_simpoint.sh の中で convert_sniper_sqlite.py を呼ぶ部分を見ると:

"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
    "${output_subdir_abs}/sim.stats.sqlite3" \
    --format "${SQLITE_OUTPUT_FORMAT:-json}" \
    > "${output_subdir_abs}/sim.stats.json" 2>&1  # ← 問題のリダイレクト

convert_sniper_sqlite.py はファイルへの JSON 書き出しとstdout へのサマリー出力を別々に行う設計だ。

# convert_sniper_sqlite.py の出力部分
with open(output_path, 'w') as f:
    json.dump(data, f, ...)    # JSON を output_path に書く
                               # (output_path = sim.stats.json)
print(f"Successfully converted ...")   # stdout にサマリーを出力
print(f"  Format: json")
print(f"  Prefixes: 4")
...

シェルが > sim.stats.json でリダイレクトを張るとき、bash は実行前にそのファイルを開いて fd 1 を張る。Python スクリプトは実行中に同じ sim.stats.json を開いて JSON を書き終えたあと、stdout (= fd 1 = sim.stats.json) にサマリーを書く。fd 1 のファイルポインタは位置 0 から書き始めるため、JSON の先頭約 200 バイトがサマリーテキストで上書きされる。

実際の sim.stats.json の先頭はこうなっている:

Successfully converted .../sim.stats.sqlite3 to .../sim.stats.json
  Format: json
  Prefixes: 4
    - start: 1 metrics
    - roi-begin: 190 metrics
    - roi-end: 359 metrics
    - stop: 359 metrics
 3606625000,
      "dram-queue.num-requests": 14458,
      "itlb.miss": 7332,
      "core.instructions": 4000002,     ← ここが roi-begin の値

JSON の { から始まる部分が消え、残存した JSON の断片がそのまま残っている。


バグ 2: re.search が roi-begin の値を拾う

JSON の先頭が上書きされているため、re.search(r'"core\.instructions"...') が最初にヒットするのは roi-begin プレフィックスに属するエントリだ。

roi-begin の core.instructions = 4,000,002

これは何の数字か。Sniper の SimPoint シミュレーションでは、詳細シミュレーション区間の前にウォームアップ区間 (20%) が実行される。今回の SimPoint は interval = 20,000,000 命令なので:

ウォームアップ命令数 = 20,000,000 × 20% = 4,000,000 命令

roi-begin の core.instructions = 4,000,002 はウォームアップ終了時点の累積命令数であり、ROI 期間 (詳細区間) の命令数 15,999,949 とは全く別の値だ。

同様に barrier.global_time の最初のヒットも roi-begin の値になる:

barrier.global_time[roi-begin] = 6,817,086,375,000 fs  ← ROI開始時点の「絶対時刻」

これは ROI 期間の経過時間ではなく、シミュレーション開始からROI開始までの累積時間だ。


バグ 3: 1 GHz を仮定したクロック計算

cycles = time_fs / 1e6   # 1 GHz (1 サイクル = 1 ns = 1,000,000 fs) を仮定

実際のシミュレーションは 2 GHz (1 サイクル = 0.5 ns = 500,000 fs) なので、分母は 1e6 ではなく 5e5 が正しい。


3 つのバグが IPC = 0.5868 を生み出した仕組み

正しい値と各バグ単独の影響を整理すると:

命令数 時間 クロック仮定 サイクル IPC
roi-end Δ: 15,999,949 Δ: 9,603,561,125,000 fs 2 GHz (正しい) 19,207,122 0.8330 (正解)
roi-begin: 4,000,002 roi-begin 絶対値: 6,817,086,375,000 fs 1 GHz (バグ) 6,817,086 0.5868 (バグあり)
roi-begin: 4,000,002 roi-begin 絶対値: 6,817,086,375,000 fs 2 GHz 13,634,172 0.2934
roi-end Δ: 15,999,949 Δ: 9,603,561,125,000 fs 1 GHz (バグ) 9,603,561 1.6660

バグ 2 (roi-begin の値を使う) とバグ 3 (1 GHz 仮定) は逆方向に誤差を生み出している。バグ 2 だけなら 0.29、バグ 3 だけなら 1.67 になるところが、2 つ重なることで「それらしい」0.59 に偶然収まってしまっていた。


修正

シェルスクリプトの修正

run_sift_single_simpoint.sh と run_full_benchmark_fifo.sh の両方で、リダイレクトを廃止して --output オプションで明示的に出力先を指定するよう変更した。

# 修正前: stdout リダイレクトが JSON を破壊する
"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
    sim.stats.sqlite3 --format json \
    > sim.stats.json 2>&1

# 修正後: Python スクリプト自身がファイルに書く; stdout は端末へ
"${SCRIPT_DIR}/convert_sniper_sqlite.py" \
    sim.stats.sqlite3 --format json \
    --output sim.stats.json 2>&1

estimate_ipc.py の修正

extract_ipc_from_stats_json を廃止し、SQLite を直接読む extract_ipc_from_sqlite に置き換えた。

def extract_ipc_from_sqlite(path: Path, freq_ghz: float = 2.0) -> float | None:
    """SQLite から正しい IPC を算出する。

    Instructions = performance_model.instruction_count at roi-end
    Elapsed      = thread.elapsed_time[roi-end] - thread.elapsed_time[roi-begin]  (fs)
    Cycles       = elapsed_fs / clock_period_fs
    IPC          = instructions / cycles
    """
    conn = sqlite3.connect(str(path))
    cur = conn.cursor()

    def _get(prefix, obj, metric):
        cur.execute('''
            SELECT v.value FROM "values" v
            JOIN names n ON v.nameid = n.nameid
            JOIN prefixes p ON v.prefixid = p.prefixid
            WHERE p.prefixname = ? AND n.objectname = ? AND n.metricname = ?
        ''', (prefix, obj, metric))
        row = cur.fetchone()
        return int(row[0]) if row else None

    instructions = _get("roi-end", "performance_model", "instruction_count")
    elapsed_end  = _get("roi-end",   "thread", "elapsed_time")
    elapsed_beg  = _get("roi-begin", "thread", "elapsed_time")
    conn.close()

    delta_fs = elapsed_end - elapsed_beg
    clock_period_fs = 1e15 / (freq_ghz * 1e9)
    cycles = delta_fs / clock_period_fs
    return round(instructions / cycles, 4)

get_ipc() の優先順位も変更した。

def get_ipc(sim_dir: Path, freq_ghz: float = 2.0) -> float | None:
    # 修正後の優先順位:
    # 1. sim.out          - Sniper が自ら算出した値; 常に正しい
    # 2. sim.stats.sqlite3 - 正しい式で読めば正確
    # 3. sim.stats.json   - 破損の可能性あり; 最後の手段
    sim_out = sim_dir / "sim.out"
    if sim_out.exists():
        ipc = extract_ipc_from_simout(sim_out)
        if ipc is not None:
            return ipc
    sqlite_file = sim_dir / "sim.stats.sqlite3"
    if sqlite_file.exists():
        return extract_ipc_from_sqlite(sqlite_file, freq_ghz)
    return None

修正後の IPC 再計算結果

403.gcc の全 9 subcmd について修正前後の加重平均 IPC を比較した。

subcmd 旧 IPC 新 IPC 差
1 0.5737 0.8441 +0.27
2 0.6976 0.7730 +0.08
3 0.6317 0.8193 +0.19
4 0.6231 0.7994 +0.18
5 0.6014 0.8968 +0.30
6 0.5900 0.8451 +0.26
7 0.5013 0.7633 +0.26
8 0.6826 0.9619 +0.28
9 0.5740 0.7690 +0.19
全体 0.6084 0.8302 +0.22

全 subcmd で一様に約 +0.22 の上方修正が入った。すべての simpoint で同じ 2 つのバグが効いていたため、系統的なずれになっている。