前回の続き: msyksphinz.hatenablog.com
最後に、Phase 3 で用意している estimate_ipc を使って、SPEC CPU2006 の整数ベンチ(SPECint、全 12 本)をまとめて流し切った結果を記録しておく。
対象は次のベンチマーク群で、いずれも「SimPoint ごとの IPC を SimPoint 重みで加重平均」→「SPEC/GHz(= SPEC スコアの推定)」の順で集約している。
ベンチマークごとの推定結果
下表は、各ベンチマークの Estimated Overall IPC と Estimated SPEC Score(SPEC/GHz) をそのまま並べたものだ。
| Benchmark | Estimated Overall IPC | Estimated SPEC Score(SPEC/GHz) |
|---|---|---|
400.perlbench |
0.835555 | 12.527063 |
401.bzip2 |
0.621557 | 9.318703 |
403.gcc |
0.620844 | 9.308003 |
429.mcf |
0.073059 | 1.095343 |
445.gobmk |
0.767623 | 11.508593 |
456.hmmer |
0.633665 | 9.500232 |
458.sjeng |
0.904468 | 13.560245 |
462.libquantum |
0.166234 | 2.492261 |
464.h264ref |
0.684941 | 10.268978 |
471.omnetpp |
0.224947 | 3.372522 |
473.astar |
0.483826 | 7.253768 |
483.xalancbmk |
0.567140 | 8.502851 |
特に上位は 458.sjeng (13.56), 400.perlbench (12.53), 445.gobmk (11.51) といった “高い IPC” 側が目立った。一方で下位は 429.mcf (1.10)、次いで 462.libquantum (2.49), 471.omnetpp (3.37) と、IPC が大きく低下するベンチが混ざっている。
SPECint composite(幾何平均)としてまとめる
SPEC CPU2006 の composite は、各ベンチマークの比率(ここでは Estimated SPEC Score(= SPEC/GHz))の 幾何平均で扱うのが一般的なので、この 12 個の値から幾何平均を計算した。
- ベンチ数: 12
- 幾何平均(SPECint 風 composite): 6.777506
参考として算術平均も計算しておくと 8.225714 になるが、composite の意味合いとしては幾何平均の方を優先して解釈する。
気づきと次の検証ポイント
この段階では “数値が揃って composite が出るところまで到達した” という意味が大きい。次のステップとしては、特に 429.mcf や 462.libquantum のように落ち込むベンチについて、以下を確認すると議論が進めやすい。
estimate_ipc.pyが参照している IPC(sim.stats.jsonのcore.instructions/ 時間、もしくはsim.outのIPC)が、各ベンチで同じソースになっているか- SimPoint 重みの偏り(特定 simpoint が支配していないか)と、該当 simpoint の IPC 分布
reftimeの読み取り(REF_IPC_TIMES_FREQ_GHZと組み合わせたratio/run_time_secの式が意図通りか)
次回以降は、落ち込みが大きいベンチから「どの SimPoint が支配的か」「その区間では何がボトルネックになっていそうか」を追いかける形にしていきたい。