FPGA開発日記

カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages , English Version https://fpgadevdiary.hatenadiary.com/

SPEC CPU2006 SimPoint CI パイプラインまとめ (6. SPECベンチマーク全体を流してみる)

前回の続き: msyksphinz.hatenablog.com

最後に、Phase 3 で用意している estimate_ipc を使って、SPEC CPU2006 の整数ベンチ(SPECint、全 12 本)をまとめて流し切った結果を記録しておく。

対象は次のベンチマーク群で、いずれも「SimPoint ごとの IPC を SimPoint 重みで加重平均」→「SPEC/GHz(= SPEC スコアの推定)」の順で集約している。

ベンチマークごとの推定結果

下表は、各ベンチマークの Estimated Overall IPC と Estimated SPEC Score(SPEC/GHz) をそのまま並べたものだ。

Benchmark Estimated Overall IPC Estimated SPEC Score(SPEC/GHz)
400.perlbench 0.835555 12.527063
401.bzip2 0.621557 9.318703
403.gcc 0.620844 9.308003
429.mcf 0.073059 1.095343
445.gobmk 0.767623 11.508593
456.hmmer 0.633665 9.500232
458.sjeng 0.904468 13.560245
462.libquantum 0.166234 2.492261
464.h264ref 0.684941 10.268978
471.omnetpp 0.224947 3.372522
473.astar 0.483826 7.253768
483.xalancbmk 0.567140 8.502851

特に上位は 458.sjeng (13.56), 400.perlbench (12.53), 445.gobmk (11.51) といった “高い IPC” 側が目立った。一方で下位は 429.mcf (1.10)、次いで 462.libquantum (2.49), 471.omnetpp (3.37) と、IPC が大きく低下するベンチが混ざっている。

SPECint composite(幾何平均)としてまとめる

SPEC CPU2006 の composite は、各ベンチマークの比率(ここでは Estimated SPEC Score(= SPEC/GHz))の 幾何平均で扱うのが一般的なので、この 12 個の値から幾何平均を計算した。

  • ベンチ数: 12
  • 幾何平均(SPECint 風 composite): 6.777506

参考として算術平均も計算しておくと 8.225714 になるが、composite の意味合いとしては幾何平均の方を優先して解釈する。

気づきと次の検証ポイント

この段階では “数値が揃って composite が出るところまで到達した” という意味が大きい。次のステップとしては、特に 429.mcf や 462.libquantum のように落ち込むベンチについて、以下を確認すると議論が進めやすい。

  • estimate_ipc.py が参照している IPC(sim.stats.json の core.instructions / 時間、もしくは sim.out の IPC)が、各ベンチで同じソースになっているか
  • SimPoint 重みの偏り(特定 simpoint が支配していないか)と、該当 simpoint の IPC 分布
  • reftime の読み取り(REF_IPC_TIMES_FREQ_GHZ と組み合わせた ratio / run_time_sec の式が意図通りか)

次回以降は、落ち込みが大きいベンチから「どの SimPoint が支配的か」「その区間では何がボトルネックになっていそうか」を追いかける形にしていきたい。