23cと25cだとタイヤの接地面積が小さくなりますが、あまり変わらないよね…って思うかもしれません。
が、肝心なのはタイヤの変形量の差はかなり変わります。
タイヤ幅が広くなると外径も大きくなり凹凸での走破性も向上します。 
 WS000153
※イラストの資料はGOKISOの物です。
どの程度差が出るのか?
rolling-resistance-GB

※イラスト資料はショワルベの物です。
太さとエア圧によるワットの図です。
60cと37cだと25Wで走る時のエア圧は倍となります。 
この場合、圧を上げれば同じ!と言う訳でなく、圧が上がる程に乗り心地が悪くなり、跳ねてタイヤが路面を蹴り出しにくくなります。
追加で書くとペダリングにも影響が出てしまい、腰を浮かせたりした場合は特にペダリング効率も下がります。 

23cのいいところ
0発進が楽
タイヤが軽いので勾配のきつい場所で楽
タイヤ外径が小さいので踏み出しが軽い

デメリット
重量増による出だしの重さ
外径が大きくなり出だしが重くなる
勾配のきつい場所では重さがマイナス要因 
大トルクをかけた時のたわみ量が大きくなり加速が鈍る

メリット
重量増に伴い慣性が使えるので失速しにくいので走り出してしまえば重さが気にならない
エアボリュームが多くなるので振動吸収性能の向上
タイヤの変形量が少なく転がり抵抗が少ない
緩斜面は転がり抵抗が少ない方が進む
速度の伸びが良い(少ない力で進む)

大まかに書くとこんな感じでしょうか?
ツールなどの大きな大会でもクリンチャータイヤで幅の広い物を使う選手もいる様です。

細いリムに25cを付けると丸くなりすぎて本来の性能が出ない場合もあったり、ターンイン時にフィーリングが大きく変わる物もあると思います。
シマノの6800アルテグラと25cの組み合わせですが、IRC、ミシュラン、コンチネンタルは気になる様な変化はありませんでしたがボントレガーのR3はフィーリングが 大きく変わりターンインの瞬間にすっぽ抜けそうで怖かった覚えがあります。 

勾配が5%以上が続くなら23c
勾配が5%までなら25c
かなーと思います。