ロードバイクについてリアブレーキのアウターケーブルに少し余裕が無く右にハン

ロードバイクについて
リアブレーキのアウターケーブルに少し余裕が無く右にハンドルを切ろうとしたら引っかかる感じがあります。
ただ、乗車してる時は気にならないですが
アウターケーブルに負荷がかかって切れちゃうのではと不安になってます。
コラムスペーサー5.5.10mmで20mmです。
5mmを抜いてステムの上に入れれば解決すると思いますが調度良いフロントブレーキのアウターケーブルまで更に緩むんじゃないかと。
ハンドルの高さはスペーサー抜いたぶんサドル高くすれば解決しますが、、、、