前の車に速度を合わせていたところ制限速度40キロのところを60

前の車に速度を合わせていたところ制限速度40キロのところを60キロ近く出ていたので45〜50キロに速度を落として走っていたら後ろの車に煽られてしまいました。
免許を取得して2年が経ちますが月に5、6回は同じようなことをされたり見たりしています。
広い道であれば交通の流れに沿って、制限速度より5〜10は出すようにしてるのですが、住宅街の細い道であったり急なカーブがある道はなるべく制限速度よりも落として走りたいのですが、迷惑でしょうか..