車の免許を取ってからかなり運転していないのですが、上達するに

車の免許を取ってからかなり運転していないのですが、上達するには慣れや感覚が大きいですか？

それはもう人それぞれですから。
免許取得時に、特につまづくこともなく・まぁまぁすんなり取れた人と、四苦八苦して時間もだいぶオーバーしてやっと取れた人。色々でしょ。
ペーパードライバー期間が少々長くとも、すんなり運転できる人もいれば、全く忘れてしまって本気で危ない人も中には居ます。
慣れや感覚の違いも確かにありますが「それだけじゃない」ですよ。基礎は一応体に・頭の中に残ってるでしょうから、落ち着いてしっかり思い出すことです。どうしても不安なら「ペーパードライバー講習」を受けてみるのも手です。