免許を取ったが運転が怖い6年前に20代で普通AT免許を取得。

免許を取ったが運転が怖い  6年前に20代で普通AT免許を取得。 取得後すぐに、助手席に家族を乗せて運転したきり、車を運転していません。（一度きり）  理由は上記の間に、
・アクセルとブレーキを踏み間違える（軽く踏んだ時点で気付きました） ・脇を通る自転車に気を取られて信号を見落とす（横から指摘されて止まりました）
ということがあり、とても不安に感じました。 家族からも「慣れ以前の問題、普通ありえないミス、運転に向いていない」と言われて、事故を起こすくらいなら、と断念しました。  ただ今も乗れたらいいなという思いはあります。 「運転は慣れ」とも聞いたことがありますが、上記のようなミスは慣れるまでは起こりうることなのか、それとも普通ありえない、運転を控えるべき性質なのか。 客観的なご意見頂戴したいです。
（今後もし運転することがあれば、講習などを受け徹底的に訓練するつもりです。）

まぁ、慣れてる人でもミスはするので。
もし同じミスを何度もするなら、運転やめたほうがいいです。
反省はしましたか？どうすればよかったと思いますか？

免許取得後すぐの家族の何気ない言葉がトラウマに
なったのでしょうね。
「向いていない」随分と傷付いたと思います。
アクセルとブレーキの位置は大体の感覚で覚えます。
教習時代は車種が統一されていましたから
感覚が掴めていたと思います。
車種が変わるとアクセルとブレーキの位置も変わります。
最初に踏み間違えるのも無理は無いと思います。
自分のクルマの特性に慣れるしかないと思います。
「信号の見落とし」これも有り得ない事は無いです。
初心者で一つの動作に気を取られて、他で失敗するのも
良くあります。最初から完璧には出来ません。
臆せずに練習を重ねれば次第に慣れて失敗も減って行きます。

運転は慣れではないです
下手はずっと下手ですし合わない人は合わない

31歳独身男で免許歴13年です。
取得免許は旧普通車、旧普通車を一部返納して原付と小特を取得。その後新普通車、小型限定二輪、準中型、中型車と取得していきました。
さて、質問の結論として悩むくらいなら思い切って行動しましょうよ！
レンタカーに乗ったり、教習所のペーパードライバー講習を受けたりできますよね？
そんな事故もしてないのに一度や二度失敗したくらいで断念することはよろしくない、諦めさせる家族もどうかしてる。
私も昔は車両操縦に自信ありませんでしたよ。そこで軽四からマイクロバスまで色々な車種のレンタカーを操縦しました。場数を踏んでこそ、ようやく「自分は普通の人間より色々な車両を操縦できるんだ」と自信が湧いて出てきました。
最後に一言、事故に気をつけて操縦訓練してください。