十字路で右折を中央付近で待っている際、直進の車がパッシングをしたた

十字路で右折を中央付近で待っている際、直進の車がパッシングをしたため譲ってくれたのだと思い進もうとした所、相手も動き出してしまいぶつかるところでした。
同乗者には「初心者マーク付けてたから煽られたのかもね」と言われました。これ以来、運転が怖くなってしまっています。
どうすれば運転の恐怖心を少なく出来るでしょうか、やはり回数をこなすしか無いのでしょうか？補足パッシングを受けた際に相手が手のひらを前に出していたので先に行くべきかと思い発進してしまいました。

さしあたって、「直進の車がパッシングをしたため譲ってくれたのだと思い」などという頭の狂った運転をやめることです。
どこのド田舎者だか知らんが、パッシング＝道を譲るなんて狭い地域でしか通用しない方言です。
結局のところ、経験不足で方言を全国共通と勝手に勘違いしちゃったのは仕方がありません。
人間は自分の経験でばかりものを言うので、あなたの小さな経験を世界のすべてを思い込んじゃったわけです。
まだほんのちょっとしか経験してないのに。
一方、教習所で習うことは全国共通です（全国で同じことを教えるようルールで決まっています）。
誰も言ってない「パッシング＝道を譲る」なんて妄想をいったん全て捨てて、もういちど基本に立ち返りましょう。
基本を忘れては、どんな経験を積んでも意味がありません。

危ないよと注意の意味でパッシングしたり、何か知らせたり
どけ！とか必ずしもお先にどうぞでは無いという事。
経験と慣れれば自然と分かるようになります。

良く観察して経験積むしかない。
直進車がパッシングしても譲る意味と出てくるなよって真逆の意味で使う場合があるので
その車が減速して譲ろうとしているのか速度変えずに突っ切ろうとしているのか判断、判断できないような場合は基本止まる。
譲ろうとパッシングしたけど動かないから行かないと思ってそのまま走り抜けるみたいなことも考えられるから迷ったら動かない事です。
その車がかなり車間を空けているとか左折しようとしてるとかそういった色々な要因を考慮して判断するので経験積むしかないですね。
自分は右折の場合よほど車が来ない場合とか対向車線が渋滞で詰まって止まってるとかじゃない限り基本待ちます。

パッシングは決まった交通ルールでは無いので、どうぞ、先に行く、人それぞれで違います。
そのうちパッシングされた時の間に慣れてきますよ。
ただ、サンキュークラッシュという事もあるので譲られた後注意してください！
譲られたから早く行かないとと思い、死角に走行車がいたりします。

「先に行く」「進路を譲る」の意味を持つので、注意しましょう。

直進の車がパッシングをしたため譲ってくれたのだと思い進もうとした所、相手も動き出してしまいぶつかるところでした。
→その直進の車は止まっていたのですか？
でもあなたは中央付近だから青になった瞬間ではないですよね？
良くわからない場面ですね
パッシングされた際、アイコンタクトは出来たのですか？
アイコンタクトが出来ていないとあなたに向けたパッシングがわからないですね
アイコンタクトやハンドサインが無いパッシングは間違いかもしれませんよね
でもご友人が考える煽り運転とは思えないですけどね

で答えは
間を空けずに頻繁に運転する事
逆上がりや
英単語ドリルと同じです
あと譲られてもルール通りの優先順位まで待つことですね
いきなり応用問題には挑戦しないこと