車でのトラブルです。昨日の朝、片側一車線の道路を走行中のことです。

車でのトラブルです。
昨日の朝、片側一車線の道路を走行中のことです。
集合場所に急いでいかなければ、バスに乗って出発しなければいけない状態だったので、運転を急いでいると、前にトロトロと走る軽バスが。。。
そこまで極端に遅かったわけではないのですが、急いでいたので黄色車線の追い越し禁止のところであったのですが、追い抜いてしまいました。この時点で僕が悪いのですが・・・
その後後ろから猛スピードで追いかけられ、抜かされて前につけられ車を止められてしまいました。
「誰をあおっとんじゃ！」
若い男が叫びながら降りてきました。
こっちもやってしまったと思う反面、急いでいるので面倒くさいなー、と思いながら
運転席の窓を開けて「急いでるんや。はよ行かせてくれや。」
などと言っていたら、出てこいと言われたので運転席から出てしまいました。
同じような口論を数分続けていると、
「職場の事務所そこやから来い！今から仲間も呼ぶから！」
と言い、誰かに電話していました。
こっちが悪かった、調子乗ってたわ、ごめんやけどはよ行かせてくれや、と何度も言っていたら、
「心配せんでも今日お前は帰られへんから、事務所来い」と脅されました。
何度も何度もここからは謝り続けたのですが、行かせてくれず。
その後、運転席の窓を開けたままにしていたので車の鍵を奪われてしまいました。
奪い返した際に、キーだけをつかんでいたのですが、
「手が痛くなった。どうしてくれんねん。」と言われました。
その後は、今から仕事やけで手が痛くてできひんわ。診断書持っていくから免許書見せろと言われ続け・・・
その時点で警察を呼んだりしたらよかったのですが、いかんせん早く行かないと、間に合わないことばかり考えており、何度も免許書は見せないと言っていたのですが、一向に行かせてくれなかったので、
免許書を見せてしまいました。そして免許書の写真を撮られ、車のナンバーも写真撮られてしまいました。
「これで終わると思うなよ！診断書持って家行くからな！」と言われて、その後はなんとか行かせてくれました。

こっちがまず黄色車線で追い抜いた時点で悪いです。
また車外に出てしまった、鍵を取られてしまった、免許書を見せてしまった等落ち着いていればしなければよかったことが沢山あります。
挙げ句の果てに車の車種と特徴は覚えているのですが、肝心のナンバーを覚えておらず・・・。
急いでいたからとはいえ、いらんことをしてしまったと今は反省しております。
今後、本当に診断書を持って家に来たらと思うと不安でなりません。
新築の一軒家に家族みんなで過ごしているのに。
子供も小さいし、家の住所もバレたので今後住みにくくなったら本当に辛いです。
本当に家に来た際にはどのような対応をしていけばよいでしょうか？
友人に相談したところ、
・怪我になるようなことはしてないから、持ってきた診断書は返さずもらうこと。（偽装の可能性があるから）
・家に来たら不法侵入になるから警察を呼ぶこと。
などと教えてくれました。
まず来ないだろう。安心しとけと言われましたが、不安でなりません。
自分が悪いことをして起こったことなのですが、
今後の対策としてどうしていけば良いか教えていただきたいです。

とりあえず、脅されたと
警察には、相談された方が、いいです。
頭おかしいので、仲間もお金目当てで
参加してくる可能性あります。
しばらくは、奥さんとお子さんは
実家等、避難させて。

うんうん、楽しいサプライズだ（＾∇＾）
取り敢えず警察行こか。 クスリやってるかもョ
脅迫されました”と云えばよろし。
で、軽バスってなや？