(片側1車線)車2台ギリギリの細い車道で私は左側にいます。右側に

(片側1車線)車2台ギリギリの細い車道で私は左側にいます。右側にも車がいて私が通るのを待ってくれている状態でした。
すると前から自転車がきて待ってくれている車をかわし私と向かい合う形になりました。
私は待ってくれている車を多少なりともよけて通りますから左によっている状態なのですが、その自転車が左と壁のわずかな隙間にきて「通れない寄れ」と指で合図をしてきました。
説明下手ですが自転車は逆走ではないですか？待ってくれている車を避けたなら元に戻るべきじゃないですか？寄るのは自転車だと思うのですが間違っていれば正確な交通ルールを教えていただきたいです。

自転車は、（すれ違いのために）停止していた対向車を右に出て追い抜こうとしたのだと思います。
停車中の自動車を右側から追い越す行為自体は、違反にはなりません。
自転車の人は、対向車が停止している理由（ここでは、すれ違いのため）を意識せずに右に出て進んできたものと思われます。
ただ、だからといって「通れない寄れ」は、やり過ぎでしょうね。
本来なら対向車の後ろで待つべきです。
「お互いすれ違いのために徐行・停止してるのだから、下がって待ちなさい」と言うしかないです。

質問を読みますと、片側1車線の道路で、それぞれの幅員が通常よりも狭い場合だと思います。”右側にも車がいて”⇒対向車線の自動車だと思います。片側1車線なので、二台が揃って同じ方向に進行することはない為です。”前から自転車がきて”⇒対向車線の車線だと思います。対向車線の自動車が左寄せするか、自転車が対向車線の自動車の進行を待てば良いと考えます。質問者側の進行や車線の問題ではありません。以上、当方の私見

ぶつかれば何も良いことはないので止まってやり過ごすことです。
ルールがどうであろうとそれを理解しない相手ですよ。

自転車は左の隙間を通れない、
貴方は右側に寄れない、
だったら右側の車が通過するまで自転車も貴方もそのまま待機するしかありません。
ルールどうこうの問題ではなく当たり前の話です。