免許を取り立ての初心者ドライバーです。先日、どうしたら良いのかよか

免許を取り立ての初心者ドライバーです。
先日、どうしたら良いのかよかったのか状況に遭遇したため、その時どうすればよかったのか教えて頂きたいです。
目的地の関係でやむを得ず車2台がぎりぎり通れる程度の狭い生活道路を走行中に、道路で作業をしている高齢者を発見しました。
溝掃除をしていたのか、金属製の蓋を道路に大きく広げて、道路に座り込んで作業されていました。
軽いカーブになっている場所で見通しも悪く、仮に避けて通った場合に対向車が来ると危ないなと判断して待ってみることにしたのですが、どいて貰えるような様子はありませんでした。
3、4分程度待ちましたが退いてもらえるアクションもなく、待っている間に対向車が来なかったため、高齢者の右側に避けて通行する判断をしました。その道路には中央線も引かれていなかったため、避けても大丈夫であると判断しました。
しかしながら、歩行者を避けてカーブをした途端、前方から対向車現れました。幸い衝突はしませんでしたが、かなり接近しており、狭い道であるため左に寄ってすれ違うのは困難に感じました。また、バックできれば左に寄せるためのスペースができるなとは思ったのですが、高齢者の方を避けてバックする技術が私にあるとは思えなかったため、対向車の方にバックして欲しいと思い、手を奥に払うようなジェスチャーをしました。
しかし、対向車の方からは高齢者の方がいることが見えないのかバックしてもらえず、お前が下がれよと言ったような顔をされました。（これは妄想かもしれませんが、下がっては貰えませんでした）
進めないし下がれないと言った状況で、対向車からクラクションを鳴らされどうしようもなく思い、やむを得ず生活道路に面していた知らない方の住宅の庭（駐車場？）に侵入して対向車に行ってもらいました。
本来であれば知らない方の住宅に侵入することは認められませんが、緊急時の回避行為であると判断し、その際は行いました。
しかし、私が初心者であったためどこかで誤った判断をしていたのかもしれないと思い、アドバイスいただきたく思います。
よろしくお願いいたします。

判断に誤りがあるとすれば、
他人の私有地に対する不法侵入ですね。
やっぱりこれはまずいです。
問題は質問者さんの技量です。
今回の状況ですと、
やはりバックをすべきは質問者さんと思いますので。
まぁ一番まずいのは、
車両の通行を妨害している高齢者ですけどね。

3〜4分は待ちすぎでしょう。駐車しているも同然です。
少し様子を見て、こちらの存在に気付いていないor移動しないようならクラクションを軽く鳴らしても良いかと。
普通の場合ならごめんねのジェスチャーをしてどけてくれるはずです。
対向車が来た場合は避けられるほうが避けます。基本的には止まっていたほうが避けますね。避ける動作のためにバックしたり頭を寄せます。
今回の場合はあなたが「すんません」のジェスチャーをしながら相手をどけるのが良かったのかなと。そして通り過ぎるときに「どうも」と短めのクラクション。あっち行けと手を振ると、相手次第では大変なことになりますよ。
あくまで公道上の慣習だと思ってください。法律と常識はたまに異なることがありますので。

私有地に入るのは良くないですね。
相手に情況を分かってもらう工夫が必要だったと思います。

溝掃除をされている高齢者に、道具をよけてもらえるように伝える。
（または、軽くクラクションを鳴らして道具が通行の妨げになっていると気づかせる）

別の作業員や警備員を立たせてないので、安全確認して進むしかないですね。