免許証の住所変更について幹部交番に住所変更しに行く予定です。

免許証の住所変更について
幹部交番に住所変更しに行く予定です。
住所変更の際の持ち物について、
【ご本人の新住所を確認することができる書類（個人番号が印字されていない住民票の写し（コピーしたものは不可）、健康保険証、マイナンバーカード（通知カードは除く）又は新住所に届いた郵便物などのいずれか1つ）】
とあります。
住民票を取りに行くのが面倒、マイナンバーカードも持っていないため、健康保険証もしくは郵便物で行こうと思います。
社会保険のため保険証の裏に新住所を手書きしたものでも問題ないか、また郵便物は水道料金のお知らせ（領収書ではないです）や、市役所から届いた書類に記載されている住所などでも大丈夫だと思いますか？

大丈夫だと思います。
警視庁は消印付き郵便物となっていますが、警視庁ではなさそうだし、『新住所に届いた郵便物など』としか書いてないなら行けると思いますよ。

「社会保険のため保険証の裏に新住所を手書きしたものでも問題ないか」
国保なら住所は印字されていますが、社保は自書式ですから、何の証明能力もなく、駄目だと思います。まあ、わざわざ無関係な住所をラクガキするバ●も居ないでしょうから、パスポートの自書式の住所欄同様に、認めてくれる可能性もなくはないでしょうが…。
「水道料金のお知らせ（領収書ではないです）や、市役所から届いた書類に記載されている住所などでも大丈夫だと思いますか？」
かなり微妙です。と言うのは、今時の郵便物は、封筒に宛先を印字せず、透明な窓で内側の内容物に記載された宛先を見る形式になっていますし、料金別納が殆どで切手に消印が押されません。その郵便物を第三者が見た時に、それが本当に郵便配達で届いたものなのかの確証が持てない形態になっています。
警察が郵便物を住所の証明に使うのは、それが郵便配達できちんと届いたかどうかを根拠にしようと言うものですから、それができない態様の郵便物は認められない可能性が大です。
それらしか用意ができないのであれば、まずはその幹部交番？に電話して確認してみてはどうですかね。