住所が変わった場合必ず免許証の住所も変更しなきゃですか？

住所が変わった場合必ず免許証の住所も変更しなきゃですか？

しないと厄介なことになるでしょうね
身分証明に免許を使うときもややこしくなります
警察に行ったらその場で3分くらいでやってくれることですから、警察署通りかかった時に行けば良いです

速やかに変更することが決まりです。
仮に変更をしないでおくと、運転免許に関する通知が「宛先不明」来なくなりますよ。例えば、更新の通知、行政処分(免許停止処分)です。

法律ではそう定められています。一応、怠ったら2万円の罰金または科料になる犯罪です。
ただ実際には、それで必要な郵便物が届かなくなるような事がない限り、特に不都合は無く、あってもその不都合は本人限定のもので、警察としては困りません。よって、暴力団員やカルト宗教の構成員などを別件逮捕する際の口実くらいでしか、罪を問われる事はないと思います。

一応法律上はそー定められていますね。
現住所と住所が異なる場合、基本的には「身分証」としての効力がないと考えて下さい。
(住所が異なるので身分を証明したことにならない、とゆー解釈だからです)
ただ住所の変更をしなかったからといって、そのことだけを理由に「違反」とか検挙されたりなどされることはありません。

（免許証の記載事項の変更届出等）
第九四条 免許を受けた者は、第九十三条第一項各号に掲げる事項に変更を生じたときは、速やかに住所地を管轄する公安委員会（公安委員会の管轄区域を異にして住所を変更したときは、変更した後の住所地を管轄する公安委員会）に届け出て、免許証に変更に係る事項の記載（前条の規定による記録が行われる場合にあつては、同条の規定による記録）を受けなければならない。

変更するべきです。