車の免許の住所変更に際して、住民票が必要になるようです。この住民票

車の免許の住所変更に際して、住民票が必要になるようです。
この住民票は、家族全員分の記載があるものでも大丈夫
でしょうか？

はい、大丈夫です。
世帯の住民票の写しはすべて揃って1通という扱いになり、ホッチキスで綴じられている場合には、外してばらばらにしてしまうと無効になってしまうので、まとめて持参するようにしてください。
なお、質問者さんがこの世帯の住民票の写しとご自身の運転免許証、さらに住民票に記載されている他のご家族の運転免許証を持参することで、お持ちになったすべての運転免許証の住所変更を一人で行うことができます。

行政への転入出届とは違いますからね。本人記載のモノだけで充分です。