警察署で免許証の住所変更をする場合、確認書類は役場から送られてき

警察署で免許証の住所変更をする場合、確認書類は役場から送られてきた水道料金の請求書でも大丈夫ですか？

記載事項変更で住所を変更する場合、
警視庁では消印付郵便物でもOKとなっています。
「役場から送られてきた」とあるので郵便物なのでしょうからいけると思いますが、事前に問い合わせるか、ダメ元で行ってみれば良いかと思います。
私は過去に大阪で電気の領収書ハガキで住所変更しました。

一般常識からして、住民票は必要かと。

住民票が必要です。