免許証の更新の延長をしたいのですが、 - 警察署に行けば良いのでし

免許証の更新の延長をしたいのですが、
警察署に行けば良いのでしょうか？

はい。警察署に延長申請用紙がありますから、必要事項を記入して提出すればいいです。
が、どうせ警察署へ行くなら隣接する交通安全協会と行き来して更新手続きした方が賢明だと思いますよ。
俺も来月更新だけど延長しても結局は更新手続きしなきゃならんのだし一回で済む様に延長せず更新するつもりだわ。
延長しても意味ないし。

都道府県により異なりますが、普段は警察署で更新できないところでも、延長措置については警察署や大規模交番で受けているケースが多いので、多分大丈夫でしょうね。詳細を確認したければ、免許証の記載住所の都道府県の警察のホームページで確認しましょう。
延長手続きの実態は、持参した免許証の裏面に、期限延長の文言が裏書されるだけです(郵送だとシール処理になります)。特別な機器が無くてもできる手続きなので、免許証の住所変更が扱える窓口なら、期限の延長措置も扱えるはずです。

地域により異なります。
今お使いのインターネットで、
お住まいの都道府県名
＋
免許証
＋
有効期限延長
と検索されれば数十秒でご確認可能です。

更新の延長とは？
それに警察署に行くのならそのまま更新した方が賢い

各警察本部のHPを見てください。
例：大阪府
https://www.police.pref.osaka.lg.jp/tetsuduki/untenmenkyo/9995.html