精神障害者です16歳の頃に原付免許18歳の頃に普通自動車免許を取りました

精神障害者です16歳の頃に原付免許18歳の頃に普通自動車免許を取りました当時は高校生で健常者でした
21歳の頃から病気が酷くなり35歳の頃に障がい者になりました
毎年乗らないんだけどと言ってた免許証の更新の書類をかかりつけ医に書いて貰い免許証を更新してました
自動車には乗らず50ccのスクーターにたまに乗ってたぐらいです
3年ほど前にかかりつけ医が変わり免許証の更新の書類をお願いしたら危ないから自転車の免許の更新書類はかけませんと言われました
しぶしぶ免許証を警察に預けて3年近くになります
自動車の運転は18歳から病気になるまでの21歳までしか運転して無かったから不便はないし自動車など乗る事無いから自動車免許要らないのですが
50ccのスクーターに乗りたいのです毎日電動自転車に乗ってます坂がある団地に住んでいるため下の街に買い物に行く際は30キロ以上は出して自転車で降りて行ってます
買い物の帰りは坂道です電動自転車だからと言ってたやっぱりしんどいです
再来月で警察に免許証を預けて3年になります3年以内なら免許証返して貰えると聞きました自動車免許は要りません原付免許だけ返して貰う事って出来ないのですか？
詳しい方回答して下さい

神奈川県の場合です。
主治医に相談、運転許可を経ないと格下げでも無理のようですね。
https://www.police.pref.kanagawa.jp/tetsuzuki/menkyo/mes83146.html#:~:text=%E4%B8%80%E5%AE%9A%E3%81%AE%E7%97%85%E6%B0%97%E7%AD%89%E3%81%AB%E3%82%88%E3%82%8A,%E3%82%92%E5%86%8D%E5%8F%96%E5%BE%97%E3%81%A7%E3%81%8D%E3%81%BE%E3%81%99%E3%80%82

どちらにしても医師の意見書が必要なようなので、今の時点では難しいですね。