普通自動車免許をもっていて、自動二輪の免許を住民票のない県で教習所で取った時、

普通自動車免許をもっていて、自動二輪の免許を住民票のない県で教習所で取った時、併記する県は住民票のない県でも大丈夫ですか？

あくまでも運転免許試験は住所地を受け持つ公安委員会の運営する試験場で受験します。

というより、免許証に記載されている住所地で併記することになります。
その住所地以外の都道府県で併記する場合には住所変更手続きも併せてしなければなりません。
指定教習所であれば全国どこの教習所でも問題はありません。

「普通自動車免許をもっていて、自動二輪の免許を住民票のない県で教習所で取った時、併記する県は住民票のない県でも大丈夫ですか？」
教習所では免許は取れませんから「免許を住民票のない県で教習所で取った」はあり得ません。それは単に、住所地の都道府県でない指定教習所を卒業し、卒業証明書を貰った、と言うだけです。まだ免許は取っていません。併記をしてようやく「免許取得」です。
併記の手続きができるのは「免許証に記載されている住所の都道府県」です。必ずしも住民票の所在地でなくても構いませんが、手元の免許証に記載されている住所で決まります。任意の都道府県で手続きをすることはできません。
ただ、併記の前、もしくは併記と同時に、免許証の住所変更の手続きができれば良いだけの話ですので、実質的には「併記手続きを行おうとする都道府県の現住所を証明できる手段があるか」の問題になります。住所変更に必要な証拠書類として何が使えるかは都道府県により異なるので、個別に確認する必要がありますね。

基本無理です。
併記とは新免許証の発行を受ける行為であり、
免許証の発行を受けられるのは住民登録住所がある
都道府県の指定施設のみです。
ただし、お書きになっている住民票の無い県が
実際に居住をしている県なのであれば、
併記と住所変更を同時に行うことで、
併記は可能になります。

教習や卒業検定は、全国何処の教習所でも可能です。

併記するには、住民票を登録してある都道府県の運転免許センターだけです。