初心者マークって免許取得したその日にならないと外してはいけないのでしょうか？

初心者マークって免許取得したその日にならないと外してはいけないのでしょうか？

既に適切な回答がついていますが、起算日の定めがある場合を除き、暦日による期間の指定時には、民法の暦日計算の「初日不算入の原則」が適用されます。これは、その日の0時に状況が開始していない場合は、翌日を起算日にする、と言うものです。
運転免許の取得は通常、その日の0時ではなく日中に行われるものですので、取得の翌日が起算日です。なので、取得から1年間が経過するのは、取得の翌日の翌年同月同日の0時になり「免許取得した(翌年の)その日」ではなく「免許取得した日の(翌年のその日の)翌日」になります。
違反の累積点の計算に使われる「3か月」「1年」「2年」や、免許歴の計算に使われる「3年」「5年」と言った期間指定も同様で、法律に起算日の定めが無いので、初日不算入の原則により、翌日起算で計算する必要があります。
しかし、免停などの場合は「免許証を預けた日が初日」と起算日を指定しているので、出頭返納日から日数を数えます。

そうです。

基本的に日付を数えるときは、民法による日付の数え方を使います。
取得した当日は１日目とは数えず、翌日を１日目（起算日）となります。
起算日１年後の同月同日の前日が満了したら１年が経過したと数えます。

ですから、例えば３月１０日に取得したなら、起算日は３月１１日。
１年後の同月同日（３月１１日）の前日（３月１０日）の満了（２４時）をもって、１年が経過したことになります。
ですから、取得した日と同じ日が終了したら外して良いですよ。

初心者マークを外すのは、1年以上経って、
自分で運転してみて、
「少しは上手になったかな」と感じたとき。