Os Carters passaram seus primeiros dias como marido e mulher na Base Naval de Norfolk, Virgínia, onde Jimmy passava a maior parte da semana em tarefas e Rosalyn fazia um curso intensivo de economia doméstica.
Seu primeiro filho, um filho John William “Jack” Carternasceu em 3 de julho de 1947, então o casal comemorou seu primeiro aniversário no hospital como uma família de três pessoas. No ano seguinte, Jimmy foi selecionado para a escola submarina em New London, Connecticut, e finalmente teve horários regulares para ficar em casa com a esposa e o filho todas as noites.
Eles parabenizaram seu filho James Earl “Chip” Carter III sobre 12 de abril de 1950, enquanto moravam no Havaí. Depois ele esteve em San Diego, Califórnia, e depois voltou para New London, onde o filho Donnell Jeffrey “Jeff” Carter nasceu em 18 de agosto de 1952, e depois se mudaram para Schenectady, Nova York, para que Jimmy pudesse estudar energia nuclear no Union College.
Rosalynn disse que planejava ser esposa da Marinha, mudar de cidade em cidade e conhecer o mundo com o marido. O que ela finalmente fez, mas não da maneira que poderia ter imaginado.
