吉米·卡特祖籍美国佐治亚州。

1924年10月1日生于美国佐治亚州普兰一个花生农场主家庭。卡特与父亲同名，故称小詹姆斯·厄尔·卡特。老卡特从事农业和商业，是州议会议员。母亲莉连·戈迪是个随和的妇女，不像老卡特那样严厉。1941年至1943年先后在佐治亚州西南大学和理工学院读书。1943年入马里兰州美国海军军官学校(即安纳波利斯海军学院)学习，1946年毕业，获理学士学位，随后加入海军服役7年，至到1953年。1946年，卡特与罗莎琳·史密斯结婚。罗莎琳是他的同乡。他们有三子一女。