卡特出生于乔治亚的一个小镇 Plains。卡特的父亲非常勤劳，从早忙到晚，他要求家里每个人都要干活，哪怕是马都要干活才能挣得自己的口粮。卡特一直对他父亲特别尊重。帮卡特家种田的都是黑人，因此卡特一直和黑人小朋友亲密玩耍，长大后他坚决反对种族隔离。