罗伯特-杜瓦尔出生在加州的圣地亚哥，父亲是海军军官。杜瓦尔在普林斯匹亚学院主修戏剧，1953年毕业后曾参战，两年后退伍返美。回国后，杜瓦尔纽约的戏剧学校接受严格的训练，并在邻居剧场演舞台剧。在那里，他与达斯汀-霍夫曼共住一间公寓。罗伯特-杜瓦尔是南北战争时期联盟军总司令罗伯特-爱德华-李的后裔，他本人是美国共和党支持者。