Když mu bylo šest let, rodiče se rozvedli a klučina skončil u babičky. Jenže dobrá žena po dalších čtyřech letech zemřela a malý Gregory se musel opět stěhovat. Většinu času trávil na vojenské škole v Los Angeles a na víkendy jezdíval k otci, který měl tou dobou už novou známost. Na rozdíl od jiných se ale neurovnaná rodinná situace nepodepsala na mladíkově prospěchu ani na zhoršeném chování. I proto se dostal na prestižní univerzitu v Berkeley, kde se díky fyzickému fondu a 191 centimetrů vysoké postavě stal oporou nejen veslařského týmu, ale také dramatického kroužku.
V roce 1970 se měl utkat s Ronaldem Reaganem, shodou okolností také hercem, o post kalifornského guvernéra. Na poslední chvíli ale odmítl.
