Od dětství jej formovaly protichůdné vlivy. Narodil se 7. května 1901 jako Frank James Cooper ve státě Montana, kde ještě zdaleka neutichly dozvuky Divokého západu. Jeho otec Charles byl ale rozený Angličan, který do Ameriky přišel v roce 1885 a vypracoval se ze zapisovatele na vrchního soudce. Coby bohatý muž si pořídil farmu o rozloze zhruba 250 hektarů a patřil mezi největší chovatele dobytka v okolí.
Stejně pověstné jako jeho herecké umění byly také jeho avantýry. Seznam milenek čítal stovky jmen včetně těch nejznámějších.
