Budoucí hvězdný herec původně nosil příjmení Matušanskajaskij - po svém otci, ruském popovi, jenž s rodinou přesídlil do Států. Už jako školák, kdy si přivydělával čištěním bot, mytím aut či prodejem likérů, hrál malý Walter židovské divadlo; později se živil jako trenér boxu a košíkové, po válce absolvoval herecké kursy a v roce 1948 debutoval na Broadwayi. Od půli padesátých let přidal k divadlu i film, kde ovšem dlouho dostával jen role protivných padouchů a pošklebujících se cyniků (jednu z výraznějších vytvořil v Kazanově Tváři v davu).
Matthauova následná komediální dráha je spojena především s režiséry Wilderem, Saksem (Kaktusový květ) či Rossem (Zlatí hoši); coby partner Barbry Streisandové však zazářil také v muzikálu Hello, Dolly či v Hillerově snímku Apartmá v hotelu Plaza. Obzvláštní pocty se mu dostalo od italského kolegy Roberta Benigniho: ten v roce 1987 Matthaua obsadil ve filmu Ďáblík, jejž režíroval a hrál tu i titulní postavu, do role svého protihráče - amerického kněze, který po Zemi provází pekelného novice. Podruhé, neúspěšně, se Matthau pokoušel o hereckého Oscara titulní rolí umíněného starého vdovce v sentimentální komedii Kotch.
Zato však sbíral jiné ceny včetně zámořských: například italský Donatellův David mu připadl za roli mocného šéfredaktora ve filmu Na titulní straně, britská akademie jej odměnila za postavu sukničkáře v manželské tragikomedii Pete a Tillie. Jméno Waltera Matthaua na hollywoodském Chodníku slávy už lidé zasypali květinami; z filmových kronik však slavné příjmení nezmizí ani v další generaci. Charlie Matthau, jenž se narodil z hercova druhého manželství s bývalou ženou spisovatele Williama Saroyana, také nastoupil hereckou i režijní dráhu a svého otce pozval před kameru už před pěti lety v Luční harfě.