Malá Yayoi přišla na svět 22. března roku 1929 v japonském městě Matsumoto v prefektuře Nagano na ostrově Honšú. Dětství, které dostala do vínku, nebylo ani v nejmenším idylické. Narodila se do farmářské rodiny, která se živila pěstováním dýní (ty se později staly jedním z hlavních motivů jejích děl) a kde vládla velmi disharmonická atmosféra. Vztahy mezi rodiči byly napjaté, otec udržoval poměr s mnoha ženami a matka si z malé Yayoi udělala svého špeha – musela tajně chodit za otcem, zjišťovat, kam jde a s kým se stýká.
Trpěla těžkými depresemi, dokonce se pokusila o sebevraždu. V roce 1977 proto dobrovolně nastoupila do psychiatrické léčebny, v níž žije – s menšími pauzami – dodnes.
