K Microsoftu se Ballmer přidal v červnu 1980, začínal s prodejem softwaru a marketingem. Postupně se vypracoval jako schopný manažer až do nejužšího vedení. V roce 1998 povýšil na prezidenta firmy (dvojky za Gatesem), v roce 2000 byl jmenován i výkonným ředitelem. Gates si pro sebe vytvořil funkci "hlavního softwarového architekta".
Ballmer nastolil změnu mediální tváře firmy i značnou reorganizaci. Rozšířil její směřování k mobilním zařízením i digitálnímu domovu. Za jeho éry firma uvedla na trh například nový operační systém Windows XP (2000) nebo herní konzoli Xbox 360. Zahájil také prodej systému Windows Vista nebo mediálního přehrávače Zune.
Pod Ballmerovou taktovkou však Microsoft čelil problémům a následným sankcím ze strany Evropské unie kvůli podezření ze zneužívání dominantního postavení. Společnost musela postupně zaplatit pokuty ve výši zhruba 44 miliard korun.
O impulzivním Ballmerovi se tradují historky, že svého času zahajoval porady výkřiky: "Peníze, peníze, peníze, miluji tuhle společnost ..." Pro silná slova prý nechodí daleko. Díky svým energickým přednáškám, na nichž občas předvádí i "opičí" tanec, měl pověst největšího showmana v byznysu informačních technologií. Ballmerův majetek se odhaduje na 15,2 miliardy dolarů, žebříček časopisu Forbes z roku 2013 jej zařadil na 19. příčku nejbohatších lidí světa.
Odchodem Ballmera skončila jedna etapa Microsoftu. Ballmer se vedle jiných aktivit věnuje i svému basketbalovému týmu Los Angeles Clippers, který koupil .
