Klub založili v září 1921 pracovníci železničních drah, přezdívá se mu Željo či Plavi. K nejslavnějším odchovancům Željezničaru patří Ivica Osim, Mehmed Baždarevič či Edin Džeko. Na aktuální soupisce jsou takřka výhradně hráči z Bosny a Hercegoviny či z dalších postjugoslávských republik, exotickou výjimkou je Japonec Eišun Jošida.
V sezoně 1984/1985 Željezničar postoupil až do semifinále Poháru UEFA, od rozpadu Jugoslávie se mu však v evropských pohárech příliš nedaří. V sezoně 2012/2013 vypadl úřadující bosenský mistr v třetím předkole Ligy mistrů s Maccabi Tel Aviv po výsledcích 0:2 a 0:6.
Spolu s největším rivalem FK Sarajevo tvoří Željezničar nejpopulárnější klub Bosny a Hercegoviny.
