Sobota 8. srpna 2020, svátek má Soběslav
  • schránka
  • Přihlásit Můj účet
  • Sobota 8. srpna 2020 Soběslav

Obří výpadek služeb T-Mobile způsobily dvě chyby v diskovém poli

  13:25aktualizováno  13:25
Přesně před týdnem se T-Mobile potýkal s velkým výpadkem služeb. Nefungovala samoobsluha, aplikace, web, infolinka, autorizační SMS. Mnoho čtenářů se nás v diskuzích i pod jinými články ptalo na důvod a technické podrobnosti. Zde jsou.

Pokud byste chtěli fotit techniky a techničky při řešení velkého výpadku, vynesou vás v zubech. Spokojme se proto s generickým snímkem z fotobanky. | foto: Profimedia.cz

Již v době výpadku Martina Kemrová z tiskového oddělení operátora upřesnila, že za problémy stojí technická závada v datovém centru v Hradci Králové. Což samozřejmě může být cokoli od softwarové chyby při aktualizaci nějakého prvku přes hackerský útok na infrastrukturu operátora až po požár.

Na základě velkého čtenářského zájmu jsme požádali o podrobnosti. „Jednalo se o dvojitou HW závadu v rámci jedné paritní skupiny disků v rámci hlavního centrálního diskového pole. Postižena tímto výpadkem byla i integrační vrstva, takže došlo k preventivnímu odstavení celého aplikačního ekosystému tak, aby nemohlo dojít k případnému poškození a nekonzistenci dat. V praxi se to pak projevilo nedostupností interních systémů, z pohledu zvenčí pak primárně nedostupností (samo)obslužných kanálů,“ upřesnila nám mluvčí T-Mobile.

Diskové pole si můžete představit jako skříně se šuplíky plnými zapojených pevných disků, na kterých jsou uložena všechna data potřebná pro chod webu, aplikací a všech systémů. Data jsou zálohována a uložena tak, aby selhání určitého množství pevných disků nezpůsobilo vážnější problém, disky se vymění za nové, systém do nich sestaví chybějící obsah a „jede se dál“. Zde však došlo k většímu selhání, kdy již tento mechanismus obnovy dat nestačil. 

Proces obnovy není snadný

„Jeden z chybných disků se povedlo oživit již 30.6.2020, kdy mohla začít kontrola parity. Paralelně s touto obnovou byl zajištěn dovoz a instalace nového diskového pole, na kterém by bylo v případě potřeby možné obnovit data z existujících záloh. Kontrola parity byla úspěšně dokončena v noci na 2. července 2020 a ve 14:00 téhož dne byla obnovena činnost všech systémů,“ pokračuje Martina Kemrová. 

Reportáž

Tieto

Podívejte se s námi do finského datového centra, které vytápí město a řídí jej z Ostravy.

V rámci diskového pole se zpravidla neuchovává vše ve více kompletních exemplářích jednoduchým zrcadlením, jak je běžné v domácích NASech, protože by to celý systém významně prodražilo (celá kapacita by se musela vynásobit počtem zrcadlených záloh a vše stále udržovat v provozu) a navíc to není z hlediska rychlosti práce z daty nejvhodnější konfigurace.

Místo toho se používá některý ze systémů ukládání dat s využíváním takzvaných parit. To jsou vypočítaná kontrolní data, ze kterých lze jednak ověřit bezchybnost uložených a přenesených dat a navíc z nich v případě potřeby poškozená původní data zrekonstruovat.

Obnovení ze záloh je vlastně „posledním řešením“ pro případ, že by se nepovedlo data z živého diskového pole obnovit. Jednak je časově náročné, jednak zálohy se dělají pravidelně, ale i tak tam chybí vše, co se odehrálo od poslední zálohy, což může být pro některé části systému u takto živého provozu nepříjemný problém.

Hodiny práce

„V prvním kroku bylo potřeba vyřešit HW problém. To si vynutilo i nezbytné paritní přepočítání dat. Vzhledem k tomu, že se jedná o vysoce kapacitní pole, tato operace trvala nějakou dobu. Následně bylo potřeba postupně zprovoznit jednotlivé databázové systémy a aplikace, a to v předem daném a řízeném pořadí. Tato operace v komplexním prostředí operátora zabere také hodiny práce,“ přibližuje náročnost obnovy běžného provozu Kemrová.

Zajímavost

Místo racku bazének, místo hluku ticho. Fujitsu na svém fóru v Mnichově...

Jedním z klíčových systému datacentra je chlazení. Podívejte se, jak to vyřešili u Fujitsu.

Nešlo tedy pouze o obnovu dat a kontrolu jejich celistvosti, ale také opětovné spuštění a ověření funkčnosti různých na sebe navazujících aplikací a systémů. Teprve poté mohly být zpřístupněné zákazníkům. 

„V tuto chvíli vyhodnocujeme průběh incidentu i jeho dopady. Součástí závěrečné zprávy budou zcela jistě konkrétní kroky, jak se v budoucnosti této – pro zákazníky tak nepříjemné – situaci vyhnout. V tuto chvíli se na nich teprve pracuje, konkrétní být nemůžeme,“ uzavírá tisková mluvčí.

Pro úplnost se sluší připomenout, že výpadek postihl podpůrné systémy. Samotné telekomunikační služby, tedy volání, SMS, data, fungovaly během výpadku normálně.  

Autor:

Přechod na DVB-T2

Od 27. 11. probíhá postupný přechod na vysílací standard DVB-T2. Kvůli koronavirové pandemii vláda rozhodla o odložení zbývajících přechodů na vysílání DVB-T2. Diváci si tak musí pořídit televizi s podporou kódování H.265 (HEVC) nebo starší televizi doplnit vhodným set-top boxem.

  • Nejčtenější

Díky, že létáte se SpaceX. Loď Crew Dragon úspěšně dopadla do moře

Američtí astronauti Robert Behnken a Douglas Hurley úspěšně absolvovali nedělní návrat z Mezinárodní vesmírné stanice...

I Jižní Korea měla své Techtle Mechtle, poradila si jinak než Česko

Jak vypadá vyšetřování velkého ohniska kolem nočního klubu v zemi, kde „chytrá karanténa“ opravdu funguje. Jižní Korea...

Jedna pandemie nestačí. V USA se šíří zákeřná „králičí ebola“

Na jihozápadě USA se šíří mezi domestikovanými i divokými králíky nákaza virem, jehož účinky připomínají lidskou...

Svět je čím dál zelenější. Česko v současnosti míří opačným směrem

Na planetě Zemi v posledních desetiletích přibývá zeleně. Neplatí to však pro všechny státy. Česko bohužel představuje...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Dusičnan amonný zabíjel mnohokrát. Ovšem mnohem více životů zachránil

Výbuch v Bejrútu nebyl ani zdaleka jediným případem, kdy dusičnan amonný způsobil katastrofu. Některé z nich byly...

Biolog Komárek: Jsme účastníky největšího sociologického experimentu všech dob

Premium Měsíce trvající pandemie nám převrátila životy naruby. Známý biolog, filozof a autor dvou desítek odborných knih a tří...

Brzy dospěju do bodu, kdy si účet na Facebooku zruším, říká Lucie Výborná

Premium „Je to hra. Hra, která by měla být přínosná, užitečná, inspirativní,“ říká o své práci moderátorka Českého rozhlasu...

Proč koronavirus už téměř nezabíjí. Vytratí se, nebo se vrátí ještě silnější?

Premium Koronavirus je záhadný. Nečitelný. I když ho zkoumají ti nejchytřejší lidé, pořád o něm víme málo. Chová se jinak. Je...

  • Další z rubriky

Varování: probíhá útok na RDP protokol pro vzdálený přístup k počítači

O probíhajícím útoku na protokol RDP, který je používán některými programy pro vzdálený přístup k ploše, informovala...

Google už vysílá internet. Nad Afrikou je kvůli tomu 35 balonů Loon

Google ve spolupráci s komunikační firmou Telkom Kenya začíná komerčně nabízet v těžko přístupných místech Keni...

Tipy na weby: moderní cvičebnice naučí psát česky školáky i ty odrostlé

Nejen procvičit, ale zkontrolovat si i pokroky ve svém pravopisu, umožní projekt Pravopisně.cz. Chcete-li dát věcem,...

Soud EU: „Adresa“ neznamená „IP adresa“, když chcete údaje o pirátech

Soudní dvůr Evropské unie upřesnil, co se míní slovem „jméno a adresa“ ve sporech, kdy majitel autorských práv žádá po...

Ze života: Rakovina prsu může bolet nejen v pozdním stádiu
Ze života: Rakovina prsu může bolet nejen v pozdním stádiu

Ráda bych s vámi sdílela svůj příběh o tom, že rakovina bolet může. A doufám, že to alespoň jedné váhající může pomoct s rozhodováním, jestli jít...

Škoda dostane šéfa s úkolem zabránit, aby značka dotírala na VW a Audi

„Není nám k ničemu, když se Škoda vyvíjí ke třetí prémiové značce v rámci koncernu,“ prohlásil v rozhovoru publikovaném...

Zemřela manželka Jiřího Krampola, měla dlouhodobé zdravotní problémy

Ve věku 59 let zemřela Hana Krampolová, manželka herce Jiřího Krampola. Dlouhodobě se potýkala se zdravotními problémy.

Díky, že létáte se SpaceX. Loď Crew Dragon úspěšně dopadla do moře

Američtí astronauti Robert Behnken a Douglas Hurley úspěšně absolvovali nedělní návrat z Mezinárodní vesmírné stanice...

Šéf Pirátů Ivan Bartoš je tatínkem. Miminku dali s manželkou neobvyklé jméno

Předsedovi Pirátů Ivanu Bartošovi (40) a jeho ženě Lydii (37) se v úterý večer narodil syn. Novopečený tatínek se s...

Jaromír Jágr poprvé ukázal na sociálních sítích novou přítelkyni

Hokejista Jaromír Jágr (48) a modelka Dominika Branišová (26) už několik týdnů tvoří pár. Absolvovali spolu několik...