Čtvrtek 13. srpna 2020, svátek má Alena
  • schránka
  • Přihlásit Můj účet
  • Čtvrtek 13. srpna 2020 Alena

Obří výpadek služeb T-Mobile způsobily dvě chyby v diskovém poli

  13:25aktualizováno  13:25
Přesně před týdnem se T-Mobile potýkal s velkým výpadkem služeb. Nefungovala samoobsluha, aplikace, web, infolinka, autorizační SMS. Mnoho čtenářů se nás v diskuzích i pod jinými články ptalo na důvod a technické podrobnosti. Zde jsou.

Pokud byste chtěli fotit techniky a techničky při řešení velkého výpadku, vynesou vás v zubech. Spokojme se proto s generickým snímkem z fotobanky. | foto: Profimedia.cz

Již v době výpadku Martina Kemrová z tiskového oddělení operátora upřesnila, že za problémy stojí technická závada v datovém centru v Hradci Králové. Což samozřejmě může být cokoli od softwarové chyby při aktualizaci nějakého prvku přes hackerský útok na infrastrukturu operátora až po požár.

Na základě velkého čtenářského zájmu jsme požádali o podrobnosti. „Jednalo se o dvojitou HW závadu v rámci jedné paritní skupiny disků v rámci hlavního centrálního diskového pole. Postižena tímto výpadkem byla i integrační vrstva, takže došlo k preventivnímu odstavení celého aplikačního ekosystému tak, aby nemohlo dojít k případnému poškození a nekonzistenci dat. V praxi se to pak projevilo nedostupností interních systémů, z pohledu zvenčí pak primárně nedostupností (samo)obslužných kanálů,“ upřesnila nám mluvčí T-Mobile.

Diskové pole si můžete představit jako skříně se šuplíky plnými zapojených pevných disků, na kterých jsou uložena všechna data potřebná pro chod webu, aplikací a všech systémů. Data jsou zálohována a uložena tak, aby selhání určitého množství pevných disků nezpůsobilo vážnější problém, disky se vymění za nové, systém do nich sestaví chybějící obsah a „jede se dál“. Zde však došlo k většímu selhání, kdy již tento mechanismus obnovy dat nestačil. 

Proces obnovy není snadný

„Jeden z chybných disků se povedlo oživit již 30.6.2020, kdy mohla začít kontrola parity. Paralelně s touto obnovou byl zajištěn dovoz a instalace nového diskového pole, na kterém by bylo v případě potřeby možné obnovit data z existujících záloh. Kontrola parity byla úspěšně dokončena v noci na 2. července 2020 a ve 14:00 téhož dne byla obnovena činnost všech systémů,“ pokračuje Martina Kemrová. 

Reportáž

Tieto

Podívejte se s námi do finského datového centra, které vytápí město a řídí jej z Ostravy.

V rámci diskového pole se zpravidla neuchovává vše ve více kompletních exemplářích jednoduchým zrcadlením, jak je běžné v domácích NASech, protože by to celý systém významně prodražilo (celá kapacita by se musela vynásobit počtem zrcadlených záloh a vše stále udržovat v provozu) a navíc to není z hlediska rychlosti práce z daty nejvhodnější konfigurace.

Místo toho se používá některý ze systémů ukládání dat s využíváním takzvaných parit. To jsou vypočítaná kontrolní data, ze kterých lze jednak ověřit bezchybnost uložených a přenesených dat a navíc z nich v případě potřeby poškozená původní data zrekonstruovat.

Obnovení ze záloh je vlastně „posledním řešením“ pro případ, že by se nepovedlo data z živého diskového pole obnovit. Jednak je časově náročné, jednak zálohy se dělají pravidelně, ale i tak tam chybí vše, co se odehrálo od poslední zálohy, což může být pro některé části systému u takto živého provozu nepříjemný problém.

Hodiny práce

„V prvním kroku bylo potřeba vyřešit HW problém. To si vynutilo i nezbytné paritní přepočítání dat. Vzhledem k tomu, že se jedná o vysoce kapacitní pole, tato operace trvala nějakou dobu. Následně bylo potřeba postupně zprovoznit jednotlivé databázové systémy a aplikace, a to v předem daném a řízeném pořadí. Tato operace v komplexním prostředí operátora zabere také hodiny práce,“ přibližuje náročnost obnovy běžného provozu Kemrová.

Zajímavost

Místo racku bazének, místo hluku ticho. Fujitsu na svém fóru v Mnichově...

Jedním z klíčových systému datacentra je chlazení. Podívejte se, jak to vyřešili u Fujitsu.

Nešlo tedy pouze o obnovu dat a kontrolu jejich celistvosti, ale také opětovné spuštění a ověření funkčnosti různých na sebe navazujících aplikací a systémů. Teprve poté mohly být zpřístupněné zákazníkům. 

„V tuto chvíli vyhodnocujeme průběh incidentu i jeho dopady. Součástí závěrečné zprávy budou zcela jistě konkrétní kroky, jak se v budoucnosti této – pro zákazníky tak nepříjemné – situaci vyhnout. V tuto chvíli se na nich teprve pracuje, konkrétní být nemůžeme,“ uzavírá tisková mluvčí.

Pro úplnost se sluší připomenout, že výpadek postihl podpůrné systémy. Samotné telekomunikační služby, tedy volání, SMS, data, fungovaly během výpadku normálně.  

Autor:

Přechod na DVB-T2

Od 27. 11. probíhá postupný přechod na vysílací standard DVB-T2. Kvůli koronavirové pandemii vláda rozhodla o odložení zbývajících přechodů na vysílání DVB-T2. Diváci si tak musí pořídit televizi s podporou kódování H.265 (HEVC) nebo starší televizi doplnit vhodným set-top boxem.

  • Nejčtenější

V noci na čtvrtek bude na maximu nejpopulárnější nebeské představení

Každý rok můžeme na obloze kolem 12. srpna vidět největší množství prachových částeček z meteorického roje Perseid,...

Svět je čím dál zelenější. Česko v současnosti míří opačným směrem

Na planetě Zemi v posledních desetiletích přibývá zeleně. Neplatí to však pro všechny státy. Česko bohužel představuje...

Dusičnan amonný zabíjel mnohokrát. Ovšem mnohem více životů zachránil

Výbuch v Bejrútu nebyl ani zdaleka jediným případem, kdy dusičnan amonný způsobil katastrofu. Některé z nich byly...

Bioarcheolog: Náš genom je z třetiny lovců mamutů, Češi přišli z Polska

Jsou Češi spíše Slované, Germáni, Keltové nebo potomci původních obyvatel na našem území? Podle bioarcheologa Jaromíra...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Spojené státy vyzkoušely nový nadzvukový kluzák

Odborníci americké armády a námořnictva v březnu otestovali hypersonický kluzák, který by měl být schopen překonat i ty...

Biolog Komárek: Jsme účastníky největšího sociologického experimentu všech dob

Premium Měsíce trvající pandemie nám převrátila životy naruby. Známý biolog, filozof a autor dvou desítek odborných knih a tří...

Brzy dospěju do bodu, kdy si účet na Facebooku zruším, říká Lucie Výborná

Premium „Je to hra. Hra, která by měla být přínosná, užitečná, inspirativní,“ říká o své práci moderátorka Českého rozhlasu...

Proč koronavirus už téměř nezabíjí. Vytratí se, nebo se vrátí ještě silnější?

Premium Koronavirus je záhadný. Nečitelný. I když ho zkoumají ti nejchytřejší lidé, pořád o něm víme málo. Chová se jinak. Je...

  • Další z rubriky

Tipy na zajímavé weby: inspirujte se tisíci receptů na míchané nápoje

Jak si připravit nápoj z ingrediencí co máte doma, poradí server MíchanéDrinky.cz. Návody pro kutily najdete na webu...

Tipy na weby: moderní cvičebnice naučí psát česky školáky i ty odrostlé

Nejen procvičit, ale zkontrolovat si i pokroky ve svém pravopisu, umožní projekt Pravopisně.cz. Chcete-li dát věcem,...

Facebook má vlastní mapy. Koupil firmu, kde s určováním věcí pomáhají lidé

Aby nebyl Facebook závislý na externím dodavateli mapových podkladů a aby mohl v této oblasti lépe konkurovat...

Falešné tweety Obamy, Gatese a Muska vylákaly z lidí miliony

Největší podvod v historii Twitteru. Hackeři napadli účty seriózních celebrit a známých firem a jednoduchým trikem...

WhatsApp se brzy zbaví toho, co nás na něm nejvíc štve

Populární chatovací aplikace WhatsApp chystá změnu, která leckoho potěší. Brzy bude mít podporu více aktivních zařízení...

Krejčířovu vilu opět nikdo nechce. Už ani za dvacetinu pořizovací ceny

Ani další pokus o vydražení vily v Černošicích, která patřila odsouzenému Radovanu Krejčířovi, nebyl úspěšný. Do dražby...

Češi bydlí na Papui již tři roky. Byl to ze začátku šok, ale nelitují

Manželé se rozhodli vydat za prací do zahraničí. Zlákala je Papua Nová Guinea, kde žijí od roku 2017. Nejdříve v městě...

Škoda nebude žádnou montovnou, říká Babiš. Nový šéf musí na kobereček

Premium Premiér Andrej Babiš a ministr průmyslu a obchodu Karel Havlíček chtějí vědět, jaká budoucnost čeká mladoboleslavskou...

Jiné světlo, úhel nebo póza. Ženy odkrývají iluzi Instagramu

Často jsou to milovnice cvičení a zdravého životního stylu, které se snaží bořit mýty o tom, jak jejich těla ve...