Rozhodol som sa napísať tento príspevok pretože počas migrácie nášho systému došlo k príliš veľa výpadkom, ktoré zabraňujú tomu aby naši zákazníci boli z našich služieb štastní a spokojní. A to je niečo, s čím sa mi nedá zmieriť a úprimne ma to trápi. Ospravedlňte prípadne gramatické chyby a nedôkladný sloh. Písal som to pomerne rýchlo aby to bolo čo najskôr online.

Websupport.sk bol vždy známy vysokou kvalitou svojich služieb, čomu nasvedčuje aj najvyšší prírastok .sk domén, spomedzi slovenských spoločností. Zakladáme si  hlavne na podpore pre našich zákazníkov, kde okrem rýchlej reakcie častokrát bežne radíme a pomáhame našim klientom s ich web stránkami alebo internetovým podnikaním bez nároku na odmenu alebo argumentov že si to klient neobjednal. Jednoducho snažíme sa mať ľudský prístup a nevidieť za všetkým peniaze. Preto nás majú naši zákazníci tak radi. Druhá najdôležitejšia časť je dostupnosť našich služieb. A práve táto druhá časť teraz pokrivkáva. A samozrejme zákazníci sú z toho nervózni. A právom.

Pokúsim sa vysvetliť prečo sa to deje a čo s tým budeme robiť.

Všetko to začalo dvoma veľkými výpadkami celých rackov v jednom z datacentier. Boli to dvojhodinové výpadky celých našich služieb po týždni. Aj kvôli ďalším problémom so starým datacentrom sme sa rozhodli naše služby postaviť na kompletne nových základoch.

Migrácia:
Spravili sme analýzu, vybrali nových partnerov a pustili sme sa do migrácie. Tá trvá bezmála cca 2 mesiace.  Pri migrácií došlo k viacerým komplikáciam, ktoré sme neočakávali a všetci naokolo prisahali, že nič také ešte nevideli. (Napríklad sa pokazili 2 cisco switche NARAZ: jeden hlavný a druhý, ktorý mal byť jeho záložný. Z toho bol ďalší cca hodinový výpadok. Posledné 2 výpadky taktiež súviseli s problémami mimo nás) Do toho sa priplietlo aj zopár našich chýb, ako zamrznutie databázového servera a podobne. Okrem toho vzniklo veľa nekompatibility medzi starým a novým systémom, vypadli niektoré služby, weby ktoré používali ešte staré IP adresy a podobne. Výsledkom toho bolo, že za posledné dva mesiaca bol skoro každý týždeň nejaký výpadok.

Aby ste vedeli, prečo ste toto všetko s nami podstúpili, napíšem ešte krátky zoznam toho, čo sa spravilo. (kompletne sa tomu budeme venovať v inom blogu)

Prešli sme na nové IP adresy. Do nových serverov a technológie sme pri migrácií investovali viac ako 50 000 eur čisto na železo. Každý server má 4-násobne zálohovaný konekt, 2 pripojenia do elektrickej siete, ktorá je ešte dvakrát zalohovaná. Dokupovali sa nové stroje, dokupovalo sa viac ako 100GB RAM, dokupovalo sa nové diskové pole (v desiatkach TB). Všetky dôležité služby ako databázový server, switche sme začali mirrorovať a v prípade výpadku v budúcnosti budeme vedieť okamžite zapnúť ich kópie. Úplne sme zmenili rozdelenie databázových serverov kvôli ich škálovateľnosti.

Problém s poslednými výpadkami je ten, že nová architektúra ešte nie je odladená. Ale nebude to trvať dlho a všetko pôjde tak, ako sme si my aj vy predstavovali.

Výpadky:
Úprimne musím povedať, že bolo toho veľa. Bojujeme s tým koľko vládzeme a keď už nevládzeme, ešte pridáme. Každý výpadok je pre celú firmu enormne stresový. Do pár sekund máme stovky telefonátov a mailov. Ľudia sú nervózni a nadávajú, samozrejme oprávnene. Zakladám si na tom, aby sme ponúkali také služby (viď. napr. náš helpdesk, ktorí si ľudia nevedia vynachváliť), ktoré by našich zákazníkov tešili. Aby si povedali, že som rád, že spolupracujem s Websupportom. O to viac ma trápi to, keď sa nám to nedarí. Z každého jedného výpadku vyvodzujem dôsledky, vylepšujeme technológie, monitoring serverov a podobne. (samotná migrácia je toho dôkazom). Ale počitače sú vlastné entity. Určite to poznáte, ako niekedy nechcú poslúchať a zamrzajú aj mobily. O to ťažšie býva udržať na uzde niečo, čo obsluhuje milióny zobrazení a desaťtisíce stránok.

Verím, že touto novou architektúrou a migráciou sa nám to podarilo a vrátime sa do čias, keď jediné čo mohlo spôsobiť výpadok bol policajný zbor :).

Kompenzácie:
Každý, kto ma záujem o kompenzácie zo zaplatených služieb na základe ich zníženej kvality, môže napísať na helpdesk@websupport.sk a určite to vyriešime. Osobne sa tým budem zaoberať, aby boli dotknutí zákazníci spokojní.

Budúcnosť:
Nemôžem vám sľúbiť, že výpadky nebudú. Častokrát je to mimo nás (napríklad v housingu) a stále migrácia neprebehla úplne do konca. Zostáva pár dní. Ale pracovať sme už začali. Migráciou sme spravili všetko preto, aby ich bolo čo najmenej. Keď bude definitívne dokončená a zastabilizovaná, výpadky vymiznú.

To, čo vám môžem sľúbiť je, že sa snažíme a budeme sa snažiť stále ponúkať vám tie najlepšie služby aké dokážeme. A v tom je samozrejme aj čo najväčšia miera stability.

Budem veľmi rád, keď nás podržíte aj teraz, tak ako ste nás podržali už mnoho krát.

Ak budete mať akékoľvek otázky, alebo pripomienky ohľadom tohoto príspevku alebo výpadkov, môžete nechať komentár alebo písať priamo mne: truban@websupport.sk

Vďaka.

Komentáre