WebSupport blog

Veľká skúška kvality WebSupportu

Ostatné 3 roky ma naučili, že je ťažké zvíťaziť, ale oveľa ťažsie je sa na prvom mieste udržať. V našom prípade bolo ťažké vybudovať firmu, ktorá rastie, no ešte ťažšie bolo pri tom raste udržať kvalitu. Napriek tomu, že sa o to všetci snažíme z plných síl, nie vždy sa to podarí. Toto je článok o tom, ako sa nám to nedarilo a poučenia z toho.

WebSupport zažil obrovský rast, na ktorý bolo ťažké sa pripraviť – ako tím, ako firma a aj technológiou. Kúpili sme jednu várku serverov a hneď bolo treba ďalšiu. Nikto z nás nemal skúsenosti s budovaním tak veľkej architektúry a procesov k tomu potrebných.

S predstihom, ešte v roku 2012, sme sa teda zhodli na mega projekte, ktorý by nám mal vyriešiť všetky problémy a zvýšiť kvalitu. Rozhodli sme sa úplne nanovo postaviť celú architektúru (hardvérovo aj softvérovo) a zo starej postupne premigrovať všetky služby.  Do celej architektúry sme postupne vložili viac ako pol milóna eur a tisíce hodín našej práce.

Bol to ambiciózny projekt, s tými najlepšími úmyslami. Robili sme vec, ktorú tu v okolí nikto nikdy nerobil. Nikto nám nevedel pomôcť, poradiť. Síce tu existuje veľné know-how v enterprise riešeniach, ale webhosting je úplne iná galaxia.

foto: firminside.com

Tento projekt nás kusisko posunul, ale zároveň priniesol problémy, ktoré vyústili do zníženej kvality. Náš zámer nám vyšiel tak na 50%.

Pozitívnych 50%
  • vyriešili sme viacero problémov starej architektúry
  • pre nás a pre klientov pribudlo množstvo nových funkcií a možností
  • perfektne sme vyriešili mailovú infraštruktúru, ktorá ide fakt super
  • nasadili sme a používame config management (cfengine)
  • naučili sme sa strašne veľa
Negatívnych 50%
  • toto riešenie prinieslo niekoľko presne opačných efektov, ako sme plánovali
  • znížená rýchlosť načítania niektorých webov
  • častejšie výpadky, ako by bolo zdravé
  • v konečnom dôsledku pribudlo aj veľa zmien, migrácií a updatov
  • tieto negatíva spôsobili preťaženie helpdesku, a tým zníženie jeho kvality

Okrem toho všetkého nám prácu sťažovalo obrovské množstvo DDoS a hackerských útokov na našich klientov, spamovanie botmi, …

Tento blogpost píšem, lebo som cítil, že našich zákazníkov zaujíma, čo sa to dialo, a pretože sa nám podarilo väčšinu problémov vyriešiť.

Vývoj riešenia architektúry

  1. Brutálne rastieme (máme architektúru, ktorú voláme 1.0).
  2. 1.0 nám prestáva stačiť.
  3. Vymysleli sme a rozbehli ambiciózny projekt novej architektúry (tú voláme 2.0).
  4. Stále rastieme a postupne po cca roku a začatí migrácií zisťujeme, že na 2.0 musíme ešte veľmi veľa vecí optimalizovať a neslúži tak, ako sme si predstavovali.
  5. Ladíme veci a stále ďalej rastieme.
  6. Zistili sme, že VPS a maily idú na 2.0 výborne, ale pre hostingy to nebude to pravé orechové.
  7. Vytvárame novú architektúru iba pre hostingy a nazývame ju 1.2.
  8. Hostingy z 1.0 aj 2.0 presúvame na 1.2, ktoré bude finálne riešenie.

Terajší stav

  • Konečne sme vytvorili skupinu architektúr, ktorá funguje dobre.
  • Takmer 98% všetkých zákazníkov je premigrovaných zo starej 1.0 na nové architektúry.
  • Nemáme už žiadne problémy s rýchlosťou (aj vďaka 1.2 architektúre, novému opcache a stovkám tuningov).

Ešte nie sme na konci

  • Upgradujeme architektúru databázových serverov, aby boli ešte lepšie a dostupnejšie. Zároveň aspoň trošku automatizujeme neoptimalizované databázy klientov, ktoré im vyhackujú, alebo nemajú ani indexy atď.(už teraz je to pomerne OK, ale nie sme s tým úplne spokojní).
  • Pracujeme aj na upgrade helpdesku: Prijímame nových helpdeskárov a školíme aj tých starých, aby boli ešte lepší. Monitorujeme tickety a requesty, ktoré posielate, a na ich základe vytvárame novú funkcionalitu, aby ste si vedeli robiť všetky veci jednoducho a rýchlo.
  • Veľký focus venujeme projektom a nastaveniam, ktoré pomáhajú znižovať počet malých výpadkov. Aj to ide výborným smerom.
  • Nový WebAdmin (ten nesúvisí s architektúrou, ale prinesie opäť kopec nových funkcionalít, lepšie UX a celkovo zvýši hodnotu pre vás – zákazníkov)

 

Hovorí sa: „Kto nič nerobí, nič nepokazí.“ Najväčšiu hodnotu má ale to, čo sa pritom naučíte. My sme si overili niektoré všeobecné frázy, ale asi sme si ich museli zažiť. Možno vám pomôžu:

  • Silver bullet neexistuje. Jedno veľké riešenie, ktoré bude dobré na všetko, nie je dobré poriadne na nič.
  • Je rozdiel, keď na 1000 serveroch beží jedna aplikácia vs. na jednom serveri beží 1000 aplikácií. To, čo funguje v jednom prípade, nemusí fungovať v druhom a opačne.
  • Nerobte Ironmana, keď ste nezabehli ani maratón. Pokiaľ robíte projekt takej veľkosti, aký ste ešte nikdy predtým nerobili, a ani IT advisory board k tomu nevie dať stanovisko, postupujte pomaly a postupne. LEAN prístup.
  • Nikdy nenahradzujte celú IT infra naraz. Vždy postupne. Aj keď to jednorazové vám príde logickejšie.
  • Pokiaľ robíte niečo veľké, čo ste nerobili, zožeňte si niekoho, kto niečo také už robil. Nie niečo podobné, ale presne to, čo riešite vy. Pretože v konečnom dôsledku sa riešenia môžu brutálne líšiť.
  • K času potrebnému na migráciu vždy pridajte 1-2 roky.
  • Keď máte veľké centralizované riešenie, máte možno menej časté výpadky, ale keď to príde, tak je to šupa. Lepšie je mať viacero menších výpadkov.
  • Na ľuďoch a procesoch záleží viac ako na technológiách.
  • Aj ten najlepší nápad a snaha sú nanič, ak sa nedotiahnu do konca.

Samozrejme, za ostatné 3 roky sme sa vám snažili priniesť hodnotu aj v iných oblastiach. Pripravili sme niekoľko nových produktov a feature: virus scanner, webovú konzolu, obnovu na klik, The Hosting, WordPress hostingVlastná webstránka, množstvo nových domén, nové SSL, riešenia pre veľkých klientov, pripravili sme mnoho návodov a obsahu, ktorý vám pomáha nielen s hostingom, ale aj s podnikaním samotným.

Stále nie sme na konci a pri našom zmýšľaní a raste na konci ani nikdy nebudeme. Ale vďaka tomu ťažkému, čím sme si prešli, sme ešte viac odhodlaní spraviť pre vás maximum. Dávať klientom čo najviac hodnoty. Pomáhať im s ich biznisom. Snažiť sa byť vzorom. Neustále sa vyvíjať a zlepšovať.

Ďakujeme vám všetkým za podporu aj v ťažkých časoch. Vážime si to.

Komentáre