Vo WebSupporte prijmeme aj pošleme denne približne milión e-mailových správ. Odfiltrovať pri takejto premávke spamy si okrem stálej pozornosti a množstva operatívy vyžaduje aj svojskú kombináciu vedy a umenia. V tomto blogu prezradíme niečo o tom, ako sa teraz chránime pred spamom a čo v tejto oblasti chystáme v budúcnosti.
Prichádzajúcu poštu triedime najprv tak, že kontrolujeme, či sa poštový server odosielateľa nachádza na zozname odosielateľov spamov. Používame na to viacero free služieb a jednu platenú, s ktorou sme spokojní (SpamHaus). Keďže sa na cudzie SMTP servery dotazujeme rádovo niekoľko desaťtisíckrát denne, je pre nás technicky výhodné syncovať si databázu SpamHausu lokálne. Niekedy sa na blacklisty dostanú aj prekvapivo legitímne servery, nedávno napríklad stroj od gmail.com. Ak vám teda neprichádza z vybraného smeru pošta, toto môže byť dôvod, ktorý my neovplyvníme. Na filtrovanie legitímnej pošty od spamov sme v minulosti používali open-sourcový SpamAssassin, ale záverom minulého roka sme prešli na komerčné riešenie v rámci technickej spolupráce s ESET-om. Zlepšila sa nám kvalita detekcie spamov a odbudla práca s ladením, ale prišli sme o niektoré možnosti kustomizácie pre používateľov a tiež o pocit, že vidíme riešeniu “pod kapotu”. Prichádzajúce spamy automaticky nemažeme, len ich označíme našim používateľom ako potenciálny spam a zvyšok práce prenechávame nastaveniam a antispamovým softvérom na strane našich zákazníkov.
Ďalšou kontrolou pri prijímaní e-mailu je kontrola SPF záznamu domény odosielateľa. SPF záznam, pokiaľ existuje, definuje zoznam povolených mailserverov, z ktorých môže prichádzať pošta, a určuje, čo sa má robiť, keď príde z iného mailservera. V prípade, že SPF záznam má nastavené natvrdo odmietnutie pošty z cudzích mailserverov, tak ju odmietneme. V prípade, že pošta nie je odmietnutá, pridá sa len hlavička Received-SPF, ktorú je možné použiť napríklad vo filtroch.
Riešiť prichádzajúce spamy je pre nás – prekvapivo – tá ľahšia vec: náš hlavný problém je ochrániť si infraštruktúru pred zneužitím na posielanie spamov smerom von do sveta. Najväčší technický problém s odosielaním spamov von je ten, že sa potom dostávame na blacklisty a vďaka tomu žiadni naši zákazníci nemôžu doručovať e-maily na vybrané destinácie. Keď už sa dostaneme na blacklisty, riešenia bývajú zdĺhavé, lebo takmer žiadny poskytovateľ nekomunikuje so svetom o tom, kedy, ako a za akých podmienok vás z blacklistu odstráni. Sú takí ako Microsoft (hotmail.com, zoznam.sk, atď.), ktorí aspoň cez osobitnú stránku dajú k dispozícii náhľad problémových e-mailov. To, že tam často vidíme úplne legitímne e-maily našich zákazníkov, označené ako spam, svedčí o tom, že rozhodnutie o tom, čo je a čo nie je spam, je zložitý, nielen technický, ale aj právny či morálny problém.
Najväčším zdrojom odchádzajúcich spamov sú napadnuté a zneužité stránky, e-mailové prístupy a VPS servery našich zákazníkov. Ako poskytovateľ webhostingových a e-mailových služieb nemáme takmer žiadnu kontrolu nad tým, aké stránky hostujeme a kto si akú poštu od nás odosiela. Snažíme sa weby našich zákazníkov chrániť plošne pred útokom zvonka. V súčasnosti testujeme riešenie mod_security modulu do apache servera, je však obtiažne použiť jeho pokročilé vlastnosti tak, aby sme neobmedzili funkčnosť zákazníckych webov.
Základnou ochranou pred spamom z webserverov je vyžadovať od každého odchádzajúceho e-mailu, aby mal legitímnu adresu odosielateľa, ktorá reálne zodpovedá poštovej schránke na našich mailserveroch. Po tejto kontrole posúvame e-maily antispam riešeniu nastavenému tak, aby neposielal ďalej e-maily označené len s vysokou istotou ako spam. Sofistikovanosť spamerov v tejto oblasti je ale neustálym problémom. Aktuálne sa nám najťažšie rozpoznávajú krátke phisingové e-maily s útokmi na online banking systémy v západnej Európe, ale aj rôzne krátke a nekonečne sa meniace “nigérijské” listy. Na lepšiu detekciu spamov sme nedávno zaviedli systém takzvaných “honey-pot” nástrah. Na naše vlastné stránky pridávame neviditeľné odkazy na umelo vytvorené poštové schránky. Tie slúžia ako nástrahy bottom spamerov: akákoľvek pošta, smerujúca do týchto schránok, bude teda zaručene pokladaná za spam a dá sa následne použiť ako etalón pri odlišovaní od legitímnej pošty. Tu by sme radi vyzvali našich zákazníkov a fanúšikov: ak ste ochotní umiestniť si takúto neviditeľnú nástrahu spamerom aj na vašu stránku, ozvite sa mi.
Veľkú rolu pri ochrane hrajú náš monitoring a naša štatistika. Neustále vyhodnocujeme počty odchádzajúcich správ podľa rôznych kritérií a hľadáme anomálie. Typickým javom hacknutého webu zákazníka, zneužitého na posielanie spamov, je jeho nečakane zvýšená e-mailová aktivita, pri ktorej má relatívne nízke, ale predsa nejaké percento e-mailov označených ako spam. Zásahy robíme zatiaľ ručne a je to pomerne prácne, do budúcnosti preto zvažujeme systém, ktorý by jednak sám rozpoznával anomálie v “e-mailovom správaní” našich používateľov a tiež robil niektoré typy ochranných opatrení automaticky.
Často sa tiež stáva, že útočníci napadnú domáci alebo firemný počítač nášho používateľa a stiahnu si prihlasovacie údaje na naše SMTP servery, ktoré potom použijú na rozosielanie spamov. V minulosti stačilo obmedzovať prístupy na poštové servery podľa IP adresy príslušnej krajiny. Stále častejšie však vidíme, že mať IP adresy zo Slovenska nie je problém ani pre spamerov z druhého konca zemegule. Sami sme často terčom ponúk rôznych priekupníkov, ktorí nám ponúkajú IP adresy z hocijakej cudzej krajiny.
Osobitnou kapitolou sú rôzne brute-force alebo DDoS útoky na naše samotné SMTP servery. Niekedy ani sami nechápeme zmysel toho, načo útočník dookola opakuje ten istý útok na našu e-mailovú infraštruktúru, ak je neúčinný. Ak aj útok ale nezafunguje, stále je pre nás veľkým problémom, ak sa opakuje stovky ráz za sekundu. Niečo filtrujeme na inteligentných switchoch (Cisco 4500), niečo hneď modulom postscreen v postfixe, ale chceme to všetko ešte vylepšiť. Zaujímavý nápad je oznamovať svetu IP adresu mailserverov rôzne podľa toho, z akej krajiny prichádza dotaz. Pre menej dôveryhodné krajiny chceme vyčleniť samostatnú, ale funkčnú SMTP infraštruktúru, ktorá by v prípade preťaženia útokom obmedzila len prijímanie pošty z daných krajín.
Toľko stručne o našom boji so spamermi. Napriek všetkým menovaným technológiám je to stále dosť aj o manuálnej práci. Tu sa chceme najviac posunúť a hľadať v budúcnosti spôsoby, ako väčšinu tejto práce zautomatizovať.
7 odpovedí na “Zbrojíme v súboji so spamom”
Z nasich stranok este nikdy neprisiel uspesne email na domenu hotmail.com. Casto na to ludia nadavaju a nechapu co vsetko je za jednoduchym ukonom ako je uspesne dorucenie mailu. Som rad, ze na to myslite a makate na zlepseni. Drzime palce, lebo to pomoze aj nam 🙂
Dúfam, že aj myslíte na tých, ktorí rozosielajú maily a nespamujú. Od nás posielame tak 4-5x do roka naraz zhruba 4000 mailov užívateľom, ktorých evidujeme. Tak snáď im tie maily chodia a nekončia niekde v internetovom pekle.
Taktiež mám formulár na stránke, kde ako odosielateľ musí byť uvedený náš firemný mail čo je problém, pretože odosielateľ je vlastne ten čo mi píše.
Miroslav Kufa: tak daj odosielatelovu adresu do reply-to a vyriesene…
honey-pot? Nie skôr spam-trap? 🙂 Mimochodom, problém s SPF čo som reportoval cca 10 dní späť ste už nejako fixli?
Myslim si, ze v oblasit IT sa da ohladne terminologie na wiki vcelku spolahnut. Ta tvrdi toto: „A spamtrap is a honeypot used to collect spam.“http://en.wikipedia.org/wiki/Spamtrap
ja nevim co robite s tyma vasimi adresami, ze vam chodi tolko spamov. boli casy, ked behalo strasne vela spamof, ale teraz to uz tak neni, ja dostanem mozno jeden za den. to sa koli tomu clovek nepotrebuje posrat, alebo co.
ja na mojem mailserveri mam nastaveny postfix tak, ze necekuje len revers, ale kuka aj, ci revers domena aj naozaj ukazuje na domenu. tak sa zbavujem tych, co posielaju spamy z DSL pripojek, lebo ti maju revers a boty uz su tak inteligentne, ze zacali kukat, ze aky maju revers a nepisu tam nejake somariny ako kedysik, co ich robi tazko identifikovatelne a normalne to legitimne clovek mosi prijat, ak necekuje aj domenu.
samozerejme, aj u mna sa objavili smpamy, kere boli poslane z legitimnych serverov, pravdepodobne tie trojske kone na nainfikovanych pocitacoch boli v stave extrahovat SMTP login a heslo z mail klienta a potom to uplne normalne posielaju tak. proci tomu sa ale clovek moze tazko branit, jedine ak to oznami providerovi a on nech oznami napadnuteho, ze skratka ma zavireny pocitac, alebo by mu sekol SMTP dovtedy, dokedy to nevyriesi, ale to je skor mensa pravdepodobnost, ak nejak neposiela extremne moc.
chlapci. januarovy clanok o tom, ako zbrojite proti spamu. a ja mam prave pocit, ze od tohoto roka je to uz vas uplna mizeria, co sa tyka tejto veci. je to poslednu dobu skutocne zle a posledne dni-tyzdne priam neznesitelne. keby to bola jedna mailova adresa, ktoru uzivatel pouziva, nic nepoviem. ale chodia presne tie iste spamy aj na tie adresy, ktore nie su nikde zverejnene, ani sa nikde nevyplnali. proste len existuju pod websupportom. stale mam silnejsi pocit, ze spam chodi na vsetky maily, ktoru bezia pod vami – ako keby niekto kopiroval nejaku websupportacku databazu mailov. ale to je jedno. co som chcel hlavne podotknut, ze dajte sa frisko dokopy, lebo co sa spamu tyka, tak prehravate boj. niekolko krat som pisal dotazy ohladne spamu na helpdesk@ , ale nikto sa ani len neunuval odpisat, alebo inym sposobom reagovat. posledna moznost, nad ktorou uz nejaky ten mesiac uvazujem – je odchod k inemu hostingu. jedine, co mi v tom momentalne brani, ze fakt nemam chut riesit prenost a migraciu niekolko desiatok domen, hostingovych sluzieb a databaz. ale skor ci neskor to budem musiet, ak toto takto pojde. keby to boli len moje mailove boxy, nepoviem nic. ale ked zakaznici mi v jednom kuse volaju a stazuju sa na spam, tak to ja riesit odmietam. vam vobec nevadi, ze od vas kvoli takejto veci zacnu odchadzat ludia, ktori maju na kontach nie jednu domenu s jednym miniwebom, ale ludi, ktori riesia komplexne sluzby pre dalsie strany ? ja sa za vas spam pre zakaznikmi uz hanbit nechcem. pokial vam to nie je blbe, tak ruky prec a kocovat dalej…