Изпечатай

[VladSun]

Здравейте!

Имам мейл сървер реализиран с qmail.
Поиграх си малко с конфигурацията в qmail-scanner.pl и сега СПАМ-а със СПАМ-индекс по-голям от 10 се отхвърля изцяло.
Проблемът, който възникна е, че се отделяше твърде много процесорно време за clamdscan процесите.
По случая реших, че тъй като повечето от мейла е СПАМ, то по-добре би било да се разменят местата в реда на сканиране по следния начин:

my @scanner_array=("spamassassin","clamdscan_scanner");


Така СПАМ-ът, който бива отхвърлян не минава през антивирусна проверка и сега проблемът с натоварването изчезна напълно.

Конкретният въпрос, който ме мъчи е дали има някаква особена умисъл в избрания ред на сканиране (първо антивирусна, след това антиСПАМ) от разработчиците? Т.е. дали няма да възникнат някакви проблеми от това пренареждане?

Благодаря предварително!

[neter]

Здрасти!

Моите пощенски сървъри са реализирани по същия начин и отскоро, както при теб, clamdscan товареше много машините. Убих се да търся на какво се дължи това товарене и вече мислех да драсна една питанка тук. След размяната на местата на spamassassin и clamdscan, натоварването сякаш изчезна. Нужно ми е известно време да наблюдавам какво е положението (понеже машините даваха проблем известно време, след като съм включил скенерите) и, ако съм си решил проблема, имаш бира от мен, ако се засечем на някое събиране  '>
По принцип, не виждам причина пренареждането да създаде някакъв проблем, но в момента не съм сигурен. Само исках да ти кажа, че имаш още 2 сървъра, на които ще се тества това пренареждане и при някакви резултати, ще ти кажа.

[VladSun]

Ще чакам значи ... за бирата  

[teh]

Правилно си постъпил и няма нищо нередно и грешно в реда който си избрал. Винаги е по-добре да "разкараш" нежеланата поща колкото се може по-рано, с по малко ресурси (при възможност още и при началния /E/SMTP разговора на клиент-сървър) и възможно най-малка част от писмата да достигат до тежките механизми за филтриране. Т.е. да, най-тежките и ресурсоемки филтриращи механизми е добре да се оставят последни.

P.S.
Замисли се също и за смяна на qmail-scanner.pl със simscan.

[neter]

До момента при мен всичко изглежда наред. Натоварването е ниско и писмата се обработват значително по-бързо. Дали обаче моят проблем е решен, ще установя утре, защото понеделник сутрин е час-пик в обмена на поща при мен. Пиша сега, защото се сетих за една отрицателна черта на тази подредба и вероятно това е причината clamdscan да е преди spamassassin - достъпа на заразени писма до компютрите на хората. Когато spamassassin е преди clamdscan, ако едно писмо, освен вируси, съдържа и спам съдържание, то spamassassin маркира писмото като спам и го праща към потребителя без проверка за вируси (ако на spamassassin му е зададено само да маркира писмата, без да ги трие). Така, въпреки че е маркирано като спам и най-вероятно ще отиде в специална папка за целта, все пак потребителя получава заразено писмо, което поради някаква причина може да отвори и да се зарази. Някой да ме поправи, ако греша в тази схема, защото твърде скоро направих размяната, за да съм сигурен, че така ще се случи. Ако съм прав, то този проблем хич не е за пренебрегване (поне при мен). Въпреки това е по-добре, отколкото никаква проверка, както беше от известно време насам в единия сървър.

@teh, благодаря за предложението. Не бях попадал на simscan (демек, сега чувам за него), но звучи добре и ще се тества  

[laskov]

Цитат (neter @ Юни 04 2007,02:49)

... все пак потребителя получава заразено писмо, което поради някаква причина може да отвори и да се зарази.

Това няма да се случва, ако се прави нова антивирусна проверка по време на POP/IMAP обмена. Идеята е, че едно писмо, влязло като чисто, може да съдържа нов вирус, който след обновяването на антивируса вече да бъде разпознато като вирус и спряно. Трябва да призная обаче, че не съм го реализирал при мен. Искам да попитам малко извън темата:
 Clamscan ли ползвате, или clamd ? Аз ползвам clamscan и забелязвам, че напоследък се стартира много бавно.

[neter]

Относно въпроса ти - по-добре е да се използва clamdscan, защото той стартира като демон и заема по-малко ресурси при работата на сървъра. Пробвал съм със clamscan - машината обработва писмото по-бавно (средностатистически, около двойно). Clamscan е предвиден за проверки, контролирани от потребителя - да си провериш ръчно машината, например. При сървърна работа винаги е по-добре да се използват демони.
А иначе, не виждам особен смисъл от последвала проверка при POP3/IMAP. Възможно е, някой път по случайност някое писмо да бъде проверено преди и след обновяване на дефинициите, но това ще се случва твърде рядко, за да осмисли допълнителното товарене на машината. При мен, повечето потребители използват пощенски клиенти, а не web интерфейс и си гласят проверка за нови писма най-често на всеки 2, 5 или 10 минути. Просто писмата не остават достатъчно дълго на сървъра или, ако останат, то вече са четени. Друг е въпроса, че антивирусна проверка по време на POP3/IMAP обезсмисля пренареждането в qmail-scanner.pl, тъй като би се извършвала проверка за вируси, независимо какво е установено за писмото преди това и натоварването пак ще се вдигне. Остава варианта писма с над еди колко си точки за спам (а може и целия спам) да се трие и потребителя въобще да не го получава, но има риск spamassassin да сгреши в преценката и да затрие нужно писмо. Човек си преценя за своята ситуация. Аз преди време успях да намаля малко спама с тези правила в iptables и все още действат. Който иска, може да пробва. Трябва да пробвам simscan как ще се държи, а също и да изградя някаква система за предварителна проверка в спам листи и т.н. още при самата входяща комуникация, за да се намали притока до скенерите. В run файла на qmail-smtpd проверката в спам листи се извършва след qmail-scanner, а така и не успях в този файл да обърна последователността на тези две проверки. Продължавам да дерзая, защото е интересно  '>

P.S.: @VladSun, явно бирата ще е от мен. Сървърите все още се държат стабилно  

[VladSun]

@laskov - аз съм инсталирал/конфигурирал по qmailrocks.org - т.е. изпозлвам clamscan.

@neter
Не съм много сигурен, че идентификацията като СПАМ спира процеса на сканиране към следващите скенери ... ама нещо не успях да разбера логиката на qmail-scanner-queue.pl - ще взема да пусна един логващ скенер най-накрая да видя дали е така.

Между другото - за СПАМ филтрите:

Примерен код

root@mail:/etc/mail/spamassassin/sa-update-keys# ls GPG.KEY  pubring.gpg  pubring.gpg~  sare-sa-update-channels.txt  secring.gpg  trustdb.gpg root@mail:/etc/mail/spamassassin/sa-update-keys# cat sare-sa-update-channels.txt 70_sare_adult.cf.sare.sa-update.dostech.net 70_sare_evilmum0.cf.sare.sa-update.dostech.net 70_sare_evilmum1.cf.sare.sa-update.dostech.net 70_sare_evilmum2.cf.sare.sa-update.dostech.net 70_sare_bayes_poison_nxm.cf.sare.sa-update.dostech.net 70_sare_html.cf.sare.sa-update.dostech.net 70_sare_html4.cf.sare.sa-update.dostech.net 70_sare_html_arc.cf.sare.sa-update.dostech.net 70_sare_html_x30.cf.sare.sa-update.dostech.net 70_sare_html_x31.cf.sare.sa-update.dostech.net 70_sare_header0.cf.sare.sa-update.dostech.net 70_sare_header1.cf.sare.sa-update.dostech.net 70_sare_header2.cf.sare.sa-update.dostech.net 70_sare_header3.cf.sare.sa-update.dostech.net 70_sare_header_x264_x30.cf.sare.sa-update.dostech.net 70_sare_header_x30.cf.sare.sa-update.dostech.net 70_sare_header_x31.cf.sare.sa-update.dostech.net 70_sare_header_arc.cf.sare.sa-update.dostech.net 70_sare_header.cf.sare.sa-update.dostech.net 72_sare_bml_post25x.cf.sare.sa-update.dostech.net 71_sare_bml_pre25x.cf.sare.sa-update.dostech.net 99_sare_fraud_post25x.cf.sare.sa-update.dostech.net 99_sare_fraud_pre25x.cf.sare.sa-update.dostech.net 70_sare_spoof.cf.sare.sa-update.dostech.net 70_sare_random.cf.sare.sa-update.dostech.net 70_sc_top200.cf.sare.sa-update.dostech.net 70_sare_oem.cf.sare.sa-update.dostech.net 70_sare_unsub.cf.sare.sa-update.dostech.net 70_sare_uri0.cf.sare.sa-update.dostech.net 70_sare_uri1.cf.sare.sa-update.dostech.net 70_sare_uri2.cf.sare.sa-update.dostech.net 70_sare_uri3.cf.sare.sa-update.dostech.net 70_sare_uri4.cf.sare.sa-update.dostech.net 70_sare_uri_x31.cf.sare.sa-update.dostech.net 70_sare_whitelist.cf.sare.sa-update.dostech.net 70_sare_whitelist_rcvd.cf.sare.sa-update.dostech.net 70_sare_whitelist_spf.cf.sare.sa-update.dostech.net 70_sare_stocks.cf.sare.sa-update.dostech.net updates.spamassassin.org

EDIT:

При мен:

my $sa_delta='0';
my $sa_quarantine='5';
my $sa_delete='10';
my $sa_reject='0';
my $sa_alt='1';

[VladSun]

neter - някакви нови впечатления?
При мен всичко изглежда наред ...

[neter]

О, как съм забравил за тази тема  '> При мен също всичко е наред. Натоварването при проверка е ниско и краткотрайно. Относно това, когато спам проверката е преди вирусната, дали при наличие на спам съдържание писмото се проверява и за вируси, отговора при мен е ... погледни следващия ми пост ... Задал съм $sa_delete=12, за да намаля броя на спама, който стига до потребителя. По принцип предпочитам потребителя сам да си филтрира и пренасочва спама, за да не стават грешки, но 12 е достатъчно висока стойност.
Между другото, ти с clamscan ли постигаш добри резултати? Защото аз ги постигам с clamdscan. Иначе clamscan дори и при разменени места има излишна тежест. Трябваше да редактирам записите за clamscan с clamdscan в сорса на скенера, за да заработи clamdscan, но определено е много по-добре с него при мен.

edit: Съдържаше глупости  

[Agent_SMITH]

/off-topic: пълните ми душата с теми като тая, ей. Ако продължавате така, бирата май ще е от мен   '>

[laskov]

С clamscan на практика вече не може да се работи за сканиране на поща. Стартира се ужасно бавно. В анонса на 0.91rc2 казват, че

Цитат

- improved handling of .mdb files (fixes long startup times)

, но не съм го пробвал все още.

Пример: Машина Celeron 730 MHz, 512 MB RAM, 80 GB Seagate Baracuda:

Цитат

laskov@host:~$ clamscan router.txt router.txt: OK ----------- SCAN SUMMARY ----------- Known viruses: 130394 Engine version: 0.90.3 Scanned directories: 0 Scanned files: 1 Infected files: 0 Data scanned: 0.02 MB Time: 60.333 sec (1 m 0 s) laskov@host:~$

И след това

Цитат

laskov@host:~$ clamscan router.txt router.txt: OK ----------- SCAN SUMMARY ----------- Known viruses: 130394 Engine version: 0.91rc2 Scanned directories: 0 Scanned files: 1 Infected files: 0 Data scanned: 0.02 MB Time: 8.529 sec (0 m 8 s) laskov@host:~$

Не е никак зле!

[VladSun]

@Agent_SMITH: Наздраве '>

Малко ми е трудно да отговоря дали постигам добри резултати - никога не съм пробвал с clamdscan. Но определено, ми се наложи да променям скенера именно заради тези процеси. Когато инсталирах сървера (преди 2 години) четох, че ако ползвам clamdscan ще имам голям проблем с правата и потребителите. Та по случая реших да го направя по лесния вариант - qmailrocks. '>
Наскоро се опитах да обновя ClamAV enginе-a (0.90.1), но не успях да се оправя с правата и потребителите. Инсталирах старата версия (0.87) и всичко тръгна веднага! Имам чувството, че този проблем се "вкопава" все пo-надълбоко в кода на ClamAV.
По случая си карам със старата версия и с нея не съм забелязал да има бавен старт - това по повод мнението на laskov.

[laskov]

ClamAV 0.91rc2 определено е много по-бърз. Вижте по-горе.

Като дойдете във Варна първата бира е от мене!  '>

[neter]

От разсеяност съм пропуснал излизането на clamav 0.90.3 (laskov, мерси че ми обърна внимание) и след като я сложих направих няколко теста със спам и вируси (нещо, което не направих преди) и забелязах точно как стоят нещата. Оказах се в заблуда от преценката си в бързината и без солидни тестове. Проверка за вируси се прави независимо има ли или няма спам съдържание, но проверката минава много по-бързо и много по-леко. Ще трябва да седна и подробно да изследвам сорса на qmail-scanner, искам да си изясня на какво се дължи това ускоряване на процеса. Интересно е и това, че в хедърите на запазеното в карантината заразено писмо липсват редовете X-Spam-Status, X-Spam-Level и добавката в Received за версиите на скенерите (странно, преди ги имаше). Мислех, че когато писмото пристигне в сървъра, поради първото място на spamassassin, той вмъква редовете X-Spam в оригиналното писмо и го праща към clamdscan, който си прави неговата проверка, но явно не е така. В карантината се пази оригиналното писмо такова, каквото би било, ако нямаше скенери. Предполагам, че qmail-scanner прави копие на полученото писмо и работи върху него, а оригиналното чака резултатите и, ако е намерен вирус, работното копие се изтрива, а оригинала се запазва в карантината. Ако не се намери вирус, оригиналното писмо се изтрива, а обработеното копие отива към потребителя със съотвтните X-Spam редове. Оригинала и копието по време на процеса седят в папките working и tmp, но не съм сигурен кое в коя е. Разбира се, не твърдя нищо със сигурност, но това е логиката, която виждам в момента. Ще тествам и 0.91rc2 версията на виртуалната машина, защото не обичам да слагам rc-та по машините ми. Това е засега от мен.

//offtopic

Ех че пиене се заформи... ами кога ще излиза нова версия на Gnome, че аз само тогава чувам за сбирки, макар че, за съжаление, още не съм се организирал да дойда на нито една. За следващата обаче не ми пука за нищо, идвам да си отбележим бирите, че в тая жега...  '> Поздрави и наздраве на всички