Автор Тема: Qmail-scanner, ред на сканиране  (Прочетена 5580 пъти)

VladSun

  • Напреднали
  • *****
  • Публикации: 2166
    • Профил
Qmail-scanner, ред на сканиране
« -: Jun 02, 2007, 18:56 »
Здравейте!

Имам мейл сървер реализиран с qmail.
Поиграх си малко с конфигурацията в qmail-scanner.pl и сега СПАМ-а със СПАМ-индекс по-голям от 10 се отхвърля изцяло.
Проблемът, който възникна е, че се отделяше твърде много процесорно време за clamdscan процесите.
По случая реших, че тъй като повечето от мейла е СПАМ, то по-добре би било да се разменят местата в реда на сканиране по следния начин:

my @scanner_array=("spamassassin","clamdscan_scanner");


Така СПАМ-ът, който бива отхвърлян не минава през антивирусна проверка и сега проблемът с натоварването изчезна напълно.

Конкретният въпрос, който ме мъчи е дали има някаква особена умисъл в избрания ред на сканиране (първо антивирусна, след това антиСПАМ) от разработчиците? Т.е. дали няма да възникнат някакви проблеми от това пренареждане?

Благодаря предварително!
Активен

KISS Principle ( Keep-It-Short-and-Simple )
http://openfmi.net/projects/flattc/
Има 10 вида хора на този свят - разбиращи двоичния код и тези, които не го разбират :P

neter

  • Global Moderator
  • Напреднали
  • *****
  • Публикации: 3408
  • Distribution: Debian, SailfishOS, CentOS
  • Window Manager: LXDE, Lipstick
    • Профил
    • WWW
Qmail-scanner, ред на сканиране
« Отговор #1 -: Jun 02, 2007, 20:13 »
Здрасти!

Моите пощенски сървъри са реализирани по същия начин и отскоро, както при теб, clamdscan товареше много машините. Убих се да търся на какво се дължи това товарене и вече мислех да драсна една питанка тук. След размяната на местата на spamassassin и clamdscan, натоварването сякаш изчезна. Нужно ми е известно време да наблюдавам какво е положението (понеже машините даваха проблем известно време, след като съм включил скенерите) и, ако съм си решил проблема, имаш бира от мен, ако се засечем на някое събиране  '<img'>
По принцип, не виждам причина пренареждането да създаде някакъв проблем, но в момента не съм сигурен. Само исках да ти кажа, че имаш още 2 сървъра, на които ще се тества това пренареждане и при някакви резултати, ще ти кажа.
Активен

"Да си добре приспособен към болно общество не е признак за добро здраве" - Джиду Кришнамурти

VladSun

  • Напреднали
  • *****
  • Публикации: 2166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #2 -: Jun 02, 2007, 20:32 »
Ще чакам значи ... за бирата  ':p'
Активен

KISS Principle ( Keep-It-Short-and-Simple )
http://openfmi.net/projects/flattc/
Има 10 вида хора на този свят - разбиращи двоичния код и тези, които не го разбират :P

teh

  • Напреднали
  • *****
  • Публикации: 56
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #3 -: Jun 03, 2007, 18:57 »
Правилно си постъпил и няма нищо нередно и грешно в реда който си избрал. Винаги е по-добре да "разкараш" нежеланата поща колкото се може по-рано, с по малко ресурси (при възможност още и при началния /E/SMTP разговора на клиент-сървър) и възможно най-малка част от писмата да достигат до тежките механизми за филтриране. Т.е. да, най-тежките и ресурсоемки филтриращи механизми е добре да се оставят последни.

P.S.
Замисли се също и за смяна на qmail-scanner.pl със simscan.



Активен

neter

  • Global Moderator
  • Напреднали
  • *****
  • Публикации: 3408
  • Distribution: Debian, SailfishOS, CentOS
  • Window Manager: LXDE, Lipstick
    • Профил
    • WWW
Qmail-scanner, ред на сканиране
« Отговор #4 -: Jun 04, 2007, 01:49 »
До момента при мен всичко изглежда наред. Натоварването е ниско и писмата се обработват значително по-бързо. Дали обаче моят проблем е решен, ще установя утре, защото понеделник сутрин е час-пик в обмена на поща при мен. Пиша сега, защото се сетих за една отрицателна черта на тази подредба и вероятно това е причината clamdscan да е преди spamassassin - достъпа на заразени писма до компютрите на хората. Когато spamassassin е преди clamdscan, ако едно писмо, освен вируси, съдържа и спам съдържание, то spamassassin маркира писмото като спам и го праща към потребителя без проверка за вируси (ако на spamassassin му е зададено само да маркира писмата, без да ги трие). Така, въпреки че е маркирано като спам и най-вероятно ще отиде в специална папка за целта, все пак потребителя получава заразено писмо, което поради някаква причина може да отвори и да се зарази. Някой да ме поправи, ако греша в тази схема, защото твърде скоро направих размяната, за да съм сигурен, че така ще се случи. Ако съм прав, то този проблем хич не е за пренебрегване (поне при мен). Въпреки това е по-добре, отколкото никаква проверка, както беше от известно време насам в единия сървър.

@teh, благодаря за предложението. Не бях попадал на simscan (демек, сега чувам за него), но звучи добре и ще се тества  ':ok:'
Активен

"Да си добре приспособен към болно общество не е признак за добро здраве" - Джиду Кришнамурти

laskov

  • Напреднали
  • *****
  • Публикации: 3166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #5 -: Jun 04, 2007, 10:14 »
Цитат (neter @ Юни 04 2007,02:49)
... все пак потребителя получава заразено писмо, което поради някаква причина може да отвори и да се зарази.

Това няма да се случва, ако се прави нова антивирусна проверка по време на POP/IMAP обмена. Идеята е, че едно писмо, влязло като чисто, може да съдържа нов вирус, който след обновяването на антивируса вече да бъде разпознато като вирус и спряно. Трябва да призная обаче, че не съм го реализирал при мен. Искам да попитам малко извън темата:
 Clamscan ли ползвате, или clamd ? Аз ползвам clamscan и забелязвам, че напоследък се стартира много бавно.
Активен

Не си мислете, че понеже Вие мислите правилно, всички мислят като Вас! Затова, когато има избори, идете и гласувайте, за да не сте изненадани после от резултата, и за да не твърди всяка партия, че тя е спечелила, а Б.Б. (С.С., ...) е загубил, а трети да управлява.  Наздраве!  [_]3

neter

  • Global Moderator
  • Напреднали
  • *****
  • Публикации: 3408
  • Distribution: Debian, SailfishOS, CentOS
  • Window Manager: LXDE, Lipstick
    • Профил
    • WWW
Qmail-scanner, ред на сканиране
« Отговор #6 -: Jun 04, 2007, 11:24 »
Относно въпроса ти - по-добре е да се използва clamdscan, защото той стартира като демон и заема по-малко ресурси при работата на сървъра. Пробвал съм със clamscan - машината обработва писмото по-бавно (средностатистически, около двойно). Clamscan е предвиден за проверки, контролирани от потребителя - да си провериш ръчно машината, например. При сървърна работа винаги е по-добре да се използват демони.
А иначе, не виждам особен смисъл от последвала проверка при POP3/IMAP. Възможно е, някой път по случайност някое писмо да бъде проверено преди и след обновяване на дефинициите, но това ще се случва твърде рядко, за да осмисли допълнителното товарене на машината. При мен, повечето потребители използват пощенски клиенти, а не web интерфейс и си гласят проверка за нови писма най-често на всеки 2, 5 или 10 минути. Просто писмата не остават достатъчно дълго на сървъра или, ако останат, то вече са четени. Друг е въпроса, че антивирусна проверка по време на POP3/IMAP обезсмисля пренареждането в qmail-scanner.pl, тъй като би се извършвала проверка за вируси, независимо какво е установено за писмото преди това и натоварването пак ще се вдигне. Остава варианта писма с над еди колко си точки за спам (а може и целия спам) да се трие и потребителя въобще да не го получава, но има риск spamassassin да сгреши в преценката и да затрие нужно писмо. Човек си преценя за своята ситуация. Аз преди време успях да намаля малко спама с тези правила в iptables и все още действат. Който иска, може да пробва. Трябва да пробвам simscan как ще се държи, а също и да изградя някаква система за предварителна проверка в спам листи и т.н. още при самата входяща комуникация, за да се намали притока до скенерите. В run файла на qmail-smtpd проверката в спам листи се извършва след qmail-scanner, а така и не успях в този файл да обърна последователността на тези две проверки. Продължавам да дерзая, защото е интересно  '<img'>

P.S.: @VladSun, явно бирата ще е от мен. Сървърите все още се държат стабилно  ':ok:'
Активен

"Да си добре приспособен към болно общество не е признак за добро здраве" - Джиду Кришнамурти

VladSun

  • Напреднали
  • *****
  • Публикации: 2166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #7 -: Jun 04, 2007, 11:55 »
@laskov - аз съм инсталирал/конфигурирал по qmailrocks.org - т.е. изпозлвам clamscan.

@neter
Не съм много сигурен, че идентификацията като СПАМ спира процеса на сканиране към следващите скенери ... ама нещо не успях да разбера логиката на qmail-scanner-queue.pl - ще взема да пусна един логващ скенер най-накрая да видя дали е така.

Между другото - за СПАМ филтрите:
Примерен код

root@mail:/etc/mail/spamassassin/sa-update-keys# ls
GPG.KEY  pubring.gpg  pubring.gpg~  sare-sa-update-channels.txt  secring.gpg  trustdb.gpg

root@mail:/etc/mail/spamassassin/sa-update-keys# cat sare-sa-update-channels.txt
70_sare_adult.cf.sare.sa-update.dostech.net
70_sare_evilmum0.cf.sare.sa-update.dostech.net
70_sare_evilmum1.cf.sare.sa-update.dostech.net
70_sare_evilmum2.cf.sare.sa-update.dostech.net
70_sare_bayes_poison_nxm.cf.sare.sa-update.dostech.net
70_sare_html.cf.sare.sa-update.dostech.net
70_sare_html4.cf.sare.sa-update.dostech.net
70_sare_html_arc.cf.sare.sa-update.dostech.net
70_sare_html_x30.cf.sare.sa-update.dostech.net
70_sare_html_x31.cf.sare.sa-update.dostech.net
70_sare_header0.cf.sare.sa-update.dostech.net
70_sare_header1.cf.sare.sa-update.dostech.net
70_sare_header2.cf.sare.sa-update.dostech.net
70_sare_header3.cf.sare.sa-update.dostech.net
70_sare_header_x264_x30.cf.sare.sa-update.dostech.net
70_sare_header_x30.cf.sare.sa-update.dostech.net
70_sare_header_x31.cf.sare.sa-update.dostech.net
70_sare_header_arc.cf.sare.sa-update.dostech.net
70_sare_header.cf.sare.sa-update.dostech.net
72_sare_bml_post25x.cf.sare.sa-update.dostech.net
71_sare_bml_pre25x.cf.sare.sa-update.dostech.net
99_sare_fraud_post25x.cf.sare.sa-update.dostech.net
99_sare_fraud_pre25x.cf.sare.sa-update.dostech.net
70_sare_spoof.cf.sare.sa-update.dostech.net
70_sare_random.cf.sare.sa-update.dostech.net
70_sc_top200.cf.sare.sa-update.dostech.net
70_sare_oem.cf.sare.sa-update.dostech.net
70_sare_unsub.cf.sare.sa-update.dostech.net
70_sare_uri0.cf.sare.sa-update.dostech.net
70_sare_uri1.cf.sare.sa-update.dostech.net
70_sare_uri2.cf.sare.sa-update.dostech.net
70_sare_uri3.cf.sare.sa-update.dostech.net
70_sare_uri4.cf.sare.sa-update.dostech.net
70_sare_uri_x31.cf.sare.sa-update.dostech.net
70_sare_whitelist.cf.sare.sa-update.dostech.net
70_sare_whitelist_rcvd.cf.sare.sa-update.dostech.net
70_sare_whitelist_spf.cf.sare.sa-update.dostech.net
70_sare_stocks.cf.sare.sa-update.dostech.net
updates.spamassassin.org


EDIT:

При мен:

my $sa_delta='0';
my $sa_quarantine='5';
my $sa_delete='10';
my $sa_reject='0';
my $sa_alt='1';



Активен

KISS Principle ( Keep-It-Short-and-Simple )
http://openfmi.net/projects/flattc/
Има 10 вида хора на този свят - разбиращи двоичния код и тези, които не го разбират :P

VladSun

  • Напреднали
  • *****
  • Публикации: 2166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #8 -: Jun 26, 2007, 20:46 »
neter - някакви нови впечатления?
При мен всичко изглежда наред ...
Активен

KISS Principle ( Keep-It-Short-and-Simple )
http://openfmi.net/projects/flattc/
Има 10 вида хора на този свят - разбиращи двоичния код и тези, които не го разбират :P

neter

  • Global Moderator
  • Напреднали
  • *****
  • Публикации: 3408
  • Distribution: Debian, SailfishOS, CentOS
  • Window Manager: LXDE, Lipstick
    • Профил
    • WWW
Qmail-scanner, ред на сканиране
« Отговор #9 -: Jun 27, 2007, 01:03 »
О, как съм забравил за тази тема  '<img'> При мен също всичко е наред. Натоварването при проверка е ниско и краткотрайно. Относно това, когато спам проверката е преди вирусната, дали при наличие на спам съдържание писмото се проверява и за вируси, отговора при мен е ... погледни следващия ми пост ... Задал съм $sa_delete=12, за да намаля броя на спама, който стига до потребителя. По принцип предпочитам потребителя сам да си филтрира и пренасочва спама, за да не стават грешки, но 12 е достатъчно висока стойност.
Между другото, ти с clamscan ли постигаш добри резултати? Защото аз ги постигам с clamdscan. Иначе clamscan дори и при разменени места има излишна тежест. Трябваше да редактирам записите за clamscan с clamdscan в сорса на скенера, за да заработи clamdscan, но определено е много по-добре с него при мен.

edit: Съдържаше глупости  ':p'



Активен

"Да си добре приспособен към болно общество не е признак за добро здраве" - Джиду Кришнамурти

Agent_SMITH

  • Administrator
  • Напреднали
  • *****
  • Публикации: 3082
  • matrix kernel module
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #10 -: Jun 27, 2007, 12:58 »
/off-topic: пълните ми душата с теми като тая, ей. Ако продължавате така, бирата май ще е от мен   '<img'>
Активен

-= СПАЗВАЙТЕ ПРАВИЛАТА НА ФОРУМА =-

laskov

  • Напреднали
  • *****
  • Публикации: 3166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #11 -: Jun 27, 2007, 13:35 »
С clamscan на практика вече не може да се работи за сканиране на поща. Стартира се ужасно бавно. В анонса на 0.91rc2 казват, че
Цитат
- improved handling of .mdb files (fixes long startup times)
, но не съм го пробвал все още.

Пример: Машина Celeron 730 MHz, 512 MB RAM, 80 GB Seagate Baracuda:
Цитат
laskov@host:~$ clamscan router.txt
router.txt: OK

----------- SCAN SUMMARY -----------
Known viruses: 130394
Engine version: 0.90.3
Scanned directories: 0
Scanned files: 1
Infected files: 0
Data scanned: 0.02 MB
Time: 60.333 sec (1 m 0 s)
laskov@host:~$

И след това
Цитат
laskov@host:~$ clamscan router.txt
router.txt: OK

----------- SCAN SUMMARY -----------
Known viruses: 130394
Engine version: 0.91rc2
Scanned directories: 0
Scanned files: 1
Infected files: 0
Data scanned: 0.02 MB
Time: 8.529 sec (0 m 8 s)
laskov@host:~$

Не е никак зле!



Активен

Не си мислете, че понеже Вие мислите правилно, всички мислят като Вас! Затова, когато има избори, идете и гласувайте, за да не сте изненадани после от резултата, и за да не твърди всяка партия, че тя е спечелила, а Б.Б. (С.С., ...) е загубил, а трети да управлява.  Наздраве!  [_]3

VladSun

  • Напреднали
  • *****
  • Публикации: 2166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #12 -: Jun 27, 2007, 14:27 »
@Agent_SMITH: Наздраве '<img'>

Малко ми е трудно да отговоря дали постигам добри резултати - никога не съм пробвал с clamdscan. Но определено, ми се наложи да променям скенера именно заради тези процеси. Когато инсталирах сървера (преди 2 години) четох, че ако ползвам clamdscan ще имам голям проблем с правата и потребителите. Та по случая реших да го направя по лесния вариант - qmailrocks. '<img'>
Наскоро се опитах да обновя ClamAV enginе-a (0.90.1), но не успях да се оправя с правата и потребителите. Инсталирах старата версия (0.87) и всичко тръгна веднага! Имам чувството, че този проблем се "вкопава" все пo-надълбоко в кода на ClamAV.
По случая си карам със старата версия и с нея не съм забелязал да има бавен старт - това по повод мнението на laskov.
Активен

KISS Principle ( Keep-It-Short-and-Simple )
http://openfmi.net/projects/flattc/
Има 10 вида хора на този свят - разбиращи двоичния код и тези, които не го разбират :P

laskov

  • Напреднали
  • *****
  • Публикации: 3166
    • Профил
Qmail-scanner, ред на сканиране
« Отговор #13 -: Jun 27, 2007, 15:44 »
ClamAV 0.91rc2 определено е много по-бърз. Вижте по-горе.

Като дойдете във Варна първата бира е от мене!  '<img'>



Активен

Не си мислете, че понеже Вие мислите правилно, всички мислят като Вас! Затова, когато има избори, идете и гласувайте, за да не сте изненадани после от резултата, и за да не твърди всяка партия, че тя е спечелила, а Б.Б. (С.С., ...) е загубил, а трети да управлява.  Наздраве!  [_]3

neter

  • Global Moderator
  • Напреднали
  • *****
  • Публикации: 3408
  • Distribution: Debian, SailfishOS, CentOS
  • Window Manager: LXDE, Lipstick
    • Профил
    • WWW
Qmail-scanner, ред на сканиране
« Отговор #14 -: Jun 27, 2007, 20:07 »
От разсеяност съм пропуснал излизането на clamav 0.90.3 (laskov, мерси че ми обърна внимание) и след като я сложих направих няколко теста със спам и вируси (нещо, което не направих преди) и забелязах точно как стоят нещата. Оказах се в заблуда от преценката си в бързината и без солидни тестове. Проверка за вируси се прави независимо има ли или няма спам съдържание, но проверката минава много по-бързо и много по-леко. Ще трябва да седна и подробно да изследвам сорса на qmail-scanner, искам да си изясня на какво се дължи това ускоряване на процеса. Интересно е и това, че в хедърите на запазеното в карантината заразено писмо липсват редовете X-Spam-Status, X-Spam-Level и добавката в Received за версиите на скенерите (странно, преди ги имаше). Мислех, че когато писмото пристигне в сървъра, поради първото място на spamassassin, той вмъква редовете X-Spam в оригиналното писмо и го праща към clamdscan, който си прави неговата проверка, но явно не е така. В карантината се пази оригиналното писмо такова, каквото би било, ако нямаше скенери. Предполагам, че qmail-scanner прави копие на полученото писмо и работи върху него, а оригиналното чака резултатите и, ако е намерен вирус, работното копие се изтрива, а оригинала се запазва в карантината. Ако не се намери вирус, оригиналното писмо се изтрива, а обработеното копие отива към потребителя със съотвтните X-Spam редове. Оригинала и копието по време на процеса седят в папките working и tmp, но не съм сигурен кое в коя е. Разбира се, не твърдя нищо със сигурност, но това е логиката, която виждам в момента. Ще тествам и 0.91rc2 версията на виртуалната машина, защото не обичам да слагам rc-та по машините ми. Това е засега от мен.

//offtopic

Ех че пиене се заформи... ами кога ще излиза нова версия на Gnome, че аз само тогава чувам за сбирки, макар че, за съжаление, още не съм се организирал да дойда на нито една. За следващата обаче не ми пука за нищо, идвам да си отбележим бирите, че в тая жега...  '<img'> Поздрави и наздраве на всички
Активен

"Да си добре приспособен към болно общество не е признак за добро здраве" - Джиду Кришнамурти

Подобни теми
Заглавие Започната от Отговора Прегледи Последна публикация
problem sus scanner
Настройка на хардуер
majo 0 2377 Последна публикация Jun 08, 2004, 19:36
от majo
SuSe and scanner
Настройка на програми
jojopara 4 3028 Последна публикация Jul 14, 2004, 20:23
от jojopara
Qmail-Scanner reports
Настройка на програми
FuckBTK 0 2377 Последна публикация Aug 29, 2004, 19:45
от FuckBTK
scanner pod Linux
Настройка на програми
jojopara 0 2304 Последна публикация Sep 20, 2004, 12:01
от jojopara
Qmail qmail-scanner-queue Производителност
Хардуерни и софтуерни проблеми
e_stealth 3 4871 Последна публикация Mar 22, 2008, 10:31
от e_stealth