Linux за българи: Форуми

Хумор, сатира и забава => Живота, вселената и някакви други глупости => Темата е започната от: edmon в Jul 24, 2014, 09:59



Титла: SMTP
Публикувано от: edmon в Jul 24, 2014, 09:59
Много отдавна всички сме се  сблъскали с т.нар спам.
Повечето сигурно са пускали мейл съврвъри със спамасасин , рейзори, ДНС проверки и тн. анти-спам инструменти.
Когато преди години се преборих с кюмейл съврвър с виртуални потребители в база данни  с това и онова и тн и тн. бях много впечатлен от начина, по който в реализриано. Една програмка се грижи само за едно нещо и тн., който се е сблъсквал с кюмейл знае за какво става въпрос.
После се преборих по подобен начин с постфикс и тн и тн.
Но проблема спам си остава винаги почти не решен, каквото и да правиш винаги може да бъдеш прецакан , защото самите проверки дали идващата мейл е спам или не става винаги при теб и за сметка на твоето процесорно време!
Така ми проблеснА идеята , която аз не мога да реализирам естествено, няма ли по-добре вместо
да си изпращаме цялото съдаржание на мейлта и след това да я проверяваме да обърнем процеса и проверката да стане за сметка на отсрещният съврвър, така спамера може само на себе си да навреди.
Може би нещата би трябвало да се случат така: Процеса по изпращане и получаване остава същият, но това което наистина се изпраща и получава е само да речем, Името на подателя и/или събжекте(тема на писмоте), мъкар когато да получаваме обикновенна поща на писмата ни не пише с какво съдаржние са и ако не са от някой, който познаваме ги изхвърляме със страшна сила.

Така така обощено идеята ми е да се обменя само името на подателя и/или тема на съобщениете, а само съдържание остава на отсрещният сървър докато ти не поиксаш да го получиш.

Найс,а?


Титла: Re: SMTP
Публикувано от: Naka в Jul 24, 2014, 10:20
Не можах точно да разбера какво си написал... Но така стартирам
qmail-а

qmail-smtpd-start
Цитат
....
exec /usr/local/bin/tcpserver -v -R -l 0 -x /etc/tcp.smtp.cdb -c "$MAXSMTPD" -u "$QMAILDUID" -g "$NOFILESGID" 0 smtp \
    /usr/local/bin/rblsmtpd -t 120 \
             -r cbl.abuseat.org \
             -r bl.spamcop.net \
             -r psbl.surriel.com \
             -r zen.spamhaus.org \
    /var/qmail/bin/qmail-smtpd /bin/cmd5checkpw /bin/true 2>&1 | /var/qmail/bin/splogger rblsmtpd > /dev/null &
....

Цитат
Така така обощено идеята ми е да се обменя само името на подателя и/или тема на съобщениете, а само съдържание остава на отсрещният сървър докато ти не поиксаш да го получиш.
Проверката/орязването става още преди HELLO и когато отсрещният сървер си каже ip-to на сървера...преди да се обмени самите данни - body-то на писмото. така че нищо не товари и почти никакъв трафик не се обменя.

rblsmtpd проверява по днс следните бляк листи
cbl.abuseat.org
bl.spamcop.net
psbl.surriel.com
zen.spamhaus.org


Точно със тези бази данни не съм имал никави проблеми. Режат доста успешно 99% от световният спам и нямат никаво фалшиво сработване - така че да се загуби важно писмо.

Не виждам никакво по-добро решение от това.


 


Титла: Re: SMTP
Публикувано от: Acho в Jul 24, 2014, 10:29
Добавям и dsn.rfc-ignorant.org


Титла: Re: SMTP
Публикувано от: edmon в Jul 24, 2014, 13:22
Не можах точно да разбера какво си написал... Но така стартирам
qmail-а

qmail-smtpd-start
Цитат
....
exec /usr/local/bin/tcpserver -v -R -l 0 -x /etc/tcp.smtp.cdb -c "$MAXSMTPD" -u "$QMAILDUID" -g "$NOFILESGID" 0 smtp \
    /usr/local/bin/rblsmtpd -t 120 \
             -r cbl.abuseat.org \
             -r bl.spamcop.net \
             -r psbl.surriel.com \
             -r zen.spamhaus.org \
    /var/qmail/bin/qmail-smtpd /bin/cmd5checkpw /bin/true 2>&1 | /var/qmail/bin/splogger rblsmtpd > /dev/null &
....

Цитат
Така така обощено идеята ми е да се обменя само името на подателя и/или тема на съобщениете, а само съдържание остава на отсрещният сървър докато ти не поиксаш да го получиш.
Проверката/орязването става още преди HELLO и когато отсрещният сървер си каже ip-to на сървера...преди да се обмени самите данни - body-то на писмото. така че нищо не товари и почти никакъв трафик не се обменя.

rblsmtpd проверява по днс следните бляк листи
cbl.abuseat.org
bl.spamcop.net
psbl.surriel.com
zen.spamhaus.org


Точно със тези бази данни не съм имал никави проблеми. Режат доста успешно 99% от световният спам и нямат никаво фалшиво сработване - така че да се загуби важно писмо.

Не виждам никакво по-добро решение от това.


Еее винаги има нЕкой, който си мисли, че е фанал Господ за ... ръкава....
И ко мислиш ти, че като ги имаш тиа РБЛ-та всичко е решено? мое ти извъртя такъв спам, че докат спам хаус се усети сървара ти нема да знае къде се намира с дни!

И ако беше прочел правилно използването на РБЛ може да се пише и в спамассасин... пробвай го :)

Обяснявам пак за останалите неразбрали : това е нещо като идея за нов СМТП иначе казано СМТП ню джинирейшън, или СМТП в.2, и тн...:)
хехех


Титла: Re: SMTP
Публикувано от: Acho в Jul 24, 2014, 13:31
И що такова отношение Едмоне ?

Веднага с рогата към Наката. Човека ти написа и отговори най-човешки. Не мисля, че редно това, къде е добрия тон ? Доказваш се нещо ли ? Че си най-великия спамер, или друга някаква селяния ?


Титла: Re: SMTP
Публикувано от: Naka в Jul 24, 2014, 13:36
И ко мислиш ти, че като ги имаш тиа РБЛ-та всичко е решено? мое ти извъртя такъв спам, че докат спам хаус се усети сървара ти нема да знае къде се намира с дни!

Само дето това вече няма да e спам а флоод.


Титла: Re: SMTP
Публикувано от: edmon в Jul 24, 2014, 14:20
И ко мислиш ти, че като ги имаш тиа РБЛ-та всичко е решено? мое ти извъртя такъв спам, че докат спам хаус се усети сървара ти нема да знае къде се намира с дни!

Само дето това вече няма да e спам а флоод.

Ама така е, исках само да кажа, че и аз навремето си мислех, че слагането на проверките спасява нещата.
Истината  е, че не винаги помага, ако имаш един популярен домейн с хиляди потребители и когато някой,
намери 500 емейл адреса и им прати по 200 кБ  непоискано рекламно писмо,СПАМ, то тогава натоварването е за твоя сметка , интернета е за твоя сметка, защото освен, че получаваме мейлта ненужна, правим и проверки къде ли не дали не е спам.

Идеята ми е, че не е нужно да правим тези проверки, ако от спамера получим само подателя и субжекта на въпросното писмо, а съдържанието на писмото получим, когато решим или направо го отказваме, ако не ни харесва името на подателя, така натоварването ще остане за негова сметка и ще прекрати тази практика! :)


Титла: Re: SMTP
Публикувано от: edmon в Jul 24, 2014, 14:24
И що такова отношение Едмоне ?

Веднага с рогата към Наката. Човека ти написа и отговори най-човешки. Не мисля, че редно това, къде е добрия тон ? Доказваш се нещо ли ? Че си най-великия спамер, или друга някаква селяния ?

Абе дразня се като не мога да обясня нещо като за всеки и после, когато някой почне да ми обяснява тривиални неща ми е обидно..
Иначе нямам лоши мисли нито мисля, че съм аз човека дето знае всичко.


Титла: Re: SMTP
Публикувано от: koue в Jul 24, 2014, 16:23
Как на базата на From: и Subject: ще решиш дали го искаш или не писмото? Имаш sales@ поща, която е силно препоръчително да получава писма.

From: pertk@neshto.si, Subject: Buy your product. Какво правим с писмото?


Титла: Re: SMTP
Публикувано от: d0ni в Jul 24, 2014, 17:17
Така ми проблеснА идеята , която аз не мога да реализирам естествено, няма ли по-добре вместо
да си изпращаме цялото съдаржание на мейлта и след това да я проверяваме да обърнем процеса и проверката да стане за сметка на отсрещният съврвър, така спамера може само на себе си да навреди.

Така като си фен на QMail, DJB го е измислил отдавна - http://cr.yp.to/im2000.html.


Титла: Re: SMTP
Публикувано от: edmon в Jul 24, 2014, 21:00
Как на базата на From: и Subject: ще решиш дали го искаш или не писмото? Имаш sales@ поща, която е силно препоръчително да получава писма.

From: pertk@neshto.si, Subject: Buy your product. Какво правим с писмото?

Ми четем писмото... ама като е :

From: pertk@neshto.si, Subject: Buy our product.

Мятаме команда да го трием на отсрещният сървър:))


Титла: Re: SMTP
Публикувано от: edmon в Jul 24, 2014, 21:01
Така ми проблеснА идеята , която аз не мога да реализирам естествено, няма ли по-добре вместо
да си изпращаме цялото съдаржание на мейлта и след това да я проверяваме да обърнем процеса и проверката да стане за сметка на отсрещният съврвър, така спамера може само на себе си да навреди.

Така като си фен на QMail, DJB го е измислил отдавна - http://cr.yp.to/im2000.html


Еййй нищо чудно да съм го чел това на времето и ся ми е изплувало  хехе изложихме се пред чужденците:))

ПС. Не знам какво имаш предвид под фен... Ти фен ли си му та си стигнал до тая страничка?


Титла: Re: SMTP
Публикувано от: zxz в Jul 24, 2014, 22:08
Преди време бях започнал един проект за текстов анализатор. Идеята беше подобна, само че беше насочена повече към книгите. Трябваше да направим нещо като изкуствен интелект, които да се самообучава и да филтрира най-важните неща от текста. Примерно подаваш текст :
Моето име е Тралала, роден съм 1980г интересувам се от алабала.
И програмчето трябва да върне резултат
Име: Тралала
Години: 34
Интереси: алабала
Та по подобен начин, може да се направи нещо което да събира интересите на потребителя и после спрямо тях да филтрира помията. От гугъл мисля, че нещо подобно правят, ама последното не се знае колко е законно :D.


Титла: Re: SMTP
Публикувано от: gat3way в Jul 24, 2014, 22:18
Цитат
Идеята ми е, че не е нужно да правим тези проверки, ако от спамера получим само подателя и субжекта на въпросното писмо, а съдържанието на писмото получим, когато решим или направо го отказваме, ако не ни харесва името на подателя, така натоварването ще остане за негова сметка и ще прекрати тази практика!

С това болднатото ще се вкараш в чудесни приключения.

Що се отнася до великата идея на djb, не е учудващо защо нито е в масова употреба, нито има дори една успешна имплементация години наред. Тя не е в чупенето на обратна съвместимост и съответния хаос, не е и в увеличаването на комплексността на протокола. Първото много просто следствие от цялата работа е че въпреки че филтрирането на нежелана поща като цяло се подобрява и съответно спам трафика намалява, цената която спамера "плаща" за изпращане на едно спам съобщение също спада с порядъци. Примерно ако спам съобщението ти е 200KB и трябва да го пратиш на 1 милион жертви, ще трябва да засилиш 200GB, а ако трябва да пратиш примерно само 1KB хедъри на същият брой жертви, ще трябва да засилиш само 1GB. Мрежата е ограничен ресурс, съответно същото количество спам ще го пратиш до 200 пъти по-бързо. Вероятността за успех няма да е много по-различна, защото в крайна сметка всичко зависи пак от content/header филтриране, без значение кога ще се случи. Т.е ако си спамър, за теб ще е също по-изгодно да се случи преди да си засилил многото данни. Ти не губиш от цялата работа, точно обратното, защото вероятността някой да ти прочете глупостите остава горе-долу същата. Със същият капацитет обаче можеш да пращаш още повече спам.



Титла: Re: SMTP
Публикувано от: edmon в Jul 25, 2014, 00:15
Цитат
Идеята ми е, че не е нужно да правим тези проверки, ако от спамера получим само подателя и субжекта на въпросното писмо, а съдържанието на писмото получим, когато решим или направо го отказваме, ако не ни харесва името на подателя, така натоварването ще остане за негова сметка и ще прекрати тази практика!

С това болднатото ще се вкараш в чудесни приключения.

Що се отнася до великата идея на djb, не е учудващо защо нито е в масова употреба, нито има дори една успешна имплементация години наред. Тя не е в чупенето на обратна съвместимост и съответния хаос, не е и в увеличаването на комплексността на протокола. Първото много просто следствие от цялата работа е че въпреки че филтрирането на нежелана поща като цяло се подобрява и съответно спам трафика намалява, цената която спамера "плаща" за изпращане на едно спам съобщение също спада с порядъци. Примерно ако спам съобщението ти е 200KB и трябва да го пратиш на 1 милион жертви, ще трябва да засилиш 200GB, а ако трябва да пратиш примерно само 1KB хедъри на същият брой жертви, ще трябва да засилиш само 1GB. Мрежата е ограничен ресурс, съответно същото количество спам ще го пратиш до 200 пъти по-бързо. Вероятността за успех няма да е много по-различна, защото в крайна сметка всичко зависи пак от content/header филтриране, без значение кога ще се случи. Т.е ако си спамър, за теб ще е също по-изгодно да се случи преди да си засилил многото данни. Ти не губиш от цялата работа, точно обратното, защото вероятността някой да ти прочете глупостите остава горе-долу същата. Със същият капацитет обаче можеш да пращаш още повече спам.

Не разбирам какво точно те притеснява. Какво като изпрати 1Г хедър, важното е, че няма да прочетеш писмото, защото писмата няма да имат събжект, а само подател, т.е. от неизвестен подател не са ни нужни писма, в смисъл, че ако не познаваш човека за какъв са ти писма от него. Ако пък тепърва ще се запознавате може би първо може да се направи разрешаване .... ама то така може да си направиш и с СМТП-то... :)
Е не може да праща повече, защото спамнатите ще трябва да си получат от него спама, ако го искат, а предполагам като се стартират 100 клиента едновремено и хардуера му ще трябва да е доста мощен, за да ги обслужва!:), а едва ли някой предлага облачни услуги за спам?!?!


Титла: Re: SMTP
Публикувано от: gat3way в Jul 25, 2014, 01:05
Да, очевидно не можеш да разбереш. Първо, подателят е абсолютно произволна стойност, но дори да не беше - аз примерно (и вярвам повечето хора) _четат_ поща пратена от неизвестни хора. Мен относително често ме контактват такива и не мога да си позволя да ги игнорирам. Съвсем отделен става въпроса с мейлинг списъците, където from: е от произволен човек и reply to: ти е мейлинг лист адреса.

Всичко това няма особено значение. Аз ти казвам, че спамърите не се интересуват дали пощата е deliver-ната някъде, а дали някой ще я прочете. Вероятността някой да я прочете е ниска - веднъж заради автоматичното филтриране, още веднъж заради "ръчното" филтриране от получателя. Тази вероятност в случая е константа и няма особено голямо значение дали гледаш списък от пощи в inbox-а си които се намират на пощенския ти сървър или гледаш списък от пощи, които ще се дърпат от сървъра на изпращача когато ги отвориш. Абсолютно никакво значение. Ако събджекта не се вижда още по-зле, защото повечето хора го вземат предвид когато отварят поща, примерно V**1*AGR*A промъкнало се някак през спам филтрите обикновено вдига червени флагове в главата на човек.

От гледна точка на спамър е абсолютно все едно откъде получателят ще дръпне съдържанието на спама. Въпросът е да го направи. Вероятността е малка, но дърпането на пощата от чуждия сървър не я променя особено. Та в цялата красива схема печалившите са тези които държат инфраструктурата (очевидно - по-малко трафик и по-малко утилизирано дисково пространство). Както и спамърите. Просто защото това с по-малкото трафик им върши по-добра работа. А за потребителя, който не се интересува от такива подробности, всичко това няма значение. Точно никакво.

Апропо, никъде не съм споменавал 1ГБ-тов хедър на писмо. Прочети пак какво съм написал :)


Титла: Re: SMTP
Публикувано от: neter в Jul 25, 2014, 01:39
а едва ли някой предлага облачни услуги за спам?!?!
Това "едва ли" не върши работа в един толкова доходоносен бизнес ;) Но, между другото, може да минат и без специализирана за спам облачна услуга. Преди няколко седмици имах отделни оплаквания от някои колеги, че не получавали писмата от няколко домейна. Оказа се, че пощите на всички тези домейни се обслужват от облачната услуга на Малък и мек, и една торба IP-та от тази мрежа са били вкарани в по няколко от спам списъците, които проверявам. Кофти - наложи се да сложа целия IP сегмент в белия списък.

SMTP е... кофти протокол. От много отдавна има най-различни опити за замяната му (дори по едно време имаше надежди и към Skype за това), но една критична маса от хора държат да го ползват, с което принуждават и останалите да го правят, поради което протоколът е още жив. Но, както казахме, през него се върти доста доходоносен бизнес, така че не е учудващо. Проблемът със спама не се дължи на недостатъците на протокола. Изворът е извън компютърната сфера ;)


Титла: Re: SMTP
Публикувано от: laskov в Jul 25, 2014, 12:34
И аз да предложа едно подобрение на SMTP протокола :)
1. Масово и безкомпромисно въвеждане на SPF във варианта "и никой друг освен изброените"
2. Задължително въвеждане на Authentication before SMTP;
3.  няма 3 :)


Титла: Re: SMTP
Публикувано от: edmon в Jul 25, 2014, 13:34
Да, очевидно не можеш да разбереш. Първо, подателят е абсолютно произволна стойност, но дори да не беше - аз примерно (и вярвам повечето хора) _четат_ поща пратена от неизвестни хора. Мен относително често ме контактват такива и не мога да си позволя да ги игнорирам. Съвсем отделен става въпроса с мейлинг списъците, където from: е от произволен човек и reply to: ти е мейлинг лист адреса.

Всичко това няма особено значение. Аз ти казвам, че спамърите не се интересуват дали пощата е deliver-ната някъде, а дали някой ще я прочете. Вероятността някой да я прочете е ниска - веднъж заради автоматичното филтриране, още веднъж заради "ръчното" филтриране от получателя. Тази вероятност в случая е константа и няма особено голямо значение дали гледаш списък от пощи в inbox-а си които се намират на пощенския ти сървър или гледаш списък от пощи, които ще се дърпат от сървъра на изпращача когато ги отвориш. Абсолютно никакво значение. Ако събджекта не се вижда още по-зле, защото повечето хора го вземат предвид когато отварят поща, примерно V**1*AGR*A промъкнало се някак през спам филтрите обикновено вдига червени флагове в главата на човек.

От гледна точка на спамър е абсолютно все едно откъде получателят ще дръпне съдържанието на спама. Въпросът е да го направи. Вероятността е малка, но дърпането на пощата от чуждия сървър не я променя особено. Та в цялата красива схема печалившите са тези които държат инфраструктурата (очевидно - по-малко трафик и по-малко утилизирано дисково пространство). Както и спамърите. Просто защото това с по-малкото трафик им върши по-добра работа. А за потребителя, който не се интересува от такива подробности, всичко това няма значение. Точно никакво.

Апропо, никъде не съм споменавал 1ГБ-тов хедър на писмо. Прочети пак какво съм написал :)

Може би това, което искам да обясня е някакво подобие на нещото наречено форум. Ако аз не искам да чета теми , от някой който не ме интересува и/или самата тема не ме интересува то аз не я чета, т.е. спамера може да си спами  колкото иска , то е безсмислено поради това, че аз не съм принуден да го видя, докато с СМТП си принуден, имаш спам и във форумите, но много бързо се овладяват.

ПС. писал си ми, че общо ще изпрати 1 Г хедъри на место 200 Г месаге и ще му е по-хубаво щот ще си плати да изпраща 200 Г и ще може да изпрати 200 пъти повече хеадъри , но какво от това , те също остават на негов сървър и ако спамнатите решат да си ги получат едновременнно тогава ще бъде забавно. Бизнесат е многомилионен , но и много доставчици не желаят спамери в мрежата си.  Като ти се наложи да сменяш доставчици, да купуваш АС , и тн и тн ..  няма как да стане!:)

ПС. интересно отваряш писма от непознати, които нямат събжект или той е от рода: За да ви става ?!?!?



коя е подходящата файлова система, за да обслужва десетки хиляди файлове в десетки хиляди под директори... 30000 файла в 30000 директории???знае ли някой?


Титла: Re: SMTP
Публикувано от: romeo_ninov в Jul 25, 2014, 13:52
....
коя е подходящата файлова система, за да обслужва десетки хиляди файлове в десетки хиляди под директори... 30000 файла в 30000 директории???знае ли някой?
XFS


Титла: Re: SMTP
Публикувано от: edmon в Jul 25, 2014, 23:39
Всъщност нищо не би попречило на спамера да си наеме някой да му напише софтуер на така направения протокол, който да не пази за всеки спамнат отделно копие на файла на спама .... язък


Титла: Re: SMTP
Публикувано от: d0ni в Jul 26, 2014, 14:10
Цитат
Идеята ми е, че не е нужно да правим тези проверки, ако от спамера получим само подателя и субжекта на въпросното писмо, а съдържанието на писмото получим, когато решим или направо го отказваме, ако не ни харесва името на подателя, така натоварването ще остане за негова сметка и ще прекрати тази практика!

Примерно ако спам съобщението ти е 200KB и трябва да го пратиш на 1 милион жертви, ще трябва да засилиш 200GB, а ако трябва да пратиш примерно само 1KB хедъри на същият брой жертви, ще трябва да засилиш само 1GB.

Прав си, но не е проблем да се направи схема при която спамът да се трие от сървъра където са тези 200KB, ако се идентифицира като такъв. Разбира се това, ако администраторът не толерира спам. Освен това тези 200 GB пак ще се генерират (макар и не в пълния обем), защото трябва да се вържеш и да ги изтеглиш.


Титла: Re: SMTP
Публикувано от: gat3way в Jul 27, 2014, 11:07
Цитат
Всъщност нищо не би попречило на спамера да си наеме някой да му напише софтуер на така направения протокол, който да не пази за всеки спамнат отделно копие на файла на спама .... язък

Подозирам че няма нужда да го прави, то ще се наложи да може да става по протокол, за да не мрънкат собствениците на големи мейлинг листове.


Титла: Re: SMTP
Публикувано от: go_fire в Jul 27, 2014, 14:18
А Ве само аз ли, съзирам в такава схема сериозна дупка в сигурността, до степен да няма никаква сигурност. Нека да я наречем Мапс. Досега, ако иска да прочета писмо до някого, то трябваше да разполагам с достъп до пощата му. Сега мога да направя нещо такова: Ей сървър на Федералният резерв, аз съм чичо ти Обама, дай ми писмото с данните за цената на петрола, следващите двадесет години. И изведнъж ставам един богат човек.

п.п. Сега някой да не каже, че щото не знам за съществуването на това писмо, няма да мога да го прочета. Защитата поради незнание, не е никаква защита.


Титла: Re: SMTP
Публикувано от: go_fire в Jul 27, 2014, 14:27
Я туко що видях, че съм в топ 10 на форума от статистиките. Заемам почетното седмо място по брой мнения и задоволителното девето по време прекарано тук. Малко странна е тази работа. Четвърти по мнения е Гугъл, а аз не съм чел и едно негово. И съм леко притеснен. Ако съм тук девети по киснене, като се има предвид, че твърде често не съм влязъл докато се шматкам наоколо, то това не говори добре за менталното ми състояние.


Титла: Re: SMTP
Публикувано от: bvbfan в Jul 27, 2014, 14:54
След като може да се пращат писма с подател поща, на която не ти е известна паролата, всичкия този разговор е напълно безсмислен. Има сумати smtp туулове, с които може да спамиш наляво-надясно и да използваш адрес, който се води "сигурен". За да не бъда голословен http://sourceforge.net/projects/blat/