Изпечатай

[satir]

здравейте!
от суперхостинг получих писмо, че сайта ми изразходва прекалено много процесорно време и се доближава до горната граница на абонаментния ми план. прегледах статистиката, ограничих достатъчно ботовете на гугъл и бинг, но има някакъв особено агресивен бот.
на първият ред се вижда добре:

Код:

Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-) 14,216+348 763.80 MB 30 Апр 2015 - 15:15
Googlebot-Image 3,032 8.87 MB 30 Апр 2015 - 15:14
Googlebot 7,134+68 577.10 MB 30 Апр 2015 - 15:09
A PHP script 6,137 345.72 MB 30 Апр 2015 - 14:54
Yahoo Slurp 633+63 39.07 MB 30 Апр 2015 - 13:22
Bing Preview bot 1,712 17.86 MB 30 Апр 2015 - 12:29
Unknown robot (identified by hit on 'robots.txt') 0+75 22.27 KB 30 Апр 2015 - 11:24
Unknown robot (identified by 'crawl') 99+47 5.48 MB 30 Апр 2015 - 10:22
Common *nix tool for automating web document retireval. Most likely a bot. 9 0 30 Апр 2015 - 08:49
Unknown robot (identified by 'spider') 533+25 33.44 MB 30 Апр 2015 - 05:39
Unknown robot (identified by empty user agent string) 55+4 2.19 MB 30 Апр 2015 - 05:12
Unknown robot (identified by 'robot') 201+87 16.39 MB 29 Апр 2015 - 00:35
MSNBot-media 110+2 510.23 KB 28 Апр 2015 - 15:59
Unknown robot (identified by 'bot' preceded by a space or one of the following characters _+:,.;/\-) 2+1 117.80 KB 25 Апр 2015 - 00:43
Alexa (IA Archiver)

добавих препоръчаните от суперхостинг редове в .htacces, но получих ерър 403 и ги коментирах.

ето ги:

Код:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Yeti [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Ezooms [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC,OR]
RewriteRule .* - [F]

как да го накарам тоя бот да намали драстично хит-овете?
благодаря!

[k0tka]

Здравей,
опитай по вторият начин описан от тях:

http://help.superhosting.bg/bots.html

Код:

SetEnvIfNoCase User-Agent "^Surfbot" bad_bot
SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot

<Limit GET POST HEAD>
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</Limit>

Само си допълни списъка с ботове и regex-ове.

EDIT:
Сега разбрах защо първият начин не работи...Заради [OR] флага на последния RewriteCond промени го от

Код:

RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC,OR]

на

Код:

RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC]

и трябва да сработи

[satir]

след вчерашната ми намеса посещението от ботове е 0. вероятно трябва да намаля ограничениято в гугъл и бинг.
а дали технит ботове не повличат крак...
kotka, след като направя тези промени ще наблюдавам трафика. в зависимост от него ще опитам това, което ми препоръчваш.
но защо от суперхостинг дават тоя флаг? верно е, че аз от тия неща не разбирам, ама те нали това работят, баси...
ще коригирам Sitte Settings в Webmaster Tools на гугъл, па да видим какво ще се случи...

[k0tka]

Предполагам че е просто typo, защото [OR] е ИЛИ което включва следващия ред в проверката на HTTP_USER_AGENT но в този пример следващия ред не е условие RewriteCond, а правило RewriteRule и за това фейлва и връша 403 без значение какво има в HTTP_USER_AGENT. Няма лошо да те обхождат "агресивно" ботове ама ресурсите при споделения хостинг са си споделени и компаниите не го допускат и те режат винаги.

[satir]

даже си е добре, да те ръшнат ботовете, щото това те праща напред у търсещите машини, а и аз за това съм си играл да оптимизирам сайта в крайна сметка, ама по-големия абонаментен план ми идва в повече, по простата причина, че сайта ми е информационен портал, който вади очите на политическите партии в Дупница , а приходите от реклами и договори не са особено големи
това е след следващата ми намеса:

Код:

Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-) 1,384+3 85.78 MB 01 Май 2015 - 15:19
Yahoo Slurp 11+1 503.85 KB 01 Май 2015 - 15:19
Googlebot-Image 41 65.50 KB 01 Май 2015 - 15:17
A PHP script 17 903.24 KB 01 Май 2015 - 15:14
Googlebot 167 12.08 MB 01 Май 2015 - 15:07
Unknown robot (identified by 'spider') 4+2 206.60 KB 01 Май 2015 - 11:47
Unknown robot (identified by hit on 'robots.txt') 0+1 304 Байта (Bytes) 01 Май 2015 - 10:12
Bing Preview bot 50 284.14 KB 01 Май 2015 - 09:09
Unknown robot (identified by 'robot') 1+1 28.57 KB 01 Май 2015 - 05:18
Unknown robot (identified by empty user agent string) 1 25.56 KB 01 Май 2015 - 05:13

мисля да го оставя така, и след 24 часа да говоря с поддръжката, да видим какво ще кажат за процесорното време.

шотове от cPanel-a:



натоварване на процесора около 50% с три четири пика до 75. мисля, че това не е много.



едит: сега ом погледнах пак писмото - то било за време, не за натоварване, а не виждам графа за времето, през което е работил процесора. пак ще погледна cPanel-а

[satir]

допреди 4 часа всичко беше добре, но пак е вдигнал процесорното време и е се е наложило да го лимитират. редактирах .htacces по препоръките на kotka, който изглежда така:

Код:

<IfModule mod_fcgid.c>
AddHandler fcgid-script .php
FcgidWrapper /home/myhome/php5.fcgi .php
# bot restriction from me:

SetEnvIfNoCase User-Agent "^Surfbot" bad_bot
SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^(.*)MJ12bot [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)SolomonoBot [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Baiduspider [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Yeti [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Ezooms [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot [NC]
RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC]
RewriteRule .* - [F]
</IfModule>

засега работи и не дава грешка. ще следя, какво се случва със процесорното време.

едит: значи... малко щом е тръгнал над 50% и веднага е лимитиран. мисля, че суперхостинг ни изнудват, а години наред бях много доволен от услугите им. не проумевам на какво се дължи такава рязка промяна в поведението им.

[4096bits]

Глад?

[k0tka]

Не обвинявай хостинг компаниите, няма как да ползваш споделен хостинг и да нямаш проблеми. За мен това не е сериозна услуга и не бих я използвал за нещо повече от статичен сайт поради този тип лимитации. В крайна сметка хостинг компанията няма сметка да те реже или ограничава ако всичко е наред и твоят акаунт не създава проблеми на останалите намиращи се на същия сървър, след като си плащаш - просто нямат изгода от това. Хоствам няколко сайта, общо взето на близки и приятели като единият от тях е една скапана галерия Coppermine, която съдържа около 60К снимки с коментари и т.н. + 250-500 уникални посещения на ден. Беше на един споделен хостинг след което на друг, но правеше проблеми и ядеше доста ресурс и не беше удачен за споделен хостинг, но не ми и пукаше защото по това време не се грижех аз за него. В един момент сайта се върна под мое управление и трябваше да поема по твоят път. Първо преместих всичко на машина която се хостваше вкъщи и беше някаква сбирщина от RAM и дискове (RAID 1 между 160GB 3.5-inch disk и 200GB 2.5-inch disk от лаптоп)...Както и да е - работеше идеално, когато имах ток и интернет... След време обаче заминах да работя извън България и тъй като няма на кой да оставя машината взех един малък VPS за около 40лв/м но както и при теб се получава приходите от реклама не покриват разходите за машината а и никой от моите "потребители" не дава и стотинка та аз поемам разходите но в един момент ми писна да плащам. Отскоро бях започнал да работя с AWS а те дават някакъв минимален VPS 1core, 1G RAM + 1G swap 30-40GB HDD, който е Eligible for AWS Free Tier или с други думи ползваш машината + RDS instance (MySQL база) за 12м. безплатно и с малко експерименти и varnish всичко заспа и последните няколко месеца не съм и имал проблеми с него. Плюс това ако отвориш тикет до support-а и след като не ти отговорят 4-5 дни, можеш да ги напсуваш и ти дават 100$ в сметката с които можеш да плащаш услугата след като минат 12м. Да, искат регистрирана кредитна/дебитна карта, понякога те таксуват за нещо което не можеш да разбереш от порядъка на 2$-3$ на месец и безплатния съпорт е толкова бавен, че по-добре да не се свързваш с тях, но май не е трудно да намериш step-by-step instructions "how to get free vps in amazon web services" - има доста теми, та поразгледай, тествай......в крайна сметка е безплатно....

[satir]

kotka, много си прав, но не ме устройват такива решение. имам нужда от отговорен и сериозен съпорт, от редовен бекъп, профилактика и... от читав контакт с поддържащия персонал. цела седмица го следя и резултатите са много променливи. като извод се налага, че основно се товари от уникални посещения. е, не искам да отказвам потребителите да четат сайта, нали за тва съществува в интернет пространството не мога да реша какво да правя. мине не мине и админите го лимитират не мога ли да си карам така... с лимитиране чат пат? ще разговарям с поддръжката, пък да видим.