Изпечатай

[Naka]

Чудя се дали не знаете някой Web Spider, който да може да се настрои да търси точно определени неща в мрежата.

Например да може да се зададе тематиката - т.е. по кои страници да ходи, като страници от друга област ги игнорира и избощо не ги проследява.
А като намери сайт от дадената тематика, да търси вътре ключови думи и фрази.

Мисълта ми е за SEO, за намиране на подходящи места където може да се пускат линкове - (не става въпрос Spider-а да submit-ва линкове, а само да намира местата).
Например като намери подходящ тематичен сайт да търси вътре фрази от рода на 'submit article' 'reply' 'add site' 'blog it' и т.н.

Със гого вече нищо не мога да намеря... Четох и доста за спайдерите, има много, има и тематични..., настройват се, но не мога да се ориентирам кой би свършил работа.

[n00b]

ох... направо ме настъпи по мазола...

PS: В момента работа по подобна тематика и живо ме интересува и мен.

[Oxy]

Ако ви се стартира проект с отворен код и жаба, мога да одаря едно рамо

[Naka]

Засега научих, че такова нещо се нарича 'Focused crawler'
http://en.wikipedia.org/wiki/Focused_crawler

Има и друго подобно понятие (vertical search engine):
http://en.wikipedia.org/wiki/Vertical_search

Apache имат голям проект за spider наричан nutch http://nutch.apache.org/about.html

Има много настройки, но още не мога да разбера дали може да се настрои за 'фокусирано' претърсване. Ставало чрез някакъв филтър.
Писан е на Java. Не мога и да проумнея каква е тази мода всички да пишат spider-и на Java.