Сегодня эллектроная Россия напустила поискового бота на одну достаточно большую социальную сеть.
Создают графы связей и отношений между гражданами России и прочей планеты. И даже не шифруются
2 миллиона запросов за 12 часов из сети
109.207.13.0/24 запросы не тяжелые, но они разнесли мэмкэш.
Oбнаружили в логах nginx
Вот такой вот акопалипсис.
109.207.13.44 - - [22/Mar/2013:14:42:35 +0400] GET /people/217387210 HTTP/1.1 "200" 11442 "-" "Mozilla/5.0 (compatible; SearchBot)" "-" 20.367 XXX.20.0.58:80 20.367 s300342987XX.XXXXXX.ru 109.207.13.49 - - [22/Mar/2013:14:42:35 +0400] GET /people/490145981 HTTP/1.1 "401" 8660 "-" "Mozilla/5.0 (compatible; SearchBot)" "-" 20.520 XXX.20.0.58:80 20.520 suXXXfotoshop.XXXXX.ru 109.207.13.38 - - [22/Mar/2013:14:42:35 +0400] GET /people/107620610 HTTP/1.1 "200" 20871 "-" "Mozilla/5.0 (compatible; SearchBot)" "-" 10.645 XXX.20.0.56:80 10.641 kurgaXXX.XXXXXX.ru 109.207.13.46 - - [22/Mar/2013:14:42:35 +0400] GET /people/986500915 HTTP/1.1 "500" 1762 "-" "Mozilla/5.0 (compatible; SearchBot)" "-" 9.043 XXX.20.0.60:80 9.043 s30217938133.XXXXXX.ru
Смотрим whois
:~$ whois 109.207.13.38 % This is the RIPE Database query service. % The objects are in RPSL format. % % The RIPE Database is subject to Terms and Conditions. % See http://www.ripe.net/db/support/db-terms-conditions.pdf % Note: this output has been filtered. % To receive output for a database update, use the "-B" flag. % Information related to '109.207.0.0 - 109.207.15.255' inetnum: 109.207.0.0 - 109.207.15.255 netname: Electronic-government descr: OJSC Rostelecom descr: Electronic government of the Russian Federation country: RU org: ORG-JR8-RIPE admin-c: RTNC-RIPE tech-c: RTNC-RIPE status: ASSIGNED PI mnt-by: RIPE-NCC-END-MNT mnt-by: ROSTELECOM-MNT mnt-lower: RIPE-NCC-END-MNT mnt-routes: ROSTELECOM-MNT mnt-domains: ROSTELECOM-MNT source: RIPE # Filtered organisation: ORG-JR8-RIPE org-name: OJSC Rostelecom org-type: LIR address: OJSC Rostelecom Kiryukin Aleksey 25-2, Dubovaya Roscha street 127427 MOSCOW RUSSIAN FEDERATION phone: +7 495 339 11 22 fax-no: +74999953619 mnt-ref: ROSTELECOM-MNT mnt-ref: RIPE-NCC-HM-MNT mnt-by: RIPE-NCC-HM-MNT admin-c: KA2987-RIPE admin-c: ANK2555-RIPE admin-c: DS4715-RIPE admin-c: EK1142-RIPE admin-c: ISS78-RIPE admin-c: IS111-RIPE admin-c: AVI13-RIPE admin-c: AVO12-RIPE admin-c: SS216-RIPE admin-c: DN216-RIPE admin-c: MTSV-RIPE admin-c: AAA42-RIPE admin-c: SVS153-RIPE admin-c: SK3575-RIPE admin-c: ES1680-RIPE admin-c: TA2344-RIPE admin-c: AAA219-RIPE admin-c: IK1719-RIPE admin-c: NPS-RIPE admin-c: AA728-RIPE admin-c: DA2353-RIPE admin-c: ANK2555-RIPE source: RIPE # Filtered role: JSC Rostelecom Technical Team address: JSC Rostelecom address: Russian Federation abuse-mailbox: ripe@rt.ru admin-c: DS4715-RIPE admin-c: ANK2555-RIPE tech-c: DS4715-RIPE tech-c: EEA-RIPE tech-c: EK1142-RIPE phone: +7 499 9953922 remarks: trouble: --------------------------------------------------------- remarks: trouble: Rostelecom NOC is available 24 x 7 remarks: trouble: 24x7 phone number: +7 499 9953922 remarks: trouble: e-mail: cuss-ip@rt.ru remarks: trouble: --------------------------------------------------------- remarks: ----------------------------------------------------------------------- remarks: peering requests: peering@rt.ru remarks: ----------------------------------------------------------------------- nic-hdl: RTNC-RIPE mnt-by: ROSTELECOM-MNT source: RIPE # Filtered % Information related to '109.207.0.0/20AS196747' route: 109.207.0.0/20 origin: AS196747 descr: Electronic-government mnt-by: ROSTELECOM-MNT source: RIPE # Filtered % This query was served by the RIPE Database Query Service version 1.57.1 (WHOIS4)
Тоже заметил в логах после тог как апач в месте энджисом начали на пару форточки открывать.
за 5 минут 12480 станиц прожевал. 😯
не чё я им сюрприз сдеал
iptables -A INPUT -s 109.207.13.0/24 -j DROP
Спасибо за комментарий, я уж думал это только моя параноя.
Упыри, любой проект положить могут 🙁
P.S. тоже в DROP
можно подробней… что это за бот…
Нет, подробнее я не могу сказать. Его исходников в публичном доступе нет :).
Просто бот идет по соц сети. смотрит человека, смотрит его френдов, вытягивает их информацию которая открыта в доступ, интересы и т.п., складирует в какую-то базу и идет дальше по дереву их друзей.
В вероятностью 99% под каждый крупный сайт свой бот.
А соц.сеть, судя по кускам адресов – мир тесен?
Да.