Список IP диапазонов и CIDR масок принадлежащих поисковым системам будет в первую очередь полезен веб-мастерам и системных администраторам, например для добавления их в исключения.
Диапазон IP-адресов поисковых роботов пригодится в случае если Вы защищаетесь от набегов татаро-монгольских хакеров при помощи iptables, ModSecurity или Fail2Ban.
Yandex network IP range and CIDR mask
- 5.255.253.0 - 5.255.253.255 (Russian Federation)
5.255.253.0/24 - 77.88.21.0 - 77.88.21.255 (Russian Federation)
77.88.21.0/24 - 87.250.224.0 - 87.250.224.255 (Russian Federation)
87.250.224.0/24 - 95.108.138.0 - 95.108.138.255 (Russian Federation)
95.108.138.0/24 - 93.158.134.0 - 93.158.134.255 (Russian Federation)
93.158.134.0/24 - 213.180.193.0 - 213.180.193.255 (Russian Federation)
213.180.193.0/24 - 213.180.204.0 - 213.180.204.255 (Russian Federation)
213.180.204.0/24
Google network IP range and CIDR mask
- 8.35.200.0 - 8.35.207.255 (USA - California)
8.35.200.0/21 - 64.68.80.0 - 64.68.87.255 (USA - California)
64.68.80.0/21 - 64.233.160.0 - 64.233.191.255 (USA - California)
64.233.160.0/19 - 66.102.0.0 - 66.102.15.255 (USA - California)
66.102.0.0/20 - 66.249.64.0 - 66.249.95.255 (USA - California)
66.249.64.0/19 - 72.14.192.0 - 72.14.255.255 (USA - California)
72.14.192.0/18 - 74.125.0.0 - 74.125.255.255 (USA - California)
74.125.0.0/16 - 173.194.0.0 - 173.194.255.255 (USA - California)
173.194.0.0/16 - 209.85.128.0 - 209.85.255.255 (USA - California)
209.85.128.0/17 - 216.73.80.0 - 216.73.95.255 (USA - Colorado)
216.73.80.0/20 - 216.239.32.0 - 216.239.63.255 (USA - California)
216.239.32.0/19
Mail.ru network IP range and CIDR mask
- 94.100.176.0 - 94.100.183.255 (Russian Federation)
94.100.176.0/21 - 94.100.184.0 - 94.100.191.255 (Russian Federation)
94.100.184.0/21 - 128.140.168.0 - 128.140.171.255 (Russian Federation)
128.140.168.0/22 - 185.5.136.0 - 185.5.137.255 (Russian Federation)
185.5.136.0/23 - 195.218.168.0 - 195.218.168.255 (Russian Federation)
195.218.168.0/24 - 217.69.128.0 - 217.69.135.255 (Russian Federation)
217.69.128.0/21
Baidu network IP range and CIDR mask
Встречайте байиду:))
- 61.135.0.0 - 61.135.255.255 (China)
61.135.0.0/16 - 123.125.114.0 - 123.125.114.255 (China)
123.125.114.0/24 - 119.63.192.0 - 119.63.199.255 (Japan)
119.63.192.0/21 - 119.75.208.0 - 119.75.223.255 (China)
119.75.208.0/20 - 180.76.0.0 - 180.76.255.255 (China)
180.76.0.0/16 - 202.108.0.0 - 202.108.255.255 (China)
202.108.0.0/16 - 220.181.0.0 - 220.181.255.255 (China)
220.181.0.0/16
Bing network IP range and CIDR mask
- 204.79.195.0 - 204.79.197.255
204.79.195.0/24
204.79.196.0/23
Yahoo network IP range and CIDR mask
- 67.195.0.0 - 67.195.255.255 (USA - California)
67.195.0.0/16 - 69.147.64.0 - 69.147.127.255 (USA - California)
69.147.64.0/18 - 87.248.112.0 - 87.248.113.255 (United Kingdom)
87.248.112.0/23 - 98.136.0.0 - 98.139.255.255 (USA - California)
98.136.0.0/14 - 206.190.32.0 - 206.190.63.255 (USA - California)
206.190.32.0/19
Rambler network IP range and CIDR mask
- 81.19.64.0 - 81.19.66.255 (Russian Federation)
81.19.64.0/23
81.19.66.0/24 - 81.19.67.0 - 81.19.68.255 (Russian Federation)
81.19.67.0/24
81.19.68.0/24 - 81.19.70.0 - 81.19.70.255 (Russian Federation)
81.19.70.0/24 - 81.19.88.0 - 81.19.88.255 (Russian Federation)
81.19.88.0/24 - 81.19.64.0 - 81.19.95.255 (Russian Federation)
81.19.64.0/19
LiveInternet network IP range and CIDR mask
- 88.212.202.0 - 88.212.202.63 (Russian Federation)
88.212.202.0/26 - 88.212.196.64 - 88.212.196.127 (Russian Federation)
88.212.196.64/26
Webalta network IP range and CIDR mask
- 77.91.224.0 - 77.91.231.255 (Russian Federation)
77.91.224.0/21
Meta.ua network IP range and CIDR mask
- 194.0.131.0 - 194.0.131.255 (Ukraine)
194.0.131.0/24
Это далеко не полный список "поисковых ботов", более полный перечень можно черпнуть в Категория:Поисковые системы — Википедия или в английском исполнении Category:Internet search engines - Wikipedia, the free encyclopedia
Выше перечислены диапазоны ИП адресов основных поисковых роботов, главными среди которых являются Google, Yandex и Bing - остальные так себе и часто их результаты базируются на БД Google, Yandex и Bing, примером такого "поисковика" может быть http://www.metacrawler.com/.
Как узнать IP диапазон поисковой системы?
Для того чтобы узнать IP диапазон поисковой системы можно воспользоваться утилитой nslookup:
nslookup -type=txt google.com Server: localhost Address: 127.0.0.1 Non-authoritative answer: google.com text = "v=spf1 include:_spf.google.com ip4:216.73.93.70/31 ip4:216.73.93.72/31 ~all" nslookup google.com Server: localhost Address: 127.0.0.1 Non-authoritative answer: Name: google.com Addresses: 173.194.39.167, 173.194.39.169, 173.194.39.165, 173.194.39.174 173.194.39.160, 173.194.39.161, 173.194.39.168, 173.194.39.162, 173.19 4.39.163 173.194.39.164, 173.194.39.166
Хотя такой способ и не всегда "канает", например nslookup для webalta.ru покажет нам, что сайт расположен в диапазоне 212.7.192.0-212.7.223.255 (Netherlands), который принадлежит "Dediserv Dedicated Servers Sp. z o.o." (dediserv.eu), а боты ходят с 77.91.224.0/21.
Ссылки по теме:
- Диапазон IP-адресов Google - Cправка - Google Apps Administrator
- CIDR Utility Tool | IP Address Guide