В разборе дальше будет упомянут только 51.143.124.155, хотя в логах также мелькали
52.250.62.82,
52.250.19.204,
52.250.119.153,
но они ведут себя более культурно.
Как выглядит проблема на примере выборки bing ботов из вчерашнего лога одного сайта:
$ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10 404582 51.143.124.155 10449 157.55.39.174 10037 207.46.13.162 10036 207.46.13.86 10008 157.55.39.152 6638 207.46.13.207 4993 207.46.13.238 4113 157.55.39.200 3897 157.55.39.205 2995 157.55.39.166
Как выглядит типичный старый bing-бот:
$ whois 157.55.39.174 | grep -i "org[-]*name"OrgName: Microsoft Corporation$ host 157.55.39.174174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com.
Они базируются в сетях
157.56.0.0/14,
157.54.0.0/15,
157.60.0.0/16,
207.46.0.0/16
и успешно проходят проверку на www.bing.com/toolbox/verify-bingbot-verdict:
Как выглядят новые боты:
$ whois 51.143.124.155 | grep -i "org[-]*name"org-name: Microsoft Limited$ host 51.143.124.155 Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN)$ host 52.250.62.82Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN)$ host 52.250.19.204Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN)$ host 52.250.119.153Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN)
И соответственно:
При этом почерк, активность сразу на всех сайтах, а также сообщения коллег, о том, что после блокировки этих новых ip поступают уведомления Bing Webmaster Tools о недоступности сайта позволяют сделать заключение, о том, что эти боты действительно являются делом рук microsoft.
Запросы в саппорт и абузы, разумеется, игнорируются.
В общем не бейте сразу ботов из сетей 51.140.0.0/14, 52.224.0.0/11. Вероятно, они являются полезными (или хотя бы безобидными) бифидобактериями.
