昨天看网站后台的爬虫数据，发现个DataForSeoBot爬虫，比Bing猛多了

一天就爬了两万多地址，似乎也没什么价值，索性去robots ban了它。

今天一看，不讲武德，该爬还是爬。

nginx配置一下

1
2
3
if ($http_user_agent ~ "DataForSeoBot/1.0" ) {
    return 403;
}