“屏蔽国外垃圾无用蜘蛛semrush.com/bot.html 防止大量抓取攻击导致主机内存带宽崩溃

昨天一台服务器崩溃了,今天播播资源网站的主机也崩溃了,内存和CPU占用100%,重启了多次,今天早上看了自己一个网站监控和日志,日志发现几乎全是一个SemrushBot/6~bl; +http://www.semrush.com/bot.html的垃圾蜘蛛访问的,刚开始没多想,就在防火墙把IP段屏蔽了,屏蔽后安全了半晚,早上起来服务器一样挂了。原因换其他IP了,禁止国外访问也没效果百度了下,也知道