一直来为SEO.HK更换过无数个服务器,其中最大的问题就是宝塔负载100%,CPU负载100%.不管是从8核心换到32核心都是如此。
优化服务器,优化程序都无果。
最终分析了一下网站日志发现一分钟来自http://www.semrush.com/bot.html的访问超过上千次!!!真是祸害啊!!!
赶紧屏蔽,具体屏蔽方法就是安装宝塔Nginx防火墙(免费的也可以)。
全局配置-User-Agent过滤-编辑
如果是默认的规则,只需复制以下规则覆盖原来规则即可。
(HTTrack|Apache-HttpClient|harvest|audit|semrush|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)
红色semrush的则就是过滤屏蔽http://www.semrush.com/bot.html蜘蛛。
好了,现在负荷负载一下降低到1%,太舒爽了!
PS:如果你是做站群,那么不管什么原因造成的负载100%都建议添加该规则防患于未然!
新版宝塔面板Nginx免费防火墙导入IP白名单格式