Discuz!屏蔽各种搜索引擎访问的方法

admin

搜索引擎本来收录你的网站是好事情，可是现在搜索引擎太多了，如果同时访问你的网站，怎么受的了，如果对收录要求不高，又想网站访问快的。可以用以下方法：

找到source/class/class_core.php文件，添加以下代码：
if(isCrawler()){
        exit;
}

function isCrawler() {
        $agent= strtolower($_SERVER['HTTP_USER_AGENT']);
        
        if (!empty($agent)) {
                $spiderSite= array(
                        "bot",
                        "robot",
                        "spider",
                        "TencentTraveler",
                        "Baiduspider",
                        "Googlebot",
                        "msnbot",
                        "Web Core / Roots",
                        "Web Core",
                        "Roots",
                        "bingbot",
                        "Sosospider+",
                        "Sogou web spider",
                        "ia_archiver",
                        "Yahoo! Slurp",
                        "YoudaoBot",
                        "Yahoo Slurp",
                        "MSNBot",
                        "Java (Often spam bot)",
                        "Voila",
                        "Yandex bot",
                        "BSpider",
                        "twiceler",
                        "Sogou Spider",
                        "Speedy Spider",
                        "Google AdSense",
                        "Heritrix",
                        "Python-urllib",
                        "Alexa (IA Archiver)",
                        "Ask",
                        "Exabot",
                        "Custo",
                        "OutfoxBot/YodaoBot",
                        "yacy",
                        "SurveyBot",
                        "legs",
                        "lwp-trivial",
                        "Nutch",
                        "StackRambler",
                        "The web archive (IA Archiver)",
                        "Perl tool",
                        "MJ12bot",
                        "Netcraft",
                        "MSIECrawler",
                        "WGet tools",
                        "larbin",
                        "Fish search",
                );
                foreach($spiderSite as $val) {
                        $str = strtolower($val);
//                        @$fp = fopen(DISCUZ_ROOT.'./debug.txt',"a");
//                        fwrite($fp,$_SERVER['HTTP_USER_AGENT'].'  '.date('Y-m-d H:i:s', time())."\n");
//                        fclose($fp);
                        if (strpos($agent, $str) !== false) {
                                return true;
                        }
                }
                return false;
        }else{
                return false;
        }
}

以上红色代码前面的//如果去掉，就可以知道搜索引擎访问记录（这个只是了解什么搜索引擎访问了你的网站，平时不要搞这个功能），查看根目录下的debug.txt