网站如何实现只允许蜘蛛访问，用户访问返回指定页面，用几种情况来说明。

1，PHP程序的网站（网站所有页面都返回指定页面）：

步骤一：

# 在server块中添加
set $maintenance 1; # 1=维护模式，0=正常模式

# 蜘蛛和特定IP可以访问

if ($http_user_agent ~* "(Baidu[bB]ot|Baiduspider|baiduspider|Baiduspider-render|baiduboxapp|Baidu-YunGuanCe|Baidu-Mobile-UA|Baidu-Image-Sider|Baidu-Video-Spider|Baidu-News-Spider|Baidu-TTS|Baidu-SearchBox|Baidu-Site-App|Baidu-ADS|Baidu-Crawler|Baidu-SL|Baidu-Transcoder|Baidu-Union|Baidu-Push|Baidu-Music|Baidu-Map|Googlebot|Googlebot-Mobile|Googlebot-Image|Googlebot-News|Googlebot-Video|AdsBot-Google|Mediapartners-Google|bingbot|BingPreview|adidxbot|msnbot|Baiduspider|Sogou|Sogou web spider|Sogou News Spider|Sogou Image Spider|Sogou Video Spider|Sogou Spider|360Spider|360Spider-Image|360Spider-Video|360Spider-News|360Spider-Mobile|toutiaospider|Bytespider)") {
set $maintenance 0;
}

# 允许特定IP访问（管理员）
if ($remote_addr = "你的IP地址") {
set $maintenance 0;
}

# 维护模式处理
if ($maintenance = 1) {
# 返回自定义维护页面
rewrite ^(.*)$ /503.html break;

# 或者直接返回503状态码
# return 503;
}

# 维护页面
location = /503.html {
root /www/wwwroot/你的网站目录;
internal;
}

步骤二：

伪静态中添加

# 维护模式设置
set $maintenance 1;

# 蜘蛛识别
if ($http_user_agent ~* "(Baidu[bB]ot|Baiduspider|baiduspider|Baiduspider-render|baiduboxapp|Baidu-YunGuanCe|Baidu-Mobile-UA|Baidu-Image-Sider|Baidu-Video-Spider|Baidu-News-Spider|Baidu-TTS|Baidu-SearchBox|Baidu-Site-App|Baidu-ADS|Baidu-Crawler|Baidu-SL|Baidu-Transcoder|Baidu-Union|Baidu-Push|Baidu-Music|Baidu-Map|Googlebot|Googlebot-Mobile|Googlebot-Image|Googlebot-News|Googlebot-Video|AdsBot-Google|Mediapartners-Google|bingbot|BingPreview|adidxbot|msnbot|Baiduspider|Sogou|Sogou web spider|Sogou News Spider|Sogou Image Spider|Sogou Video Spider|Sogou Spider|360Spider|360Spider-Image|360Spider-Video|360Spider-News|360Spider-Mobile|toutiaospider|Bytespider)") {
set $maintenance 0;
}

# 允许管理员IP
if ($remote_addr = "你的IP地址") {
set $maintenance 0;
}

# 开启维护
if ($maintenance = 1) {
rewrite ^(.*)$ /503.html last;
}

步骤三：

网站可访问根目录（有的是public）创建 503.html自定义页面。

2. Go语言的网站，比如安企CMS（只有直接输入首页才会跳转到指定页面，其他来源正常访问）

步骤一：修改所在主题模板的根目录文件夹中的base.html文件，

在 </head>之前添加以下代码：

<script>

(function() {

var spiders = [

'Baiduspider', 'Baidubot', 'baiduboxapp', 'Baidu-YunGuanCe', 'Baidu-Mobile-UA',

'Baidu-Image-Sider', 'Baidu-Video-Spider', 'Baidu-News-Spider', 'Baidu-TTS',

'Baidu-SearchBox', 'Baidu-Site-App', 'Baidu-ADS', 'Baidu-Crawler', 'Baidu-SL',

'Baidu-Transcoder', 'Baidu-Union', 'Baidu-Push', 'Baidu-Music', 'Baidu-Map',

'Googlebot', 'Googlebot-Mobile', 'Googlebot-Image', 'Googlebot-News', 'Googlebot-Video',

'AdsBot-Google', 'Mediapartners-Google',

'bingbot', 'BingPreview', 'adidxbot', 'msnbot',

'Sogou', 'Sogou web spider', 'Sogou News Spider', 'Sogou Image Spider',

'Sogou Video Spider', 'Sogou Spider',

'360Spider', '360Spider-Image', '360Spider-Video', '360Spider-News', '360Spider-Mobile',

'toutiaospider', 'Bytespider',

'YandexBot', 'DuckDuckBot', 'Slurp', 'Exabot', 'facebot', 'ia_archiver',

'AhrefsBot', 'MJ12bot', 'Ezooms', 'YisouSpider', 'DotBot', 'SemrushBot', 'ZoominfoBot', 'CCBot'

];


var userAgent = navigator.userAgent;
var isSpider = false;

for (var i = 0; i < spiders.length; i++) {
if (userAgent.toLowerCase().indexOf(spiders[i].toLowerCase()) !== -1) {
isSpider = true;
break;
}
}

var referer = document.referrer;
var currentPath = window.location.pathname;

console.log('=== 跳转调试信息 ===');
console.log('User-Agent:', userAgent);
console.log('isSpider:', isSpider);
console.log('referer:', referer);
console.log('currentPath:', currentPath);
console.log('条件判断: !isSpider=' + !isSpider + ', !referer=' + !referer);

if (!isSpider && !referer && (currentPath === '/' || currentPath === '/index.html')) {
console.log('满足跳转条件，即将跳转到 /503.html');

window.location.href = '/503.html';
} else {
console.log('不满足跳转条件');
}
})();
</script>

步骤二：

网站可访问根目录（public）创建 503.html自定义页面。

3. PHP语言的网站（只有直接输入首页才会跳转到指定页面，其他来源正常访问）

步骤一：在可访问根目录创建default.php，内容如下：

<?php
// 定义蜘蛛的User-Agent关键词
$spiders = [
'Baiduspider', 'Baidubot', 'baiduboxapp', 'Baidu-YunGuanCe', 'Baidu-Mobile-UA',
'Baidu-Image-Sider', 'Baidu-Video-Spider', 'Baidu-News-Spider', 'Baidu-TTS',
'Baidu-SearchBox', 'Baidu-Site-App', 'Baidu-ADS', 'Baidu-Crawler', 'Baidu-SL',
'Baidu-Transcoder', 'Baidu-Union', 'Baidu-Push', 'Baidu-Music', 'Baidu-Map',
'Googlebot', 'Googlebot-Mobile', 'Googlebot-Image', 'Googlebot-News', 'Googlebot-Video',
'AdsBot-Google', 'Mediapartners-Google',
'bingbot', 'BingPreview', 'adidxbot', 'msnbot',
'Sogou', 'Sogou web spider', 'Sogou News Spider', 'Sogou Image Spider',
'Sogou Video Spider', 'Sogou Spider',
'360Spider', '360Spider-Image', '360Spider-Video', '360Spider-News', '360Spider-Mobile',
'toutiaospider', 'Bytespider',
'YandexBot', 'DuckDuckBot', 'Slurp', 'Exabot', 'facebot', 'ia_archiver',
'AhrefsBot', 'MJ12bot', 'Ezooms', 'YisouSpider', 'DotBot', 'SemrushBot', 'ZoominfoBot', 'CCBot'
];

// 获取访问者的User-Agent
$userAgent = $_SERVER['HTTP_USER_AGENT'] ?? '';

// 判断是否是蜘蛛访问
$isSpider = false;
foreach ($spiders as $spider) {
if (stripos($userAgent, $spider) !== false) {
$isSpider = true;
break;
}
}

// 获取Referer（来源网址）
$referer = $_SERVER['HTTP_REFERER'] ?? '';

// 判断是否应该跳转
$shouldRedirect = true;

// 不跳转的情况：
// 1. 是蜘蛛访问
// 2. 有Referer（无论来自本站还是其他网站）
if ($isSpider || $referer) {
$shouldRedirect = false;
}

// 如果是直接访问首页（无Referer），则跳转到index.htm
if ($shouldRedirect) {
header('Location: 503.html'); // 替换为你的指定页面URL
exit();
} else {
// 其他情况（蜘蛛访问、从外部或内部链接访问），返回index.php
include('index.php'); // 假设帝国CMS生成的首页文件路径
}
?>

步骤二：

在宝塔站点配置中，默认文档 中将 default.php 放在最上面。

步骤三：

网站可访问根目录（public）创建 503.html自定义页面。