正 文：
某些时候，需要短暂关闭网站一会，以备检查（你懂的），而又不希望搜索引擎来访时，发现网站已经关闭，从而影响权重，这个时候你就需要用到一些技术手段处理下了。
下面的这段代码就是起了这么个作用。搜索引擎蜘蛛抓取时，一切如常，人来访问时，返回404页面。
ASP代码：
<%
Dim robots
robots="Baiduspider|Googlebot|Yahoo!|msnbot|Sosospider|YodaoBot|Sogou"
uagent=request.servervariables("HTTP_USER_AGENT")
uas=split(robots,"|")
rob=false
for i=0 to ubound(uas)
if instr(lcase(uagent),lcase(uas(i)))>0 then
rob=true:exit for
end if
next
if rob=false then '不是爬虫 转向404页面
response.write "<script>top.location=""404.htm"";</script>"
response.end
end if
'下面放置其它正常代码
%>
其他语言类似，关键是判断 HTTP_USER_AGENT 客户端类型。
注意，这样的处理只是临时性的，因为这种方式如果长时间使用，会被判为作 弊的。
