遇到这个问题，该怎么解决呢。允许搜索引擎访问，限制web、手机浏览器访问

kuotian

手头在做一个项目，需要实现一个功能，web服务器是nginx。
具体要实现的功能是：
1.用户web、手机浏览器访问 www.xxx.com/f.php这个文件的时候，自动把用户引导到www.xxx.com/t/f.php这个页面，而不是让用户可以访问www.xxx.com/f.php页面。
这个我在nginx中用rewrite实现了
      if (-f $request_filename/f.php)
        {
        rewrite (.*) $1/t/f.php last;
        }
2.第二个问题就是我遇到的问题了。
要如何让搜索引擎可以访问到www.xxx.com/f.php这个页面，而不是去爬www.xxx.com/t/f.php页面。
user-agent这方面要怎么设置呢，还是要怎么解决呢。请高手们帮忙解决下。谢谢

webdna

robots.txt

kuhanzhu

1、robots.txt
2、记录信息：<?php
$spider=date("m-d H:i:s",$temp_time)."——".$IP.'——'.$_SERVER["PHP_SELF"]."——".$_SERVER["HTTP_USER_AGENT"].CHR(10);

$fh=fopen('spider.log',"at");
fwrite($fh,$spider);
fclose($fh);
?>
，过段时间后打开spider.log就可以找到规律操作了。
不过，貌似nginx规则比php处理的优先。所以你的第1条应该删了，直接在php文件里来判断转向。都在nginx规则上写，感觉还不如在php上处理。让nginx专注处理php比较好。

kuotian

3楼的是记录搜索引擎访问记录，还是没实现某页面只能让搜索引擎访问的功能。。
请问要如何让搜索引擎可以访问到www.xxx.com/f.php这个页面，而不是去爬www.xxx.com/t/f.php页面。
user-agent这方面要怎么设置呢，还是要怎么解决呢