一、robots.txt是什么？3、禁止抓取/abc/目录下的所有以.htm”为后缀的URL（包含子目录）9、禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）10、允许某个搜索引擎的访问（比...

佚名 2024-05-02 95次浏览

2.无法利用robots禁止搜索引擎收录某个二级域名的，最好的方法就是301，对于有用的页面将所有的二级目录类域名重定向，无用的就直接删除。4.个判断程序，让要屏蔽的二级域名下面有一个robots.t...

佚名 2024-04-24 146次浏览