全球主机交流论坛

标题: 怎样禁止所有搜索引擎收录所有页面 [打印本页]

作者: 会翻车吗 时间: 2019-4-1 18:31
标题: 怎样禁止所有搜索引擎收录所有页面
robots.txt应该怎么写，求教~~~

作者: 学到了么 时间: 2019-4-1 18:31
**********************

作者: 小混混 时间: 2019-4-1 18:35
User-agent:*　　Disallow:/*

作者: robot 时间: 2019-4-1 18:37
拦截所有的机器人：

User-agent: *
Disallow: /

无视robots.txt的爬虫例外

作者: hxuf 时间: 2019-4-1 18:39
禁止不了 Nginx里阻止bot访问即可。

作者: 虚心学习 时间: 2019-4-1 19:23
提示: 作者被禁止或删除内容自动屏蔽

作者: baymin 时间: 2019-4-1 19:49
站长工具

欢迎光临全球主机交流论坛 (https://loc.mjj8.eu.org/)