请选择 进入手机版 | 继续访问电脑版
在河科技 首页 最新资讯

robost怎么设置?DZ论坛与织梦的robost文件设置示例

收藏 邀请
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。今天小编就来叫大家设置dz论坛程序和织梦的robost设置方法

dz论坛程序robost设置示例:dz论坛.txt


织梦程序robost设置示例:织梦程序.txt


大家可能有个疑问,如果我的网站中并没有希望被屏蔽掉的部分,也要做个robots文件吗?答案是可以不用设置,robots的作用仅限于禁止搜索引擎抓取你认为属于隐私或者不想让搜索引擎抓取的文件或目录,一般封禁的是后台路径等一些私密文件或路径,如果没有你觉得禁止抓取的,可以不用设置!
免费获取方案

微信二维码

关注官方公众号

在河网络微信公众号二维码

云南在河网络科技有限公司版权所有!--© 2018-2023 ( 滇ICP备18001331号-1 )网站搭建|SEO优化|自媒体运营|720全景