
robots.txt文件生成器
-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
文言文解释工具
将看不懂的文言文解释为现在语言
营销头脑风暴
利用AI帮您生成好的理想的Idea。
目标用户群分析
通过此工具,您可以更深入地了解您的产品或服务的潜在用户,从而更精准地制定营销策略。
专利小助手
帮您生成专利文案
在线八字转日期工具
在线将生辰八字转为日期
墙砖用量计算器
帮助您快速、精准地计算所需的墙砖数量
在线椭圆面积计算器
在线计算椭圆面积的小工具
功率计算器
功率单位在线转换工具
热量换算器
热量在线换算工具
在线抛硬币
面临艰难的选择,我们在抛硬币!
高考倒计时
距离高考还有多少天
在线htaccess转nginx工具
在线Apache .htaccess文件转换为Nginx服务器配置文件
图片写入EXIF信息
在线批量向图片中写入EXIF信息
在线记分板
在线比赛记分板,可加减比赛积分显示
老黄历
在线老黄历查询
久坐提醒
网页版在线久坐提醒小工具
PDF文件设置元数据
在线对PDF文件设置自定义元数据
PDF文件提取单页
在线提取PDF文件的单页为单个PDF文件
有氧运动(燃脂)心率计算器
计算有氧运动(燃脂)最佳心率
SHA加密
文本内容在线SHA加密处理工具
特殊符号大全
一些常用的可打印的特殊符号
Unicode编码/解码
一款免费在线的Unicode解码/编码工具
摄像头测试
在线手机/电脑摄像头测试工具
正则表达式大全
常用正则表达式大全