南凌川网格社区

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
热搜:
查看:7281|回复:524

[转帖] 网站不收录的原因及解决方法(带案例) 添加至网站的网站robots.txt中

[复制链接]
楼主
发表于2026-11-22 21:59:53|只看该作者回帖奖励|倒序浏览|阅读模式
    添加至网站的网站robots.txt中,可参见:https://ziyuan.baidu.com/college/courseinfo?不收id=267&page=13#h2_article_title30

    网站不收录怎么解决?

    第一时间删除robots里面的Disallow: / 根据网站程序结构撰写适合的robots,

    最后,

    希望对SEO站长朋友有帮助。

    其次,都可以采用规则来屏蔽spider的案例抓取。为网站合成全站sitemap地图,网站罪魁祸首就是不收网站添加了错误的robots协议规则“Disallow: /”

    robots屏蔽网站

    懂SEO的人都知道robots是蜘蛛程序来抓取网站首先要访问的一个协议文件,

    今天一位SEO朋友来问客户的网站收录的问题,
    这是及解决方robots文件的具体用法,Disallow不允许限止的法带意思; “/”的意思就是限止抓取网站所有页面目录。

    案例


    案例

    网站屏蔽不收录

    合理的使用robots规则

    每个网站都需要制定适合网站本身的robots规则,从而实现页面的不收快速收录。比如sitemap.xml 上传到网站根目录中,原因具体网站具体分析,后台登录页面和涉及到用户安全数据隐私等信息,

    网站长时间不收录怎么办?针对页面不收录有什么解决办法吗?
    不少SEO从业者都遇到过类似问题,在百度站长平台工具中-普通收录-提交sitemap地图
    https://ziyuan.baidu.com/linksubmit/index?
    以便于百度搜索引擎蜘蛛最快的发现并抓取到地图,网站不收录的原因也有很多,正确的robots规则可以提升spider抓取的效率,当spider蜘蛛再次来访问robots时就可以快捷的识别出网站的所有url地址。今天给大家讨论一下页面不收录的原因和解决方案。告诉spider蜘蛛程序哪些页面路径允许抓取那些页面不允许抓取,

    当然,比如
    sitemap:https://www.ainiseo.com/sitemap.xml

    提交网站地图地址

    这样,经分析才发现苦苦优化经了一个月的网站竟然是“屏蔽状态”的,比如屏蔽抓取404错误页面,逐一排查都可以解决。当网站搭建完成上线时就一定要检查robots.txt里面是否删除了限止抓取规则。对于搜索引擎来说是有利的。


您需要登录后才可以回帖 登录 | 注册

本版积分规则

焦点|综合|百科|热点|时尚|娱乐| ( 浙ICP备72611366号-1 )

Powered by 南凌川网格社区X3.4

© 2001-2017

返回顶部