sitemap

网站地图之搜索引擎收录

Bob Jiang
网站地图之搜索引擎收录 无意中发现我的博客从2015年起,并不在谷歌搜索引擎的收录中。即你在谷歌是查不到我的博客内容的。 既然发现问题,就要定位问题出在哪儿,以及修复它。 定位问题 使用google search console,把网站加进去。 需要网站的DNS域名增加一条TXT记录,用来确认你是网站的站长。 确认后,检查网站链接的有效性。如下图,点击“网址检查” 输入你网站中的任何网址,如可以输入 bobjiang.com (BoB的博客) 检查报告如下: 我的博客还未完全恢复,显示Google仍未收录。 这里根据报告,就可以找到详细的问题描述,以及更多帮助信息。 我的网站提示为被 robots.txt 禁止抓取。 解决问题 既然被 robots.txt 禁止抓取,检查网站博客中的所有文件后未发现 robots.txt 。 咨询博客提供商(海波同学),发现有一处关键设置,即是否允许机器人设置为 yes。修改为 no 后即可。 为了更快恢复所有的抓取,需要生成网站地图。 这里有谷歌推荐的第三方网站地图生成工具列表[1]. 有5类: - 可部署的服务器端程序 - 内容管理系统(CMS)插件,如大名鼎鼎的 wordpress - 可下载的工具(如windows,Mac系统的) - 在线服务 - 自带网站地图的CMS系统 我选择了在线服务(不用部署、不用下载,但可能有一定的限制): XML sitemap generator 生成网站地图 填写对应的网站信息,如图: 点击按钮 Generate sitemap 生成后,点击下载 sitemap XML file 上传sitemap.xml文件到网站目录,如我的上传在网站根目录: https://bobjiang.com/sitemap.xml 返回 google search console 点击左侧导航栏的 索引 - 站点地图,结果如下图: