网站地图之搜索引擎收录
网站地图之搜索引擎收录
无意中发现我的博客从2015年起,并不在谷歌搜索引擎的收录中。即你在谷歌是查不到我的博客内容的。
既然发现问题,就要定位问题出在哪儿,以及修复它。
定位问题
使用google search console,把网站加进去。
需要网站的DNS域名增加一条TXT记录,用来确认你是网站的站长。
确认后,检查网站链接的有效性。如下图,点击“网址检查”
输入你网站中的任何网址,如可以输入 bobjiang.com
(BoB的博客)
检查报告如下:
我的博客还未完全恢复,显示Google仍未收录。
这里根据报告,就可以找到详细的问题描述,以及更多帮助信息。
我的网站提示为被 robots.txt
禁止抓取。
解决问题
既然被 robots.txt
禁止抓取,检查网站博客中的所有文件后未发现 robots.txt 。
咨询博客提供商(海波同学),发现有一处关键设置,即是否允许机器人设置为 yes。修改为 no 后即可。
为了更快恢复所有的抓取,需要生成网站地图。
这里有谷歌推荐的第三方网站地图生成工具列表[1].
有5类:
- 可部署的服务器端程序
- 内容管理系统(CMS)插件,如大名鼎鼎的 wordpress
- 可下载的工具(如windows,Mac系统的)
- 在线服务
- 自带网站地图的CMS系统
我选择了在线服务(不用部署、不用下载,但可能有一定的限制):
生成网站地图
填写对应的网站信息,如图:
点击按钮
Generate sitemap
生成后,点击下载 sitemap XML file
上传sitemap.xml文件到网站目录,如我的上传在网站根目录:
- 返回 google search console
- 点击左侧导航栏的
索引 - 站点地图
,结果如下图:
上图结果显示我的网站上次被谷歌收录的时间是2015年12月9日。
- 输入站点地图的网址,如 https://bobjiang.com/sitemap.xml
提示:可以用浏览器检测一下输入是否正确。
至此,问题修复。
大概需要等一段时间(最多48小时),等谷歌重新开始抓取。
参考资料
[1] 谷歌推荐的三方的网站地图生成器 [2] XML sitemap generator
思考
通过这次的问题,我发现博客还是要维护的,尤其是定期用搜索引擎自己检查一下。
每日问题
- 有没有什么事情对你很重要,但你并没有定期检查呢?
关于作者
BoB Jiang
- 中国北方的第一位CST(Certified Scrum Trainer)
- 敏捷变革中心(Center for Agile Transformation)合伙人
- Bob的博客、《Scrum精髓》译者
- 欢迎加入
自由职业者俱乐部
微信群,请加微信: - hiblocknet ; 添加微信后,发送消息
dream
版权声明
本文采用 CC BY-NC-SA 3.0 许可协议。
转载请注明出处!