如果一个页面没有被谷歌收录，它是不可能收到任何有机流量。
收录实际上是谷歌排名过程中的第二步。

1.爬取

2.索引

3.排名

本文我们将帮你解决三个问题：

1.如何判断你的网页是否收录

2.有些页面收录了，但有些页面没收录

3.新发布的页面索引不够快

SEO基础策略
如果你还是SEO新手，可以了解埃克森数字营销的SEO基础策略（包括基础SEO知识，概念，和排名原理）

一、什么是爬取和索引？
谷歌通过爬取网页来发现新页面，然后将这些页面天教导他们的索引。他们通过谷歌蜘蛛来完成这项工作。
我们先来搞清几个概念：

l 爬取：在网上跟随超链接以发现新内容的过程。

l 索引：将发现的网页存入大数据库的过程。

l 网页蜘蛛：一个设计用来执行大规模爬取网页的软件。

l Googlebot：谷歌的网页蜘蛛。

当你用谷歌搜索某些东西时，你是在要求谷歌返回其索引中的所有相关页面。
因为通常有数以百万计的页面符合要求，谷歌的排名算法尽最大努力对页面进行排序，以便你首先看到最佳和最相关的结果。
我在这里提出的关键点是，索引和排名是两个不同的东西。
索引是参加比赛; 而排名是胜利。
如果你一开始就没能现在比赛中，你就不可能赢。

二、如何检查你的页面是否被谷歌索引和收录？
第一步是了解你网站的收录率是多少。

收录率=谷歌收录的页面总数/你网站的总页面

你可以在谷歌搜索控制台中的“覆盖率”报告中查阅你的网站有多少页面被收录。

如果你看到有错误提示或者未收录的页面：

l 你的网站地图中可能有非收录URL(即，页面设置了禁止索引/noindex,robots.txt中阻止收录，或者需要用户登录的页面）

l 你的网站中可能有大量的低质量或重复页面，谷歌认为不值得收录。

你可以深入研究下面报告中的细节(这是 Google 最新搜索控制台中一个非常棒的新功能)。

当然还有一个比较简单的办法查询你的网页是否被谷歌收录：
即使用site:http://yourwebsite.com 命令。

谷歌会呈现出你的网站有多少页面被收录，有详细的页面收录数字。
当然你还可以使用site命令查询你网站中某一特网页的收录情况。
例如：site:yourwebsite/page1/

如果谷歌呈现结果说明该页面已收录。
否则即代表该页面未被谷歌收录。
你可以到谷歌搜索控制台（GSC）中的“检查网页”或“覆盖率报告”中查询未收录的原因。

三、网页一般需要多久被谷歌索引和收录
一般来讲收录的时间从几天到数周。
通过埃克森数字营销的实践发现，我们最快的收录用了10个小时左右。一般是晚上发布的一篇文章第二天早上便已收录。
当然确实也遇到过数周时间未收录的情况。
这也是我们要学习本文的一个初衷，了解如何快速收录我们的网页。

四、让网页快速被收录的最佳实践
你的网站需要提供正确的体验，以获得谷歌的关注。
如果你的网站在信任、权威和质量方面不符合谷歌的指导方针，那么下面这些建议很可能对你不起作用。
如果排除以上的因素，你可以使用下面这些策略来提高你网站的索引率。
1. 使用GSC的“网址检查”
谷歌搜索控制台有一个功能叫做“网址检查”。

在这里你可以输入页面网址，可以查看网页收录情况。（如上图所示）

如果收录情况显示网页未收录状态，你可以点击“请求编入索引”，来请求谷歌索引你的页面。

当然你还可以点击“测试实际网址”，来查看谷歌未收录该页面的原因。
针对谷歌提示的未收录的原因对页面进行修正，然后谷歌才会索引该页面。
如果发现页面已经收录，恭喜你，可以继续查询下一个页面。
当然“请求编入索引”并不总能解决索引问题，所以你还需要继续了解下面的方法。

2.使用内部链接
搜索引擎通过HTML链接从一个页面爬到另一个页面。

可以在你的网站上使用权重网页通过内部链接的形式向其他页面传输权重。
如何找到你网站中的权重页面呢？
我喜欢使用 Ahrefs 的“best pages by links”报告。

这份报告告诉你，你的网站上权重最高的页面-可以简单地在这个页面添加一个内部链接，连接到到那些需要权重的页面。

需要注意的是，这两个相互链接的网页需要相关。
相关学习
内部链接指南
网站架构: 如何用较少链接的SEO筒仓架构击败高权重网站
网站结构指南

3.从谷歌的索引中屏蔽低质量页面
虽然内容是高质量网站的基石，但错误的内容可能会导致你的失败。
太多低质量的页面会减少谷歌搜索、索引和排名的次数。
出于这个原因，你需要定期的删除网站中的垃圾页面。
对这些没有价值的页面应该:

l 设置Noindex。针对某页面仍然对受众有一定价值，但对搜索引擎没有价值(比如，感谢页，付费登陆页，等)。

l 通过 Robots.txt 阻止抓取。针对一系列页面对受众有价值，但对搜索引擎并没有价值(例如，归档，新闻稿)。

l 301跳转。针对页面对你的受众和搜索引擎都没有价值，但是该页面有流量或者链接(比如那些有链接的老旧博客文章)。

l 删除页面(404)。针对页面对受众和搜索引擎都没有价值，并且没有流量和链接。

4.将页面包含在网站地图中（xml）

你的网站地图是一个导航，帮助搜索引擎了解你网站上哪些页面是重要的。

在你的网站地图中包含页面并不能保证索引，但是没有包含重要的页面会减少索引。

如果你的网站是在 WordPress 上运行的，那么使用插件(我喜欢用Yoast)来设置和提交网站地图是非常容易的。

一旦你的网站地图构建完成并提交到 GSC，你可以在 Sitemaps 报告中查看。

网站地图指南
帮你了解什么是网站地图，以及如何建立网站地图。

5.在推特其他社交网站上分享页面
Twitter 和很多社交网站（facebook）都是一些强大的网络，谷歌定期搜索(他们也索引 Tweets和社交平台中分享的内容)。
在社交媒体上分享你的内容是一件很容易的事情，但是这也是一个推动谷歌收录你页面的简单方法。

6.在高流量网站分享页面
像 Reddit 和 Quora 这样的网站是允许你放置链接的热门网站。
很多SEO专业人员将在 Quora 上推广最近发表的网页作为一种常规做法——它有助于索引，但也可以带来大量流量。

7.为你的网页建立外部链接
正如前面提到的，Google 通过 HTML 链接从一个页面爬到另一个页面。
让其他网站链接到你的网站不仅是一个巨大的排名因素，而且是提高你网站索引的好办法。
获得链接最容易的途径有：

l 客座博客，在权威网站发布相关话题的客座博客。

l 联系相关博主或媒体网站，向他们推销内容并提出广告要求。

这是非常简单的-你可以查阅埃克森数字营销的外链指南以获取更多外链。或者查看下面的链接建设策略，系统的了解获取外链的更多方法。

链接建设策略

8.“Ping”你的网页
像 Ping-O-Matic 这样的网站会发送“ ping”到搜索引擎，通知他们你的博客已经更新。

9.在你的robots.txt文件中删除阻止爬取的设置
谷歌没有索引你的整个网站吗？
这可能是由于在 robots.txt 文件中有一个阻止爬取的设置。
打开页面：http://yourdomain.com/robots.tx, 检查你的robots.txt设置。
查看是否有这样的代码段：
User-agent: Googlebot Disallow: /
User-agent: * Disallow: /
这两行代码段的意思是告诉谷歌蜘蛛，他们不被允许爬取任何你网站的页面。
想要解决这个问题，很简单，删除他们即可。
重新检查 robots.txt 文件中有关的任何“disallow”规则。
如果disallow的内容中包含了你想索引的页面，则需要把这个disallow删除掉。

查看埃克森数字营销编写的robots.txt指南，了解更多关于robots.txt内容。

robots.txt指南
涵盖了你需要知道的关于 Robots.txt 的全部内容。

10.去掉需要索引页面的Noindex标签
如果你给页面设置了Noindex标签，相当于告诉谷歌不要索引这个页面。这对一些隐私页面是很有必要的。
但如果你需要页面被索引，那么就要把这类标签取消。方法如下：

l 运行ahrefs的站点审核，在索引报告中查询“noindex page”警示。

l 到相应的页面中删除掉noindex标签即可。

11.去掉canonical 标签
canonical 标签告诉 Google 哪个是首选的页面版本，它看起来像这样:
<link rel="canonical” href=https://www.google-alibaba.com/google/"/page.html/">

如果你的页面有一个Canonical标签，那么它会告诉 Google 这个页面并不存在。
这种情况下，你的页面将不会被索引。
如何知道你的页面中有没有canonical标签呢？
可以使用GSC的“网址检查”工具。
如果canonical 标签指向另一个页面，你将看到“ Alternate page with canonical tag” 警告。

如果你想让谷歌索引和收录这个页面，只需要去除canonical标签即可。

注意：大多数带有canonical标签的页面都有它们的原因。
如果你看到某页面有canonical标签设置，那么请检查该页面。
如果这确实是页面的首选版本，并且也不需要索引正在讨论的页面，那么 canonical 标记应该保留。
所以去除canonical标签，应该谨慎，只针对那些误操作，且需要索引的页面去除canonical标签。

12.检查页面是否是孤页
孤页是指那些没有内部链接指向的页面。
因为谷歌通过页面中的内部链接发现新内容，所以他们不能通过这个过程发现这些孤页。
访客也无法访问这些孤页。
如何发现网站中的孤页呢？
可以使用ahref网站审核中的链接报告，里面会有孤页提示。
如何修复孤页有两个办法：

l 如果该页面不重要，删除并从你的网站地图中取消。

l 如果页面重要，只需要在其他网页中添加链接到该页面的内部链接。

13.修复内部链接中的“nofollow”
Nofollow链接是指带有rel=”nofollow”标签的链接。
他们可以避免传输网页的链接权重。
谷歌也不会爬取nofollow链接。
对此，谷歌是这样说的：

从本质上讲，使用 nofollow 会导致我们将目标链接页面从索引中删除。
然而，如果其他网站链接到目标页面且不使用 nofollow，或者如果网站地图中的 url 被提交给 Google，那么目标页面仍然可能出现在我们的索引中。

因此对于你自己网站中的内部链接，要确保所有这些内部链接都是follow链接。
所以，如果你想网页被谷歌索引，请将链接到目标页面的内部链接中的nofollow标签删除掉。

14.确保页面的价值和独特性
谷歌不会索引低质量页面，因为这些页面对于谷歌的用户并没有价值。
谷歌的John Muller在2018年关于索引是这样说的：

我们从不索引所有已知的 url，这很正常。我会专注于让网站变得很棒和鼓舞人心，然后事情通常会变得更好。

他暗示，如果你想让谷歌索引你的网站或网页，需要让你的网站很棒和鼓舞人心。
所以如果你发现某些页面未被收录，排除了索引的技术问题，那么缺乏价值可能是罪魁祸首。
那么如何让你的网页具备价值和独特性？
简单回答就是：创建高质量内容。

15.避免重复路内容
谷歌同样不会索引重复内容或接近重复的内容。
所以，如果你的网页内容是复制的别人的内容，不被收录也是正常的。
相关学习：重复内容指南

重复内容指南
什么是重复内容？ 为什么它不利于SEO？ 你将在本篇内容中了解所有关于重复内容。

16.设置你的首选域名
为了建立索引，最简单的方法之一就是设置您的首选域名。
用户可以通过输入你的域名到达你的网站，无论前面是否有 WWW。
这看起来似乎不是什么问题—-但是谷歌将你的域名的 WWW 和无 WWW 版本视为不同的两个网站。
如果你不告诉谷歌这些都是你的网站(以及你首选哪一个) ，它可能会在不同的 url 下索引相同的内容。
这可能会产生重复内容的问题，但是很容易避免这样的问题。
设置一个首选域名可以告诉 Google 你更倾向哪个版本，并确保所有页面都在正确的位置进行了索引。
以下是操作步骤：

l 首先，加域名的所有版本。如果你启用了 HTTPS，请确保同时添加 WWW 和非 WWW 版本，以及两者的 HTTP 和 HTTPS 版本。
这意味着许多网站所有者最终在一个网站上拥有四个版本:
http://www.yourdomain.com
https://www.yourdomain.com
http://yourdomain.com
https://yourdomain.com

l 在wordpress后台的设置中选择“常规”，在wordpress地址和站点地址中输入你倾向的网址。

l 然后通过服务器或者really simple ssl插件设置强制跳转ssl网址。

17.在谷歌搜索控制台中提交网站地图。
这相当于让 Google 知道你想要索引的所有页面，并且可以帮助他们的爬虫找到最重要的页面。

18.改善网页的用户体验
用户体验包括：停留时间、跳出率、pogosticking、点击率、核心网页指标、以及搜索意图等因素。
这是一个曲线救国的方案。
因为用户体验不直接决定网页收录。
但是一个很棒的用户体验会大大增加人们分享和链接到你网页的机会，而页面的分享和链接会帮助网页被迅速收录。

用户体验
一个涵盖所有用户体验因素的资源库。

19.有规律的发布内容
谷歌喜欢不断更新的网站，例如你的网站固定频率每个月都有五篇文章发布。
时间久了之后，谷歌也会提升来抓取你网页的频率，从而使你的网页更快的被索引和收录。

20.使用谷歌API插件让页面快速收录
插件：Google’s Indexing API
主要针对wordpress网站，安装插件后可以让谷歌快速收网页。
原理类似打通谷歌收录的一个集成软件，让你不需要出站，便可实现通知谷歌快速收录页面。
具体操作，可以参考这篇指南文章。

21.确保网页手机端友好设计
谷歌已经声名手机端优先索引。
所以一定要确保你的页面是手机端友好。
可以使用谷歌手机端友好测试工具来测试你的页面是否手机端友好。

如果不是，则需要根据工具的提示，对你的页面做出响应的修复。
这样才能保障你的网页被尽快索引。
关于索引和收录有一个概念你要清楚：
索引不等于排名
你的网站或网页被谷歌收录并不意味着它会得到排名或流量。
这是两个不同的概念。
索引只是代表谷歌已经知道你的网站。
并不代表谷歌会为你的网站就相关查询和搜索进行排名。
因此，要想为你的页面获得排名，你还需要针对特定的查询对你的网页进行优化，这就是SEO发挥作用的地方。
这里会涉及：

l 发现受众搜索的内容

l 围绕话题创建内容

l 针对目标关键词优化页面

l 建立外部链接

l 定期更新内容

总结
网页未被索引和收录一般有两个主要原因：

l 技术端问题阻碍了搜索引擎索引页面

l 搜索引擎认为你的页面或网站是低质量没有价值

这两个问题也可能同时存在。
一般技术端问题导致网页不收录的情况偏多。
通过上面的方案，基本上可以解决你网页收录的问题。