谷歌算法的前世今生

今天这节课，我们来讨论下谷歌算法的更新历程。请大家不要怀着看热闹的心态来了解谷歌算法的变迁史， 请试着和Biu叔一起去理解谷歌为什么那么做。我们试图站在谷歌的角度，去阐释这些算法有什么意义。你只有深入了解了算法更新的背后原因，你才可以更好地理解SEO战术的底层逻辑。SEO策略不会凭空而来，它都是围绕谷歌的运行机制和算法而设计的。只是有些已经被历史淘汰的东西却依然流行于国内网络，鱼目混珠，让人无所适从。尤其是一些相互矛盾的说法，如果没有一条时间线穿起来，不明真相的群众很容易就一团乱麻。我希望通过今天的教程，能够让大家理清思路，没有人希望做不明真相的群众。我希望各位同学的眼睛都是雪亮的。

我们先来了解下SEO的起源。

我们知道谷歌公司（Google Inc.）成立于1998年9月4日，但是Search Engine Optimization这个术语第一次出现是在1997年2月15日，由John Audette提出来，比谷歌的诞生时间还早了一年半。你以前是不是以为先有Google，后有SEO？今天发现自己错了，意外不意外？大家可以到SEL网站了解这段历史。

 

John Audette因为创造了Search Engine Optimization这个词组，已经载入了史册。可是这个词组却困扰了许多人。有些人认为SEO就是去优化搜索引擎，因为从字面上理解确实是这么个意思。这似乎成了一种玄学，你怎么去优化搜索引擎？事实是你优化不了搜索引擎，除了谷歌自己的工程师，没有外人可以优化它。你唯一可以优化的是自己网站，以及网站在整个互联网上的形象。You cannot optimize search engine, you can only optimize your own web presence。 Search Engine Optimization从诞生之初就是一个有歧义的概念，大家只是将错就错，才沿用了这一说法。如果你刚进入这个行业，厘清楚这个概念有助于你们揭开SEO的第一层神秘面纱。

 

与SEO这个概念紧密相关的是SEM，也就是大家常说的搜索引擎营销。现在行业内主流看法是把SEM偏向于Paid Search，也就是各种付费广告。但也有很多人模糊了两者之间的界限，他们认为SEO和SEM是和平共存的，没有太大区别。

 

现在我们来了解下SEO的发展史

~1999，SEO的野蛮生长时代

2000年以前，谷歌还不为人所知。那时候的搜索引擎是Alta Vista，Ask Jeeves, Excite, Infoseek, Lycos 和雅虎。那时候要获得网站排名，只需使用On Page技巧，主要就是编写在线文本和HTML标签。你如果想要为某一个关键词获得好的排名，只需要在网页上大量重复使用这个关键词即可。用我们今天的眼光来看，这对于用户的阅读体验肯定是不好的。谁也不希望看到满屏幕都是重复的词叠加在一起，但当时就是那么个情况。

 

1996年，斯坦福的两个学生决定改变这一现状。他们用校园内的服务器建立了一个名为Backrub的搜索引擎，首次引入外链来衡量搜索的相关性和流行度。他们的理论依据也很简单：一个外链就是一张投票，如果别的内容相关的网站能给你外链，意味着他们对你的信任与肯定。 你获得的外链越多，意味着越多人给你投票。说到这里，你大概就可以猜到，这两个学生一个叫做拉里·佩奇（Larry Page），另外一个叫做谢尔盖·布林（Sergey Brin）。Backrub就是谷歌的前世。经过测试，Backrub返回的搜索结果无论质量还是数量都远超当时的主流搜索引擎。只是这个时候，这两个毛头小子并没有多少人认识他们。

 

1997年，一个叫做丹尼·沙利文（Danny Sullivan）的男人建立了Search Engine Watch。

这是一个专门用来讨论搜索引擎行业动态的网站，它告诉普通用户如何去搜索网络，还告诉站长如何去获得更好排名。这位仁兄是位技术专家，同时还是一位记者。他即可以理解技术细节，还能说会道。丹尼·沙利文绘声绘色的写作风格很快吸引了无数拥趸，很快这里就成了讨论SEO的前沿阵地。

 

2000年对于谷歌公司和SEO行业来说，是一个非常特殊的年份。这一年发生了很多事情，影响深远。我们看看具体都有哪些。

 

2000年，雅虎是互联网巨头，有很多流量却缺乏搜索引擎技术。Google拥有很先进的技术，却寂寂无名。两者一拍即合，谷歌给雅虎的搜索引擎提供技术支援，条件是在搜索结果下面有一行字清晰地显示“Powered by Google”。使用了谷歌的技术以后，雅虎的搜索结果质量远超其他搜索引擎。很快，其他的搜索引擎都被打败了，雅虎一家独大，但同时谷歌也家喻户晓。

 

这个时候，其他的搜索引擎还在把站内因素当做排名的唯一考察因素，谷歌却使用了蜘蛛程序和Page Rank算法综合考量了站内和站外因素。这个时候，他们的逻辑很简单——如果站外有很多人在讨论你的网站，那说明你的网站是很重要的。

 

Search Engine Watch敏锐地发现了这一条秘诀并展开了相关讨论，很快外链对排名的影响就变得广为人知。SEO实践者们蜂拥而至，外链建设甚至成为了一个新兴行业养活了很多人。在接下来的十年内，外链建设就像一场赛跑。谁拥有的外链数量越多，谁就可以获得更好的谷歌排名。这个时候keyword stuffing, invisible text和 hidden links等技巧对于排名的影响是显而易见的。几乎任何人都可以看得出，外链建设和关键词堆砌已经被滥用了，谷歌必须采取点措施来改变局面。

 

还是在2000年，谷歌为IE浏览器发布了一个工具栏，人们通过这个工具栏可以清晰地看见网站的Page Rank值。PR值是谷歌对一个网站的打分，最低为0，最高为10。那个时候， PR值被看成一般等价物，可以用来衡量外链的价钱。外链建设者们在交易的时候，一定会把这当成最重要的指标。现在PR值已经成为历史了，取而代之的是Moz公司的Domain Authority值。

 

同年，谷歌引入了Adwords作为他们的收入来源。

 

还是2000年，一群站长齐聚伦敦的一家酒吧举行了一场非正式会议，分享SEO的有关经验。 这个非正式Hub Conference后来延续了下来，直到现在依然在运作，这就是业内鼎鼎大名的Pubcon大会。

 

2000以后，谷歌平静了一段时间。SEO实践者们每天发发外链就可以赚钱，日子过得很轻松。只是他们偶尔也会发现谷歌会在某个时间点更新索引数据，导致排名情况会有点浮动，他们把这个现象称之为谷歌跳舞（Google Dance）。听起来很舒服，毕竟日子过得还不错。只是他们没有想到，暴风雨之前的平静只是因为谷歌在蛰伏。 没有人会预料到风平浪静之下，谷歌在酝酿一阵飓风。以前美妙的舞蹈，也会变成一场恶魔之舞。

 

2003年11月1日，对于那些靠取巧获得排名的SEO从业者来说，是一个噩梦般的日子。美国的购物狂欢节即将来临，无数人期待着收割一波SEO红利。可是一夜之间，许许多多的网站都从谷歌搜索结果中消失了。这就像每年会肆虐佛罗里达的飓风一样，给大家留下了一地鸡毛。很快，谷歌的联合创始人在佛罗里达举办了一场Pubcon，正式宣布他们历史上第一个惩罚性的算法更新——史称佛罗里达更新（Florida Update），这一次更新的主要打击对象就是使用关键词堆砌（ keyword stuffing）的网站。如果某个关键词频繁出现在一个网页上，那么这个网页的排名就会消失。

 

但是2003年还发生了另外一件大事——谷歌公布了Adsense计划。这个计划是为了信息发布者准备的，那时候只要你拥有一个博客，插入一段代码就可以显示广告，广告内容与网站内容紧密相关。很快，这一消息就遍布了全世界。人们找到了一个轻松赚钱的机会，只要大量搭建网站，然后通过采集手段或者自动生成文章，采集的范围越广，可以显示的广告种类和数量就越多，收入也越可观。这种网站的存在意义就是获得排名，然后让人点击广告，最后就是收钱。由于操作简单，这类网站就像雨后春笋一样遍布神州大地，国内的站长们给它取了个响亮的名字——网赚。

 

2004年是平静的一年。这一年谷歌只公布了一个名为Brandy的算法更新，Latent Semantic Indexing和neighborhoods这两个概念开始广为人知。Latent Semantic Indexing强调的是近义词，比如automobile和car看起来拼写完全不同，但是谷歌已经可以明白这两个单词代表的是同一个意思。neighborhoods提出了“坏邻居”概念，也成为后来做SEO实战时候的考量因素之一。

 

同年，谷歌开始把搜索者的个人信息纳入排名考量，搜索者的个人搜索记录和兴趣爱好会在一定程度上影响他所看到的的排名结果。

 

2005年，由于外链建设对SEO的意义被广为人知，许多正规网站的站长开始变得犹豫不决。他们一方面需要给用户提供参考链接，另一方面又不愿意稀释自己的“链接汁（Link Juicy）”。链接汁有时候也叫Page Rank Juicy，意思就是说你给别人一个外链，你的一部分权重就传递到对方网站上去了。可是有时候，站长需要为用户提供第三方链接，以便他们可以获得更多有用的资讯。为了解决这个矛盾，谷歌公布了no follow标签。如果站长在外链中使用了no follow标签，网站用户依然可以通过这个链接访问别的网址，但是网站的“链接汁”不会传递到别的网站上去。nofollow完美地解决了这个矛盾，同时还衍生了一种SEO技巧——PageRank雕琢（PageRank sculpting）。我们有时候可以在一些SEO案例中看到这类现象，明明都是自己的内页，有一些是do follow，另外一些是no follow。为什么？就是为了不浪费“链接汁”。比如说网站内有一些页面我们需要让用户可以轻易找到，但是又不希望它占有网站的权重。最常见的就是contact us页面，你希望用户可以看到它，但是又明白这个页面不太可能获得谷歌排名。

 

2005年10月，由于交换链接（reciprocal links）的盛行，很多网站获得了不公平的排名。谷歌决定改变这一现象，于是发布了一个名为Jagger 的算法更新，严厉打击此类互换链接的行为。可惜国内现在还有很多人在福步论坛公开吆喝要和人互换链接，由此可见外贸人对此类信息的延时有多么严重。15年了，当年刚出生的娃娃都可以谈恋爱了。

 

同年12月，谷歌还发布了一个算法，用来规范网站的URL，介绍了301和302转向。这次更新不是惩罚性质的，主要关注的都是偏技术（technical）的参数。谷歌在内部讨论这个算法的时候，有一个名为Jeff Manson的成员突然提出他儿子最近给他取了个有趣的外号——Big Daddy。大家觉得这个外号不错，就把此次更新命名为Big Daddy更新。从此网址规范化(URL canonicalization)开始被SEO业界广泛认可， technical seo也第一次被纳入SEO实战的参考要素。可惜的是国内还有大量外贸网站使用不规范的网址，不能不说是一个悲哀。

 

2006年，谷歌收购了Youtube，发布了两个重要的产品Google Analytics和Webmaster Tools。 前者依然是现在最为流行的网站分析工具，后者就是Google Search Console的前身。同年，几大搜素引擎共同宣布，开始广泛支持xml地图。网站地图包含了一个网站的网址列表和更新时间，有利于搜索引擎蜘蛛程序更好地爬网。

 

2007年，由于视频网站的流行，谷歌的搜索结果页面不再是单一的10条网址和广告了。他们开始显示视频和图片，这是谷歌的Universal Search第一次公开面世。人们发现Universal在SEO实战中的意义，也注意到谷歌这么做是为了提高用户的体验，User Experience渐渐地进入SEO实战者视野。

 

2008年，网站数量经历了一个爆炸式的增长，其中包含了许多垃圾网站。Google的时任CEO说出了一句著名的话“The Internet Is Becoming a Cesspool.” 翻译过来就是互联网成了个粪坑。他认为众多垃圾网站混杂了大量不可信内容，提出“brands were the solution”，一个网站的品牌是可信度的标志。几个月以后，也就是2009年2月份，谷歌发布了一个名为“Vince”的算法更新，强调了brands和trust在排名中的作用。从此，brand building也成了白帽SEO的战略目标，人们也渐渐开始注意维护网站的可信度。

 

2009年，也是因为网站数量的爆炸式增长，谷歌的原有蜘蛛程序索引有点跟不上时代需求。为了能够更快更好地索引新出现的网页，谷歌发布了一个Caffeine算法更新。在这次更新中，谷歌明确要求站长提高网站的访问速度。也就是从这一次开始，site speed和index budget开始进入SEO实战者的视线，网站速度成为了广为人知的排名要素。

 

2009年，社交媒体开始发力，越来越多的公司开始在社交媒体上提高自己的品牌知名度和声望。有些SEO实战派认为Social Sharing有助于网站提高谷歌排名，但是谷歌多次对此予以否认。可惜谷歌的否认并没有得到业界的认同，大多数人还是在努力分享社交网站。虽然双方对此争论不休，但是有一点是比较认可的，那就是社交媒体的活动有利于提高一个品牌的search demand。而search demand又是brand building的重要组成部分，所以比较普遍的共识是社交媒体可以间接地影响网站的谷歌排名。

 

2010年，谷歌引入了Google Places（后来更名为Local Business Center），允许商家提交公司的营业时间等信息，方便本地搜索者找到最适合的本地服务。这衍生了一个名为Local SEO的分支。

 

同年，有一些专注于非常狭窄利基领域的薄内容网站发现他们的长尾关键词排名下降得很厉害。这类网站的特征是内容非常少，只有几个页面，关注点也比较明确，就是针对一小部分利基市场建立的。这个更新后来被谷歌官方承认，并且命名为May Day更新。很多人开始明白“薄内容”网站已经不合时宜。

 

也就是在这一年，谷歌公开宣布，一个网站如果有很多负面评论，那它的排名一定会降低。在那之前，SEO实战派并不会太在意他们的网站会给别人造成什么影响。有些人甚至认为，一个负面评价也可以带来一条链接。但是对于谷歌来说，被广泛批评的网站不太可能给搜索用户带来良好的体验，所以他们发布了“Negative Reviews 更新”专门来打击此类网站，迫使站长提高用户的使用体验。从此以后，Reputation Management也成为了一个SEO实战分支。

 

2011年，对于很多站长来说，又是一个噩梦般的一年。经过8年的发展，AdSense获得了非常大的市场份额。许多人靠此谋生，在那时候，“网赚”是许多中国人从事自由职业的不二选择。采集软件和伪原创软件在这一个历史时期风头强劲，有些采集网站甚至比原创者的排名更高。为了打击这种劣质内容网站，鼓励原创，谷歌发布了有史以来最严格的的一次算法更新——熊猫更新（Panda Update）。初始版本的熊猫更新打击的主要对象就是薄内容，剽窃内容的网站以及广告占比太过分的网站。值得注意的是，熊猫更新不是一次性的，到2015年7月份为止它总共更新了28次，直到2016年它合并到Core Update之中去了。熊猫更新考察的对象就是网站的内容，但是每一次更新的具体对象会有细微区别，碍于篇幅我们不太方便在这里一次性讲太多，以后开单章来仔细解析这个算法的考察对象，避免大家踩雷。彻底搞明白熊猫更新的考察对象，我们才可以搞明白什么样的内容是优质内容。

 

熊猫更新对SEO业界的影响是翻天覆地的，也就是从这开始，Backlink is the King变成了Content is the King。内容营销开始成为SEO的主流。

 

2012年，又是一个里程碑式的一年。在这之前，做外链相对而言是比较安全的。Link Building是一门很吃香的营生。但是这一年谷歌发布了一个著名的企鹅更新（Penguin Update），并在随后的4年中发布了数十次不同的版本，基本上可以说是360度无死角打击人为操控的外链。 同样的，这个算法更新后来也合并到Core Update之中去了。这个算法更新太复杂，我们以后必须开单章才能够把它讲透。搞明白企鹅更新的具体内容，你将可以真正明白，什么样的外链才是优质外链。

 

熊猫更新和企鹅更新合并到一起，被认为是打击过度优化的利器。从此以后，靠作弊获取排名的黑帽SEO技巧基本上丧失了生存的土壤。白帽SEO成为了时代的主流。

 

2012年还有个重要的变化就是谷歌开始在SERP中引入Knowledge Graph, 这个我们会在讲谷歌搜索结果页面特色的时候专门讨论。

 

2013年，谷歌发布了一个名为蜂鸟更新（Hummingbird）的新算法。这个算法不是惩罚性质的，但是它对排名的影响也是非常显著的。蜂鸟算法主要是帮助搜索引擎更好地理解人类的自然语言，以及会话搜索。谷歌发布这个算法主要是因为这个时期使用智能手机上网的人越来越多了。以前，人们坐在电脑前找信息，会输入关键词查找。但是从这时候起，更多人的人用智能手机通过语音识别的方式开始查找。比如我们现在经常进行的人机对话“xxx, 去xxx怎么走？”，或者“xxx, 哪里有好吃的xxx？”越来越多的人开始使用具体的疑问句来搜索网络，这在以前是无法找到满意答案的。但是自从蜂鸟更新以来，人们发现几乎任何问题都可以找到满意的答案。问答式内容营销策略也差不多是这时候开始被广泛使用（之前也有，但是没这么高使用率）。

 

2015年，对于整个互联网来说都是一个值得纪念的年份。在这一年，使用移动设备上网的人数已经超过了使用电脑上网的人数。这一年，也被称为是Year of Mobile。为了迎合这一趋势，谷歌发布了一个Mobile-friendly 算法，也就是说你的网站必须要对移动设备友好，才有可能获得好的排名。也就是在这一年，所有的SEO实战技术里面都包含了responsive design这一项内容。Responsive Design也就是我们平常说的“响应式网页设计”。2016年谷歌引入了AMP的概念，2018年mobile-first index也是迫使网站对移动设备友好的强制性措施。遗憾的是，现在国内还有很多网站对移动设备是不友好的，大家不妨通过这篇教程介绍的方法测试下自己的网站效果如何。

 

2016年，谷歌进入了新的纪元。因为这一年谷歌发布了Rank Brain算法，人工智能开始接管排名算法的指挥棒。谷歌变得原来越聪明，它不但可以从搜索词中判断你的搜索意图是什么，还知道该以什么样的方式呈现你所希望找到的内容。哪怕这个搜索词是你临时杜撰的，它都有可能为你找到匹配的答案。谷歌就像科幻电影里面的主控系统，你在做什么，你在想什么，它都可能知道得一清二楚。

 

OK，今天的课程到此结束。Biu叔花了很多篇幅介绍了搜索引擎算法在这二十多年里面的变迁，但这只是一些影响比较大的算法，还有许多算法我们限于篇幅没有详细说明。Biu叔讲这么多，就是希望大家明白，所谓的SEO战略和战术，都是具有时代背景的，他们都是为了迎合谷歌的某次算法更新来设计的。过时的SEO技术不但无益，反而有害。谷歌的算法不断更新，也是为了迎合时代的潮流。不同年代的搜索者有不一样的需求，谷歌为了更好地满足用户需求的变化，会开发出更先进的算法，来为他们提供最优质的的内容和呈现方式。作为一个普通的网站管理者，我们可能无法追踪每一个算法的具体内容，但是有一点我们在做SEO的时候是必须牢记在心的：你现在所做的事情对搜索者有什么意义？你能够从哪些方面帮助用户满足自己的搜索意图？

 

Biu叔希望大家读完这篇文章，能够提高对各种SEO技术的辨别能力。黑帽不可取，白帽亦难求。为了方便大家更好的实战，我们也在准备自己的排名要素检查清单。我会逐条检查谷歌这20多年来的算法更新，找出有可能影响网站排名的检查要素。这是我们做整站优化的终极利器，也是抱紧谷歌大腿的不二法门。立足过去，着眼未来，国内许多SEO从业者还在介绍过时的技巧，不管他们是有心还是无意，但就是他们造成了现在信息混乱的不良局面，把SEO行业变成了掺杂很多老鼠屎的米粥。这是行业的悲哀，也是大家共同的悲哀。秦人不暇自哀，而后人哀之；后人哀之而不鉴之，亦使后人而复哀后人也。