搜索网站排名（一个众所周知的秘密）

编辑导语：谷歌被公认为全球最大的搜索引擎，然而最近有很多人说谷歌变得不会搜索了，我们应该怎么去看待这个问题呢？本篇文章据此展开了一系列详细的讲述，欢迎感兴趣的小伙伴们一起阅读分享~谷歌搜索是全世界最大的搜索引擎。它之所以是最大的，曾经是因为它提供的搜索结果最准确。这个“最大”每年为搜索巨头赚取了上千亿美元的广告收入，而这些广告收入反过来又慢慢毒化了搜索结果的页面。大家说，谷歌搜索变了，变得势利了，变得不会做搜索了，说谷歌搜索已死，或者正在死去。我们到底该怎么看呢？文章来自编译。划重点：谷歌搜索，这个被许多人认为现代生活不可或缺的工具，要么已经死了，要么正在死去最优秀的搜索者知道怎么绕开谷歌搜索的结果这家科技公司的大多数产品都是其广告业务的特洛伊木马，而搜索是这一切的开端来自 Facebook 和亚马逊的竞争以及隐私保护法的实施是谷歌搜索变了的原因之一谷歌也许开始会表现得更像一个人——一个有自己想法和流程的看门人一、谷歌搜索已死？几周前，我的房子出现了化粪池危机，是，确实与听上去的一样讨厌。当难以名状的东西开始从浴室地漏反渗上来时，我做了任何一位有智能手机依赖症的人都会做的事情：我疯狂地在谷歌上输入类似“地漏漏出便便来了我该怎么办”这样的话。结果返回的都是一个模子的网站，其中大部分看起来都是草草生成的，一堆的热词铺天盖地地袭来，几乎都没法看。我找到的所有东西几乎都毫无帮助，于是我做了一件显得很老派的事情——打电话给专业人士。紧急情况最终被解决了，但那些平庸的搜索结果令我久久不能忘怀，我在想，这就是互联网荒地已经僵尸化的体现。像许多人一样，当日常生活中遇到问题时，我大部分时候都是找谷歌要答案的。可是，最近感觉搜索结果的第一页出现令人满意的答案的情况越来越少了。不是只有我一个人有这种感觉。这种挫败感已经成为一种持久的迷因：谷歌搜索，这个被许多人认为现代生活不可或缺的工具，要么已经死了，要么正在死去。在过去几年里，在各种论坛和社交媒体平台上，人们一直在热门帖子里面声称谷歌的这款旗舰产品已经坏掉了。如果在 Twitter 或 Reddit 上搜索“google dying”的话，你可以看到人们对它的抱怨可以追溯到 2010 年代中期。不过，最近批评的声音已经越来越大。今年 2 月，有个叫做 Dmitri Brereton 的工程师写了一篇博客，说谷歌搜索引擎已经没落了，并总结了之所以说这款产品的“搜索结果一塌糊涂”的主要理论。这篇帖子很快在 Hacker News 等科技论坛上面登上了榜首， Twitter 上面到处都转发了这篇文章，甚至谷歌搜索负责对外关系的 Danny Sullivan 都出来做出公关回应，驳斥了 Brereton 的其中一个说法。Sullivan 在推文中说到：“你在帖子里面说查询关键字加引号得到的不是完全匹配的结果。不对，结果是完全匹配的。”关于 Google 搜索要灭亡，Brereton 最有趣的一个论点是，那些精明的用户不再直接在搜索栏输入关键字然后按回车了。最优秀的搜索者，那些寻找可操作的信息，或者小众信息、产品评论以及有趣讨论的人，他们知道有个作弊码，他们知道用这个作弊码就可以绕开占据屏幕前三分之一的那些企业搜索结果的海洋。Breret 指出：“这个 web 的大部分已经变得太不可靠，无法信任，”因此“我们求助于使用谷歌，并在查询的末尾附加了‘reddit’这个词。” Brereton 引用了谷歌趋势的数据。这些数据表明，人们在谷歌上搜索 reddit 的次数比以往任何时候都多。那些聪明的搜索者，他们不会点开那些长文，去看评论或找诀窍，因为那里充斥着弹出广告，以及隔三岔五就会植入的与内容明显不一致的 SEO，他们会寻找真正的人，与对方辩论和互动，从而拿到活生生的线索。大多数用 Reddit 来找东西的人之所以这样做是出于实际的原因，但这也是一种小小的抗议行为，对搜索引擎优化以及在线广告产业综合体的抗议，也是接触感觉更自由更人性化的另一部分互联网的尝试。谷歌开发出了非常成功的移动操作系统，绘制了世界地图，改变了我们发送电子邮件和存储照片的方式，并尝试制造自动驾驶汽车，这些都取得了不同程度的成功。比方说，这篇文章的研究，部分就要靠谷歌：无数次的搜索，部分用谷歌浏览器浏览，写作是用 Google Doc，提交给编辑用的是 Gmail。在此过程中，这家公司收集了数十亿人的海量数据（往往是在他们不知道的情况下）——但谷歌的母公司 Alphabet 收入主要仍然是靠广告业务。2020 年，该公司仅靠广告就获得了 1470 亿美元的收入，约占其总收入的 80%。这家科技公司的大多数产品——包括 Maps、Gmail 在内——都是其庞大的个性化广告业务的特洛伊木马，而搜索是这一切的开端。这就是是技术评论家肖沙娜·朱伯夫（Shoshana Zuboff）所谓的“监视资本主义”的现代模板。互联网指数式地增长，谷歌也随之扩张，并且引狼入室，把一些最贪婪、最具榨取性的趋势引入到 web 上。但规模对科技产品来说未必总是福祉。我们只能束手无策，还是谷歌会成为自身成功的受害者，导致它的旗舰产品搜索变得不那么有用？二、谷歌变了1997 年，谷歌搜索刚推出那时，可以说它改变了人们使用互联网的方式，这一点怎么强调都不为过。在 Google 提出要抓取整个 web，去组织全球信息的目标之前，搜索引擎充其量只能说是有那么一点用处。可是，在早期，搜索的竞争要比现在激烈得多。雅虎、 Altavista 以及 Lycos 是网上颇受欢迎的搜索目的地。但谷歌的“PageRank”排名算法帮助解决了这个问题。这个算法会计算指向特定网站的链接的数量和质量，并进行索引。PageRank 认为，最好的结果不应该使用简单的关键字匹配，而应该是被许多其他的高质量网站链接到的网站。结果这个算法成功了，在 1990 年代后期，谷歌看起来几乎像会魔术一样：你输入你要找的东西，你得到的东西不仅是相关的而且非常直观。仿佛机器懂你一般。大多数人不需要上历史课就知道谷歌已经改变了。他们已经感觉到了。试着在智能手机上搜索产品，你会发现一度代表“赞助链接”的小青色块，现在变成了难以解读的多方滚动条，里面充斥了轮播的付费产品，多条付费链接广告，以及可怕的、由算法生成的“大家还搜过”（People also ask）搜索框，然后是又一个付费轮播，赞助的“购买指南”，还有一个地图小部件，上面显示你所在位置附近买东西的商店。只有在滚动浏览了这些，翻过几个屏幕的长度后，才会找到未付费的搜索结果。就像 2022 年大部分的互联网一样，让人感觉谷歌已经被货币化到了极致，仿佛没有灵魂的行尸走肉，令人筋疲力尽。我以报道谷歌为生，所以我显然知道他的结果页面多年来是如何演变的。今天，当我在手机上为父亲搜索“助听器”时，我被搜索结果的广告数量与非链接结果给惊呆了。这实在是一幅令人震惊的画面。关于那些总是很烦人的广告，有各种各样的理论。一说是由于 Facebook 和亚马逊的竞争（作为回应，谷歌今年推出了更大的商业搜索广告小部件）以及付费搜索业务出现放缓，谷歌向广告商收取的按点击付费的费率开始有所下降。另一个问题可能是因为欧洲出台了通用数据保护条例（GDPR），以及加州消费者的隐私法（California Consumer Privacy Act）等隐私法率的实施，作为响应，谷歌对 cookie 跟踪做出了变更。在过去两年的时间里，谷歌一直计划从自己的 Chrome 浏览器删除第三方 cookie。尽管谷歌搜索不会受到 cookie 禁令的影响，但搜索广告的过剩可能是为了部分弥补谷歌对 Chrome 做出改变造成的损失。如果是这样的话，这就是在解决一个问题的同时制造另一个问题的示例。但是，当我向谷歌提出这个说法时，该公司毫不含糊地表示， Chrome 计划逐步取消对第三方 cookie 的支持与搜索广告之间“没有任何联系”。该公司还表示，它在搜索结果中显示的广告数量“设上限已经有好几年了，我们没有做出任何改变。”谷歌声称，“过去四年，平均而言， 80% 的谷歌搜索都没有在搜索结果的顶部放置任何广告。”如果你要寻找有关谷歌搜索算法的答案，最后都会走进像 Marie Haynes 这样的 SEO 专家的世界里。 Haynes 是一名顾问，自 2008 年以来就一直痴迷于研究谷歌的算法。她的工作之一，是跟上这家公司的工程师所做的每一个小变化，以及了解谷歌搜索团队博客的每一次公共沟通。对于公司而言，谁能够洞察谷歌不断更新的算法的奇思妙想，谁就将获得令人垂涎的页面空间。搜索结果的排名高意味着能获得更多的关注，理论上则意味着能赚更多的钱。2020 年 10 月，当谷歌在宣布将开始推出“段落索引”（passage indexing，谷歌从网站提取离散的段落并对其进行排名的新方法）时，Haynes 想弄清楚这个算法对大家看到的查询结果有何影响。但她和她的团队并没有采取逆向工程的做法，把文章做得像是机器人写的一样，而是试图在保持页面完整性和吸引算法之间取得平衡。尽管谷歌会为 SEO 内幕人士提供频繁的更新，但该公司的搜索算法依然是个黑箱（谷歌不希望将自己的商业秘密透露给竞争对手，或者用来操纵自己产品的垃圾邮件发送者），这意味着要想知道谷歌赋予什么样的信息特权，就需要做出大量有根据的猜测和反复试验。Haynes 同意，谷歌搜索的广告比以往任何时候都要糟糕，而且该公司将自己的产品和功能摆在自然结果之上，这个决定令人沮丧。但她认为，随着时间的推移，其实谷歌的这款旗舰产品已经变得越来越好，也越来越复杂了。她认为，这种复杂性可能是现在搜索感觉跟过去不同的原因。她说： “我们现在正处于这个过渡阶段。”并指出为了破译用户查询的密码，该公司在人工智能和机器学习方面已经取得了重大进展。这些技术上的改变导致谷歌远离了PageRank（谷歌核心的搜索算法）范式。但她认为，这些努力还处在起步阶段，也许谷歌仍在解决他们的问题。 2021 年 5 月，谷歌发布了 MUM（Multitask Unified Model，多任务统一模型），这是一种用于搜索的自然语言处理技术，能力比自己的前身要强大 1000 倍。Haynes 说：“人工智能不仅想了解搜索者输入的内容，还试图了解搜索者想要获取什么内容。它试图理解页面和查询里面的内容，这会改变大家获得的结果的类型。”谷歌现在关注起搜索者的意图了，这可能意味着当人们输入关键词时，返回的未必是那么多与关键词直接匹配的结果。相反，谷歌在努力对查询进行扫描，想知道用户究竟想要什么，然后展示它认为的与用户想要的东西相匹配的页面。除了感觉有点科幻，甚至有点令人毛骨悚然以外，这种转变可能也会让搜索者失去主动权。搜索曾经感觉像是一个你可以控制的工具，但谷歌也许开始会表现得更像一个人——一个有自己想法和流程的看门人。很容易想象，随着时间的推移，人工智能增加的推理会产生不好的影响（在撰写本文时，一位谷歌研究人员声称，在告诉公司一个有多种技术支持的人工智能聊天机器人具备知觉后，自己被公司强行安排了休行政假）。谷歌可以用这种技术继续引导人们远离自己想要的搜索，并且用更高的频率引导他们转向自己的产品和付费广告。或者，谷歌用不着那么绕，只需要通过算法轻轻地将人们推向意想不到的方向。想象一下，你在一年当中根据谷歌搜索后处理的信息做出的人生决定有多少。这意味着谷歌人工智能解释搜索者意图的风险很高。但谷歌的某些死气沉沉的结果是由人类做出的。以取悦谷歌的搜索算法作为职业是什么感觉？Zach Verbit 知道。大学毕业后， Verbit 在专门从事搜索引擎优化的营销公司 HOTH 从事自由撰稿工作。Verbit 在 HOTH 的这份“粉碎灵魂”工作是撰写博客文章，帮助客户的网站获得高的搜索排名。他会花费数个小时写那种清单体文章，如 “空调停止工作时要做的 10 件事”。 Verbit 写的文章“看上去就像机器人写的，或者是刚刚才发现语言这个东西的人写的”。他每天要写的文章多达 10 篇，而且都是一些他一无所知的主题。很快，他开始旧物利用，把写过的文章改头换面又放到其他客户的博客上。Verbit 告诉我：“那些文章看起来像是人工智能写的？但其实有时候那是真人写的，之所以写成这样是为了尽量植入关键词。”他仓促炮制出来的帖子在搜索结果的排名却很高，这让他感到很沮丧。一年之后，他辞去了工作，他说操纵搜索这个行业就像纸牌屋。他在 SEO 这个矿井里面呆的这段时间证明了一件事，那就是谷歌搜索，这个可以说是现代互联网最简单、最有效和最具革命性的产品正在走向衰落。他说： “这活我越干下去，就越意识到谷歌搜索现在已经完全变得没用了。”不过 HOTH 的首席执行官 Marc Hardgrove 反驳了这样一种观点，即自己的客户的博客文章出于 SEO 目的“已经优化过度”，并称自己的公司不鼓励那种行话满天飞的文章，因为这种文章的排名并不高。他在一封电子邮件里面写道： “过度使用关键字，创作没有吸引力的内容，这些都不利于我们的成功。这就是为什么 The HOTH 作为 SEO 公司，我们不要求，甚至不鼓励合作的作者在博客文章中过度使用关键字来帮助优化。”三、但互联网也变了谷歌对于很多人来说仍然有用，但下面这个问题回答起来会更加困难：为什么它的结果跟五年前相比更乏味了？Haynes 的理论是，这是谷歌试图打击虚假信息以及低质量内容的结果——尤其是对相应搜索主题打击的结果。2017 年，该公司开始公开讨论一项搜索计划。这个计划的名字叫做名为 EAT ，即“专业、权威和可信赖”（expertise, authoritativeness, and trustworthiness）。该公司推出了许多质量评级员指南，帮助他们判断内容的真实性。其中一项针对的是标题含有“你的金钱或你的人生”的文章，指南对用户搜索医疗或财务信息时展示的任何页面设定了严苛的标准。Haynes 说：“就拿加密货币来说吧。这个领域存在很多的欺诈行为，所以除非一个网站在网络上有很大的影响力，而且谷歌觉得他们在这个主题上以专业知识而闻名，否则很难让这些网站参与排名。”可是，这也意味着，对于任何被认为足够敏感的主题来说，谷歌返回的结果都可能来自既有的来源。医疗查询更有可能返回 WebMD 或梅奥诊所（Mayo Clinic）的页面，而不是个人推荐。Haynes 说，对于寻求顺势疗法或替代疗法的人来说，这一点尤其具有挑战性。这一切都有一种奇怪的讽刺意味。多年来，对于互联网的野蛮，研究人员、技术人员、政治家和记者一直感到十分的苦恼，并且对它有放大阴谋论、引发分裂的主题以及彻头彻尾的虚假信息的倾向发出了警告。包括我自己在内，许多人都主张平台要将质量、权威信息置于一切之上，甚至应该不惜以牺牲利润为代价。从某种意义上说，这些声音谷歌可能已经听到了（尽管是在太多的不作为之后），并且在展示更高质量的结果方面，谷歌在许多有争议的类别上可能已经取得了部分的成功。但这些改变并没有迎来一个完美信息的时代，抱怨者认为这可能是因为谷歌搜索再也不提供有趣的结果了。理论上，我们渴望权威信息，但权威信息可能枯燥乏味。权威信息读起来更像是政府的表格或教科书，而不是小说。许多人所熟知和喜爱的互联网则恰恰相反——混乱、无秩序、不可预测才是它的特征。这样的互联网令人筋疲力尽，没完没了，而且总是有点危险。人性的深刻就在于此。但有一点值得铭记，那就是人性在搜索结果所呈现的样子。Rand Fishkin 是软件公司 SparkToro 的创始人，自 2004 年以来，他一直就搜索这个主题进行写作和思考。他认为，谷歌在不放大阴谋论和仇恨言论方面做得更好了，但公司在这些事情上花了太长时间。他说：“我不知道你有没有搜索过 2000 年至 2008 年间大屠杀的信息，但阴谋论者经常会出现在排名最靠前的搜索结果里面。” 桑迪·胡克（Sandy Hook）事件（编者注：美国历史上最血腥的校园枪击案之一。2012年12月14日，凶手亚当·兰扎在康涅狄格州纽顿市桑迪·胡克小学，枪杀了26人，其中20名是儿童）也是如此——事实上，那些受害者家庭为打击阴谋论而发起的运动导致了该搜索引擎做出了一些改变。Fishkin 说： “每当有人说，‘嘿，谷歌不再像个人了’，我只能说，我敢打赌他们不想再回到从前。”谷歌搜索现在也许变糟了，因为和互联网的大多数一样，它已经成熟，并且被无情地商业化了。为了避开监管和显得对企业友好，它的部分地方也许看起来已经不再那么的狂野。但我们之所以感觉谷歌已死或者正在死去，部分也许是因为我们怀念过去那个没那么大、没那么成熟的互联网。对于这种对过去的渴望，谷歌搜索负责沟通的 Sullivan 表示理解，但他告诉我，你感觉谷歌变了其实也是该搜索引擎对 web 的演变所做出的反应。 “随着时间的推移，部分博客风格的内容已经迁移到封闭的论坛或社交媒体上。有时我们希望能找到的博客文章已经不在那里了。” Sullivan 认为，最近对谷歌搜索的一些挫败感实际上反映了它变得有多么好。他说：“我们现在能搜到的东西在 15 年前根本无法想象能搜到，我们相信，我们一定会找到我们想要的东西的。我们的期望在膨胀。所以我们需要更多的工具。”这个回答很有趣，尽管有些敷衍。谷歌重新连接了我们，改变了我们评估、处理、访问甚至构思信息的方式。在讨论 Brereton 的那篇“谷歌将死”的帖子时，一位 Reddit 用户写道： “没有那个东西我活不下去，因为我的大脑现在已经习惯了，只能记住由谷歌来填充的只言片语。”同样地，谷歌用户也塑造了搜索。Haynes 说： “年轻一代的搜索方式与我完全不同。他们基本上是对着谷歌说话，就像对方是个人一样，而我还是老一套，用关键词搜索。”但所有这些怪异的、各不相同的行为都只是搜索巨头的数据罢了。当年轻一代开始把谷歌当人进行交谈时，这个工具就会预见到这一点，并开始表现得像一个人（这也是人性化的人工智能语音助手兴起背后的部分原因所在）。Fishkin 认为，谷歌搜索，以及谷歌的许多其他产品，在有部分竞争的情况下会更好，而且在 1998 年到 2007 年这段时间内，搜索的质量改进是最大的，为什么？他认为这是因为谷歌需要争夺市场份额。他说： “但从那时起，谷歌最大的搜索创新就是将更多的谷歌产品放在搜索结果的前列。”他认为，这种策略其实导致谷歌留下了一堆没能给人留下深刻印象的产品。 “Google Flight、Google Weather 或者谷歌的股票小工具，这些产品真的比竞争对手的产品更好吗？不是的，只是因为谷歌对搜索的垄断，别人没法跟谷歌公平竞争。”“谷歌搜索是不是正在走向灭亡？”这个问题问得不太严肃。对于这个搜索引擎的未来命运，我们关心的是实际层面——它仍然是实现互联网按需提供无限信息的主要手段。但我认为我们也关心它在存在层面上的命运——因为谷歌的第一个产品是一个占位符，我们用它来探索技术在我们生活的地位，对此我们既有希望又有恐惧。我们渴望能有更多的便利、更多的创新、更多的可能性。但是当我们得到它时，我们往往只看到了自己在此过程中失去了什么。这种损失是实实在在的，是内心深处感受得到的。就仿佛我们的人性失去了一部分。而搜索，因为自身的实用性，显得更加令人担忧。大多数人不希望自己的信息假手于人，要依赖臃肿、垄断、会监视自己的科技公司，但他们也不希望大倒退回到之前所处的时代。我们真正想要的，是介于这两者之间的东西。谷歌搜索的演进令人不安，因为它似乎表明，在我们建立起来的互联网上，几乎已经没有平衡或妥协的空间了。译者：boxi，神译局，36氪旗下翻译团队原文链接：https://36kr.com/p/1808298531072519本文由 @神译局 授权发布于人人都是产品经理，未经作者许可，禁止转载。题图来自 Unsplash，基于 CC0 协议。