刷知乎的时候经常刷到对百度的讨论问题，很多问题都是在讨论百度为什么衰落。对于这个问题，很多网友分析都集中在百度自身，抨击百度如何糟糕的运营策略以及公司价值观。在我个人看来，百度的衰落除了自身原因以外，外部的竞争也是一个不可忽视的原因。为什么这么说，首先想一个问题，如今日常工作和生活中遇到一个问题需要找解答，十年前的时候你会去哪里搜，现如今你又去哪里搜？我想现在的选择里肯定多了知乎、小红书、b站、微信公众号甚至头条这种新闻客户端等，从这个选择里面看到，其实提供网上用户检索的环境已经发生变化了。顺着这个问题，今天来聊聊导致百度衰落的外部原因。
百度的主要业务是搜索引擎，从目前中文搜索引擎或者说中文的搜索使用场景看，我认为导致百度衰落的外因有必应搜索的崛起和移动互联网内容平台圈地搞私域两方面的原因。
哪些主要的内容平台屏蔽了百度
从目前我主观的感受看，以用平台流量、用户数量出发，挑选了微信公众号、知乎、CSDN、简书、博客园、今日头条、腾讯新闻、小红书为目标，逐一统计了内容平台对百度的屏蔽情况。统计的标准是查看个家的Robots协议，简单介绍一下Robots协议:
Robots 协议（也称为“ robots.txt 文件”）是放在网站根目录下的一个文本文件，用于指示搜索引擎机器人（如 Google 机器人）如何访问该网站。该文件告诉机器人哪些页面可以访问，哪些页面不能访问。Robots 协议的格式很简单，它是一个文本文件，其中包含一系列指令，每个指令由一个关键字和一个值组成，用冒号分隔。例如，以下是一个简单的 Robots 协议：
User-agent: Googlebot
Disallow: /private/
Allow: /public/这个 Robots 协议告诉 Googlebot 机器人不要访问该网站的/private/目录，但是可以访问/public/目录。虽然 Robots 协议不是强制执行的，但是搜索引擎通常会遵循Robots协议。通常而言，网站的robots协议地址为域名加robots.txt,比如百度的
https://www.baidu.com/robots.txt
微信公众号-屏蔽
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Allow: /webpoc/ruleCenter
Disallow: /微信公众号可能是目前最大的中文自媒体平台了，从诞生至今积累了海量的中文内容。可以说在十几年前写博客形式的自媒体几乎都转到微信公众号了，但可惜的是微信公众号把搜索引擎都给屏蔽了。虽然百度使用site命令指定搜微信公众号仍然搜索得到（看起来百度不遵守robots协议），但默认搜索是几乎看不到的。
知乎-未屏蔽
再来看一下知乎，知乎看起来则并未屏蔽百度和其他搜索引擎。知乎看起来在桌面领域的流量还是非常大的，知乎也没有搞私域。算是外部留给百度为数不多的中文优质内容池子了，而从站长工具的数据看，百度也给了知乎最高的权重。但你也许会奇怪既然百度给了知乎这么搞权限，那平时搜索展示为啥知乎的排名一般没有很靠前(印象中甚至往往不如CSDN)。这个就属于另外的原因了，属于百度自己的问题，后面再聊。
CSDN-未屏蔽
CSDN这个不用看robots了，肯定没屏蔽。不仅没有屏蔽，主要还是靠百度搜索吃饭的，日常搜索的排名展现贼高。比知乎都高，比较大的可能是参与百度的竞价排名了。但CSDN的内容质量比知乎微信的低很多了，产生的优质内容并不多。所以实际上对百度来说虽然不屏蔽，但贡献也不大。
简书-未屏蔽
#
# To ban all spiders from the entire site uncomment the next two lines:
User-agent: *
Disallow: /search
Disallow: /convos/
Disallow: /notes/
Disallow: /admin/
Disallow: /adm/
Disallow: /p/0826cf4692f9
Disallow: /p/d8b31d20a867
Disallow: /collections/*/recommended_authors
Disallow: /trial/*
Disallow: /keyword_notes
Disallow: /stats-2017/*
User-agent: trendkite-akashic-crawler
Request-rate: 1/2 # load 1 page per 2 seconds
Crawl-delay: 60
User-agent: YisouSpider
Request-rate: 1/10 # load 1 page per 10 seconds
Crawl-delay: 60
User-agent: Cliqzbot
Disallow: /
User-agent: Googlebot
Request-rate: 2/1 # load 2 page per 1 seconds
Crawl-delay: 10
Allow: /
User-agent: Mediapartners-Google
Allow: /简书作为一个新兴的博客平台，再内容质量和浏览体验上比CSDN好不少，内容也不局限于编程技术类。对搜索引擎也是没有屏蔽的，但是可能是用户数量不多，在百度的权重和排名都不是很高。
博客园-未屏蔽
User-Agent: *
Allow: /
Disallow: /?*
Disallow: /*/tag/*/?*
Disallow: /*/tag/*/default.html?*博客园也没有屏蔽百度和其他搜索引擎，内容质量也是不错的，比CSDN高不少。但是网页浏览体验确实跟不上这个时代了，百度原本给博客园的权重也是很高的，但自从有一次博客园因评论审核的事情出事后，百度就把权重给降了。目前博客园的内容生产数量和速度也越来越少了。
今日头条-屏蔽
[https://www.toutiao.com/robots.txt
](https://www.toutiao.com/robots.txt)
头条原本是一个新闻客户端，后面用户数量多了就发展成一个自媒体平台了。有点类似微博，主打移动端。看robots协议基本上是把搜索引擎都给屏蔽了，我用搜索引擎基本上也没搜到过头条的内容。
小红书-屏蔽
https://www.xiaohongshu.com/robots.txt
全部屏蔽，小红书目前非常火。对于生活类的内容虽然比较简短，但是质量也确实可以，目前能在上面搜到有用信息的概率很大。虽然平台不算大，但在移动端，可以感知到的对百度的影响还是非常大的，很多诸如旅游攻略、办事攻略类的问题在小红书就比百度搜到的更有优势了。
新浪微博
User-Agent: Baiduspider
Disallow:
User-agent: 360Spider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: bingbot
Disallow:
User-agent: smspider
Disallow:
User-agent: HaosouSpider
Disallow:
User-agent: YisouSpider
Disallow:
User-agent: *
Disallow: /新浪微博也未屏蔽，但微博和上面提到的平台性质不同。社交属性比较重一点，除了新闻没有太多中长篇幅的内容，以前新浪博客倒是一个，但现在几乎没人使用了。
汇总
| 平台 | 屏蔽情况 |
|---|---|
| 微信公众号 | 屏蔽 |
| 知乎 | 未屏蔽 |
| CSDN | 未屏蔽 |
| 简书 | 未屏蔽 |
| 博客园 | 未屏蔽 |
| 今日头条 | 屏蔽 |
| 小红书 | 屏蔽 |
| 新浪微博 | 未屏蔽 |
盘点了一下各个主要平台对百度的屏蔽情况, 发现有个趋势。以桌面端为主或者桌面端用户占比很大的平台，都不会对搜索引擎屏蔽，比如知乎和CSDN等博客平台。而移动端用户为主的就几乎都屏蔽了，比如微信、小红书这种。所以目前看如果是桌面端的搜索，百度还是有东西可以搜的。但在移动互联网的时代，百度能搜的内容确实已经不多了，尤其是微信小红书这种用户量超级大的平台。都在搞自己的私域流量，这部分的内容百度就少了一大块。
个人站长的消失
在很早之前，移动互联网还没兴起的时候。有不少人写博客的，而且这些博客一般在新浪博客、谷歌博客这种支持个性化自定义，供搜素引擎自由搜索的，甚至有很多还自建博客的，但如今没有了。也许是因为微信公众号为代表的自媒体平台流量太大了，写公众号比博客站长更赚钱；也许是因为这个社会节奏太快了，很少有人静得下心来写写博客分享生活和学习；也可能是域名备案等原因提高了自建网站的一个成本。由于种种原因，中文互联网的站点相比以前不增反降了，过去十多年，网速快了几十倍几百倍，网民数量也翻了几番。网站数量反而减少了，所以有人称中文互联网已经枯竭了也有一定道理。互联网不再是万物互联，而是各个平台把用户圈起来搞私域，所有东西都像困在一个个岛屿里面，以内容为生的搜索引擎，自然受影响了。也许你会说那为何谷歌还过得这么滋润，谷歌搜的是全世界的内容，全世界的网站。而英文网站，其实发展得还不错，没有国内这般模样。
必应的崛起
百度除了可以搜索到内容减少了以外，还有一个潜在的且极具威胁的因素，必应已经闷声发大财悄悄发育起来了。
网上普遍认为谷歌走了百度无敌手，所以开始摆烂了，在以前确实如此，360和搜狗这些在百度面前都不能打。但最近几年，这个情况要发生变化了，尤其是在桌面端的搜索。从36kr的这【你有多久没关注国内搜索份额了？】篇文章列举的数据看，必应的份额已经到第二了，而百度也不到一半的水平了，印象中百度的国内份额巅峰层到90%以上的。而且对于百度来说，必应在最近几年有了两个大杀招。edge浏览器和win11，edge浏览器默认是必应搜索，最新的win11系统不仅左下角任务栏的搜索默认是必应的，还默认在桌面上方加了一个必应搜索框。以Windows和edge的用户数量，微软放出这两招推广，感觉不仅百度害怕，谷歌都要眉头一紧。而且就单凭搜索体验来看，必应搜索还真不比百度和谷歌差多少了。
结尾
自从谷歌推出中国后，百度的搜索体验确实降下来了。但是让百度在国内的搜索市场份额从最巅峰的九成以上跌倒现在不到一半的程度，不仅是百度自身的问题。移动互联网时代，内容的生成与消费都和以前发生了很大的变化。各大app平台不在依靠搜索引擎的流量入口维持活跃度，而是反客为主自己圈子自己玩了。个人站长也消失殆尽了，中文网站的数量在减少。使得百度这个旧时代的大船都无水可划了。另一方面，曾经不起眼的必应也默默发育，对百度的未来极具威胁。百度的未来，更难了。
