你有没有想过写一个网站挂到线上去，然后网站上挂个广告，等流量上来了就妥妥的赚钱机器？

理想很美好，现实很骨感，如果你如此做了，那么就是新时代的“守株待兔”，即使等上几年，可能最后连你域名的注册费都赚不回来。

卡卡毕业后的第一份工作是销售，卖长尾词推广服务，也就是俗称的 SEO。

通俗来讲，SEO 目的就是做一个网站，然后通过搜索引擎关键字来找到你的网站，提升流量。

既然 SEO 能够为网站带来流量，那么流量折算成钱，你就能为此获得一份长期饭票。所以，如果你需要做网站，而且靠流量吃饭，那么必不可少的一项工作就是 SEO，可别做了网站就搁那“守株待兔”！

接下来，卡卡用一只 “网络爬虫” 的视角来看看，我们需要做哪些才能实现 SEO。

一、大海捞针

在卡卡小时候，互联网还没有那么发达，很多网站宣传全部是靠广告、杂志一类，用独特的网址去吸引用户，因此你如果希望浏览这个网站，需要在小本本上做好笔记。

但是后来搜索引擎的出现打破了这个僵局，做网站记录的工作全部交给了搜索引擎，我们只需要登录搜索引擎即可找到相应的网站。

各类搜索引擎

所以如今浏览网站的顺序是：搜索引擎->关键词->网站浏览

现在搜索引擎的一只小小爬虫，需要在每天新冒出的 14万（数据来源于DeepSeek） 个网站中找到合适的网站进行记录，网站才能有机会被人通过搜索引擎搜索到。

想象一下，虽然爬虫是机器人，是代码，但14万量级太大，爬虫不可能立刻发现每个网站。那么有没有让爬虫快速看到的方法？

网站收录

每一个搜索引擎专门提供了一些收录入口，你只要将你的域名填写并提交，搜索引擎官方就会进行评估，缩短爬虫发现网站的时间。

提交收录后，只要你的网站内容优质，便可以快速缩短出现在搜索引擎的时间。

外链

有一些高质量的优质网站，搜索引擎爬虫将会每天定期爬取，如果你的网站链接出现在了该网站，那么爬虫会一并进行爬取，缩短发现时间。

此时，该链接因为出现在不属于你网站的地方，所以名为 外链。

不过，大部分网站对于外链有严格限制，轻则删除文章，重则冻结账号，因此需要发布外链的话一定要 谨慎。

友情链接

除了外链，如果你有一名小伙伴进行链接交换，而他的网站如果已经被搜索引擎收录，那么爬虫可以借着他的网站进入你的网站。

当然，一般人很难得到交换友情链接的机会，所以有两种办法：
1、付费交换
2、提前布置对方网站链接，待自己收录后邮件通知对方网站进行交换协商

如果没有资金投入，第二种方式更适合普通开发者，只不过成功率依照对方网站的权重或大或小。

二、脉络清晰

当爬虫敲开了网站的大门，进入之后如果是重重迷宫，那么对于搜索引擎收录就会变得繁琐；反之如果是条条大路，宽敞整洁，那么收录就会变得轻松自在。

因此，混乱的网站结构绝对是 SEO 的大忌，对用户不友好，对爬虫也不友好。

此时如果你交给爬虫一份地图，让其知道如何走，怎么走，那就实在是再好不过了，因此就出现了 网站地图。

Sitemap

在网站中设置一个 网站地图，可以帮助爬虫更好地去探索整个网站。一般而言，网站地图可以在网站的最下方能找到，例如下面的截图：

网站地图

一般网站地图都是 XML 格式的内容：

其中：

• • loc：链接
• • lastmod：更新时间
• • changefreq：变化周期，always（每次变化）、hourly、daily、weekly、monthly、yearly、never
• • priority：每个url的优先级，范围0.0~1.0，1.0优先级最高，一般为首页

内链

之前说过外链，是爬虫在其他网站爬到你网站的链接。

而 内链 其实就是自己网站内部的链接。每个页面链链相通，则就是好的内链，如果一个页面无法通过任何页面链接过来，则网站结构存在纰漏，需要重新设计。

head

除了整个网站结构要清晰，单独一个网页结构也必须清晰，特别是 < head > 部分，作为网页的门面，爬虫尤爱在这里寻找基础信息：

CSDN博文的head

特别注意的是以下几个内容：

• • title：网页的标题
• • meta keywords：网页的关键词
• • meta description：网页的描述

虽然目前搜索引擎对keywords的选择权重减小，但依然是网页的重要信息。

三、禁忌

除了一些该做的事情，还有一些爬虫禁忌的事情，例如身为爬虫，你肯定不想拿到一个链接时却报给你一个 404，那将使你气愤地判断该网站存在欺诈。

死链

不要存在任何一个打不开页面的链接，这样的链接称为 死链。

如果你的某些内容删除了，或者页面错误了，千万不可将其链接变成 外链或内链，如果爬虫能够找到该链接，那么将会判断该链接为死链，你的网站就会被冠上不好的标签。

重定向链接

虽然说重定向不是禁止的，但过多的重定向会让爬虫晕头转向，让搜索引擎认为你的网站结构不够清晰，或者有一些欺诈钓鱼嫌疑，那么网站就会被降权。

四、总结

以上是卡卡的一些经验分享，当然 SEO 的技巧仅靠一篇文章是不足以说完的，还有诸如 robots.txt协议的实用、文章更新、框架选择、长尾词收录、权重分配等等。

若你有做网站的心思，那么赶紧先将其开发出来，细细理解爬虫的行为（自己去写爬虫可以得到不错的经验），做好 SEO 肯定能成为你不错长期饭票。