由于搜索结果的竞争越来越激烈，对SEO在技术上的优化也提出了更高的要求，一个好的网站，必须要是可抓取、快速、安全的网站。技术性SEO包含的内容很多，涵盖网站的结构设计、URL、网络地图等内容，而且是一个技术性很强的方面，本文主要说一说网站技术SEO的六个基本方面，做好这六大方面，网站的性能会更加优化和健康。

1.确保网站可抓取

对于搜索引擎，做优质的内容是重中之重，但是只有优质的内容还是不够的，还需要确保搜索引擎能抓取到页面，首先要检查robots.txt文件，，这个文件是任何网络爬行软件到达站点时的第一个调用点。

robots.txt文件会明确应该被抓取的和不应该被抓取的部分，表现为允许（allow）、禁止(disallow)某些用户代理的行为。

通过将/robots.txt添加到根域末尾，可以公开使用robots.txt文件，以下图为例：

可以看到，此网站不允许以/ wp-admin（网站后端）开头的URL被抓取。通过指明哪些地方禁止这些URL，可以节省带宽、服务器资源和爬网预算。

与此同时，搜索引擎爬虫抓取网站的重要部分时，不应该受到禁止。因为robots.txt是爬虫在抓取网站时看到的第一个文件，所以最好是将robots.txt指向站点地图。可以在旧版的Google Search Console中编辑和测试robots.txt文件。

在robots.txt的测试工具中，下面的网址栏输入任何网址，就可以检查这个网址能否被抓取，robots.txt文件中有没有错误和警告。

因为旧版的Google Search Console功能要比新版本的功能多一些，在技术SEO方面旧版本会更好用一些。比方说，旧版本可以查看站长工具上的抓取统计信息区域（Craw Stats），对于了解网站的抓取方式会更加的方便。

这个报告有3个图表，显示了最近3个月的数据。每天抓取的网页数量、每天下载的千字节数、下载网页所花费的时间（以毫秒为单位），能够显示网站的抓取速度及和搜索引擎爬虫的关系。

搜索引擎爬虫定期访问某网站，并且这是一个快速而且容易被抓取的网站的话，这个网站就会有很高的抓取速度。这些图表数据如果能保持一致是最好的，任何重大波动都会出问题，可能是HTML损坏，内容陈旧或robots.txt文件阻止了太多URL。

如果加载一个页面需要很长时间，表示爬虫爬取时间太长，建立索引速度较慢。还可以在新版的Google Search Console查看覆盖率报告中的抓取错误

这些地方都是有爬取问题的页面，点击可以显示这些页面。检查这些页面是什么原因导致的爬取问题，最好不是很重要的页面，尽快解决这些问题。如果你在Craw Stats或覆盖率报告中，发现重大的抓取错误或波动，可以对日志文件进行分析查看。

从服务器日志访问原始数据可能会比较麻烦，因为分析是高级设置，但它有助于准确理解哪些页面可以被抓取、哪些不能抓景区推广取。哪些页面会被优先处理，哪些区域出现了预算浪费的情况，还有爬虫在爬取网站的过程中收到哪些服务器响应

2.检查站点可编入索引

检查爬虫是否可以抓取网站之后，还要搞清楚网站上的网页有没有编入Google索引，有很多方法可以检查这一问题，前面用到的Google Search Console覆盖报告，就可以用来查看每个页面的状态。

从这个报告中我们看到四个数据:

错误：404s重定向错误。

有效警告：已编制索引但附有警告的页面。

有效：成功编制索引的页面。

已排除：被排除在索引状态之外的页面及其原因，如重定向或被robots.txt阻止的网页。

还可以使用URL检查工具分析特定的URL。如果某主页的流量有所下降，就该检查这个新加入的网站是不是已经编入索引，或者对这个网址进行问题排查。

3.查看站点地图

SEO还有一个不能忽略的重要方面：站点地图。XML站点地图是你的网站到Google和其它搜索引擎爬虫的地图。实际上，站点地图帮助这些爬虫给你的网页排名。

有效的站点地图有几点值得注意:

站点地图要在XML文档中正确格式化。

站点地图应该遵循XML站点地图协议。

只包含规范版本的网址。

不包含没有索引的网址。

更新或创建新页面时，要包括所有新页面。

4.网站要适应移动端设备

谷歌去年宣布了会优先对移动端进行索引。也就是说，网页的移动端版本会优先于电脑端版本，进行排名和索引，因为大部分用户主要使用移动设备进行网页访问,所以网站排名也会给移动端优先的权利。

谷歌的Mobile-Friendly Test是一款免费工具，可以用来检查网页在移动端的响应和适应性。在网址栏输入域名，就可以显示在移动设备上的呈现效果，是否适应移动设备。

当然也可以手动检查网站在移动端的适应情况，用手机浏览一个网站，检查网站的主要转化路径有没有错误。

网站上面的所有联系表格、电话号码、关键服务页面，是否都正常运行。如果你是在电脑端浏览网页的话，就可以右键单击页面，再做检查。

5.网页速度

网页速度现在是Google排名的一个很重要的因素，网页响应迅速也是提升用户体验度的一个很好的方式。

Google PageSpeed Insights，这是谷歌的一款功能强大的工具，可以免费使用。它可以在移动端和电脑端对网站进行速度测试，进行打分，并给出提高页面速度的建议。

谷歌还有一款工具可以测试移动设备的网速，专门针对移动设备提高网速，它会根据测试给出一个结果报告这款工具是Google Analytics。

6.重复内容审核

最后一项是审核网站内容有没有重复。对于做SEO的人来说，内容重复是一个很大的禁忌，虽然说谷歌不会因为内容重复就惩罚某个网站，但是谷歌不喜欢重复文案内容，这一点是很明确的。

要检查有没有重复内容，可以使用Google search parameters进行快速查询，输入网址，在搜索结果的最后一页，如果有重复内容，就会出现以下文字：

如果这里出现了重复内容，应该再使用Screaming Frog抓取一下网站。然后按照页面标题进行排序，就可以检查网站上有哪些重复的页面。

搜索引擎技术优化让你的网站更加优化和健康。

以上是技术性SEO的六个方法，是网站结构优化相对基础的东西。如果你们想要在技术上做得更好，还可以继续深入。