技术优化是搜索引擎优化的核心要素，技术优化的网站不但使搜索引擎更容易抓取和索引，而且为用户提供了良好的用户体验。覆盖网站所有技术方面是非常具有挑战性的，因为可能需要修复数百个问题。然而，如果改正的话，有些领域还是非常有益的。本文Hostease美国服务器商将介绍如何在搜索引擎优化方面取得成功的实用技巧。
1、索引和网页可爬性
首先要确保搜索引擎能够正确地索引和爬行网站。可以在谷歌搜索控制台中使用搜索引擎索引网站的页面数量，通过谷歌搜索网站：domain.com或通过类似WebSite Auditor这样的搜索引擎优化爬虫帮助。在谷歌中索引的页面数量正在落后于总页面数量，为了避免索引差距并提高网站的可抓取性，需要关注以下问题：
限制索引的资源
谷歌现在可以显示各种资源（HTML、CSS和JavaScript）。因此，如果它们中的一些被禁止索引，谷歌将不会以它们应该的方式显示，也不会正确地呈现它们。
孤立页面
这些页面存在于网站上，但没有链接到其它页面。这意味着搜索引擎无法显示他们，确保重要页面没有变成孤儿。
分页的内容
谷歌最近承认，他们已经有一段时间不支持rel=next、rel-prev了，建议使用单页内容。尽管不需要更改任何内容，以防已经分页的内容对网站有意义，但建议确保分页页面能够独立存在。
需要做什么
检查robots.txt文件。它不应该阻止网站上的重要页面。通过使用一个可以抓取和呈现各种资源并找到所有页面的工具来爬行你的网站，进行复核。推荐阅读关于谷歌搜索引擎优化里面常见的一些专业术语。
2、爬行预估
爬行预估可以被定义为搜索引擎机器人在特定时间内访问网站的次数。例如，如果Googlebot每月访问网站2.5K次，那么谷歌每月的爬行预算为2.5K。虽然目前还不清楚谷歌是如何为每个网站分配抓取预估的，但有两个主要的理论指出，其关键因素是;
指向页面的内部链接数
反向链接数
早在2016年，我的团队就进行了一项实验，来检验内部和外部链接以及抓取统计数据之间的相关性。我们在WebSite Auditor中为11个网站创建了项目，以检查内部链接的数量。接下来，我们在搜索引擎优化SpyGlass中为同样的11个网站创建了项目，以检查指向每个页面的外部链接的数量。然后，我们检查了服务器日志中的爬行统计数据，以了解Googlebot访问每个页面的频率。利用这些数据，我们发现内部链接与爬行预算之间的相关性非常弱（0.154），外部链接与爬行预算之间的相关性非常强（0.978）。相关阅读 在做网站链接优化时需要注意哪些事项 。
然而，这些结果似乎不再相关。上周我们重新进行了相同的实验，以证明反向链接和内部链接与爬行预算之间没有相关性。换句话说，反向链接曾经在增加爬行预估中发挥作用，但现在似乎不再是这样了。这意味着，要扩大抓取预算，需要使用优良的旧技术，使搜索引擎网页爬虫抓取尽可能多页面并更快速地发现新的内容。
需要怎么做
确保重要的页面是可抓取的。检查robots.txt，不应该阻止任何重要的资源（包括CSS和JavaScript）。
避免长重定向链。这里的最佳实践是连续重定向不超过两个。
修复破碎的页面。如果搜索机器人偶然发现了一个带有4XX/5XX状态码的页面（404“未找到”错误、500“内部服务器”错误或任何其他类似错误），爬行预算的一个单元就会被浪费。
清理网站地图。为了让爬虫程序和用户更容易找到内容，请删除4xx页、不必要的重定向、非规范和被封锁的页面。
不允许没有搜索引擎值的页面。在robots.txt文件中为隐私策略、旧的促销、条款和条件创建一个不允许规则。
保持内部连接效率。使网站结构像树枝状并且简单，以便爬行器可以很容易地访问网站上的所有重要页面。
满足URL参数。如果有指向同一页面的动态URLs，请在谷歌搜索控制台》爬行》搜索参数中指定它们的参数。