7.SEO与渲染方式

前面那我们主要是在讲一些非常基础的SEO基本功部分。这一章我们就深入探讨JavaScript SEO的核心问题，不同的渲染机制对SEO的影响。

1. Google爬虫类型及其工作原理

搜索引擎爬虫是SEO的核心组成部分，本节将主要介绍Google爬虫，因为Google是当今最主要的搜索引擎，其实理解这一家之后所有的搜索引擎爬虫原理是大同小异的。

早期的搜索引擎爬虫主要设计用于处理静态HTML页面。它们通过解析HTML文档的结构来理解页面内容，但对于JavaScript生成的动态内容却无能为力。这导致了许多JavaScript驱动的网站在搜索结果中表现不佳。

为了适应Web技术的发展，Google在2015年推出了能够渲染JavaScript的爬虫。这种新型爬虫能够执行JavaScript代码，从而更好地理解和索引动态生成的内容。这也算是搜索引擎技术的一个重大进步，为JavaScript驱动的网站提供了更公平的竞争环境。

Google使用多种专门的爬虫来索引不同类型的网络内容，列出一些比较主流爬虫：

* Googlebot（网页爬虫） ：这是Google的主要爬虫，负责抓取和索引网页内容。它有桌面版和移动版两种形式。

* GooglebotImages（图片爬虫） ：专门用于发现和索引网络上的图片内容。

* GooglebotVideo（视频爬虫） ：负责抓取和索引视频内容，包括视频元数据和缩略图。

* AdsBot（广告质量评估爬虫） ：这个爬虫用于评估Google广告的落地页质量。

Googlebot的工作过程可以分为以下几个主要阶段：

在这个初始阶段，Googlebot通过多种方式发现网页URL，包括：

* 通过网站提交的站点地图（Sitemap）

* 跟随已知页面中的链接

* 通过Google Search Console提交的URL

* 分析反向链接数据

发现URL后，Googlebot会请求访问这些页面。在这个阶段：

* Googlebot下载HTML文档

* 解析HTML结构，识别页面中的链接和资源引用

* 将新发现的URL添加到抓取队列中

这里是SSR的关键优势 ：对于服务器端渲染(SSR)的网站，HTML文档中已经包含了完整的内容，即使Googlebot不执行JavaScript，也能看到所有重要内容。相比之下，客户端渲染(CSR)的网站在这个阶段只有一个几乎为空的HTML骨架。

抓取页面后，Google会：

* 对页面内容进行初步分析

* 评估页面是否需要进一步渲染

* 将需要渲染的页面放入渲染队列

* 根据页面重要性和资源限制分配渲染优先级

SSR的另一个优势 ：由于SSR页面在初始HTML中已包含完整内容，Google可能会决定不需要将其放入渲染队列，或给予较低的渲染优先级，从而加快索引速度。

对于需要渲染的页面：

* Google使用基于Chrome的无头浏览器环境

* 下载必要的资源文件（CSS、JavaScript等）

* 执行JavaScript代码以生成最终的页面内容

* 这个过程可能会延迟几秒到几天不等，取决于Google的资源分配和页面的复杂度

关于SSR与JavaScript ：虽然SSR网站也包含JavaScript文件，但关键区别在于：SSR网站的核心内容已经在HTML中，JavaScript主要用于"水合"(hydration)和增强用户体验，而不是生成基本内容。即使JavaScript执行失败，核心内容仍然可见。

渲染完成后：

* Googlebot会全面分析页面内容，包括文本、图片、视频等

* 提取结构化数据和其他重要信息