跳至主要內容
ESC
ACE 服務實戰 — 第 8/11 篇

ACE-213:Cloud Spanner 深度解析——全球分散式關聯資料庫完全指南

ACE-213

前言

Cloud SQL 夠用了嗎?如果你的應用要的是全球規模的關聯式資料庫,跨洲讀寫、無限水平擴展、99.999% 可用性,同時又得維持 ACID 交易和強一致性,那大概就只有 Cloud Spanner 能滿足你。

這是 ACE 進階系列第 13 課,我們會把 Spanner 的架構設計和實際操作好好談一遍。


什麼是 Cloud Spanner?

Spanner 是 Google 自研的全球分散式關聯資料庫,同時具備:

傳統 SQL 資料庫的能力          +  NoSQL 的水平擴展
├── ACID 交易                     ├── 自動分片(Sharding)
├── SQL 查詢                      ├── 無限水平擴展
├── 強一致性                      ├── 自動負載均衡
└── Schema + Foreign Key          └── 跨區域複製

Spanner 是全世界唯一同時做到外部一致性(External Consistency)和全球規模水平擴展的資料庫。Google 自己的 Google Ads、Google Play、Google Photos 這些核心服務,背後跑的就是它。


核心架構

Processing Units(PU)

Spanner 的運算單位是 Processing Unit(PU)

規格說明
最小單位100 PU
1 Node1,000 PU
增量100 PU 為單位
每 100 PU 儲存1,024 GiB
每 Node 儲存10 TiB
# 建立 Spanner 實例(100 PU,最小規模)
gcloud spanner instances create my-instance \
  --config=regional-asia-east1 \
  --processing-units=100 \
  --description="Development instance"

# 建立 1 Node 實例
gcloud spanner instances create prod-instance \
  --config=regional-asia-east1 \
  --nodes=1 \
  --description="Production instance"

資料分片(Split)

Spanner 會自動依主鍵範圍把資料切到多個分片(Split),每個分片交給不同的伺服器處理:

表格 Users(主鍵:userId)
  Split 1: userId A-M → 伺服器 1
  Split 2: userId N-Z → 伺服器 2
  (隨資料增長自動再分裂)

主鍵設計——最關鍵的決策

避免單調遞增主鍵

這是 Spanner 設計裡最重要的一條原則。拿 AUTO_INCREMENT 或時間戳當主鍵,會讓所有寫入都擠到同一個分片上,也就是所謂的熱點:

-- ❌ 錯誤:單調遞增,造成寫入熱點
CREATE TABLE Orders (
  orderId INT64 NOT NULL,  -- 1, 2, 3, 4...
  ...
) PRIMARY KEY (orderId);

-- ✅ 正確:使用 UUID,寫入均勻分散
CREATE TABLE Orders (
  orderId STRING(36) NOT NULL,  -- UUID
  ...
) PRIMARY KEY (orderId);

-- ✅ 正確:使用 GENERATE_UUID()
CREATE TABLE Orders (
  orderId STRING(36) NOT NULL DEFAULT (GENERATE_UUID()),
  ...
) PRIMARY KEY (orderId);

-- ✅ 正確:反轉位元序列,打散熱點
CREATE SEQUENCE EventIdSeq OPTIONS (sequence_kind='bit_reversed_positive');

CREATE TABLE Events (
  eventId INT64 NOT NULL DEFAULT (GET_NEXT_SEQUENCE_VALUE(SEQUENCE EventIdSeq)),
  ...
) PRIMARY KEY (eventId);

Interleaved Tables(交錯表)

這是 Spanner 獨有的功能,把父子表的資料實際存在一起,JOIN 效能會明顯變好:

-- 父表
CREATE TABLE Customers (
  customerId STRING(36) NOT NULL,
  name STRING(100),
  email STRING(200)
) PRIMARY KEY (customerId);

-- 子表(交錯在父表中)
CREATE TABLE Orders (
  customerId STRING(36) NOT NULL,
  orderId STRING(36) NOT NULL,
  amount FLOAT64,
  createdAt TIMESTAMP
) PRIMARY KEY (customerId, orderId),
  INTERLEAVE IN PARENT Customers ON DELETE CASCADE;

-- 孫表(可以多層交錯)
CREATE TABLE OrderItems (
  customerId STRING(36) NOT NULL,
  orderId STRING(36) NOT NULL,
  itemId STRING(36) NOT NULL,
  productName STRING(200)
) PRIMARY KEY (customerId, orderId, itemId),
  INTERLEAVE IN PARENT Orders ON DELETE CASCADE;

效能差異

一般 JOIN(非交錯):可能跨多個分片 → 網路延遲
Interleaved JOIN:資料在同一個分片 → 本地讀取

查詢 "Customer X 的所有訂單和商品"
  非交錯:3 次跨分片請求
  交錯:1 次本地讀取

SQL 方言:GoogleSQL vs PostgreSQL

Spanner 支援兩種 SQL 方言:

特性GoogleSQLPostgreSQL
狀態原生預設GA(2022 年)
語法Spanner 專屬PostgreSQL 相容
驅動Spanner 客戶端標準 PG 驅動(psycopg2 等)
Interleaved Tables支援支援
Graph支援不支援
遷移需要學習從 PostgreSQL 遷移更容易
# 建立 PostgreSQL 方言資料庫
gcloud spanner databases create my-db \
  --instance=my-instance \
  --database-dialect=POSTGRESQL

# 建立 GoogleSQL 方言資料庫(預設)
gcloud spanner databases create my-db \
  --instance=my-instance \
  --database-dialect=GOOGLE_STANDARD_SQL

標準 PG 驅動(像 psycopg2)沒辦法直連 Spanner,得透過 PGAdapter(PostgreSQL wire-protocol 代理 / sidecar):驅動先連到本機的 PGAdapter,再由它翻譯成 Spanner gRPC。

# 先啟動 PGAdapter 代理(PostgreSQL wire-protocol proxy / sidecar)
# docker run -d -p 5432:5432 gcr.io/cloud-spanner-pg-adapter/pgadapter \
#   -p my-project -i my-instance

# 標準 PG 驅動連到本機 PGAdapter,由 PGAdapter 翻譯成 Spanner gRPC
import psycopg2

conn = psycopg2.connect(
    database="my-db",   # PostgreSQL 方言資料庫名稱
    host="localhost",   # PGAdapter 監聽位址(非 Spanner 資源路徑)
    port=5432
)

多區域配置

區域類型與 SLA

配置類型SLA適合場景
Regional99.99%單一區域,低延遲
Dual-Region99.999%資料駐留需求
Multi-Region99.999%全球高可用

常見多區域配置

名稱區域涵蓋範圍
nam-eur-asia1Iowa + Oklahoma + Belgium + Taiwan三洲
nam6Iowa + South Carolina + Oregon + LA北美
eur3Belgium + Netherlands歐洲
asia1Tokyo + Osaka亞洲

Dual-Region(Enterprise Plus 專屬)

dual-region-japan1:  Tokyo + Osaka
dual-region-india1:  Mumbai + Delhi
dual-region-germany1: Berlin + Frankfurt

Dual-Region 配置只在 Enterprise Plus 版本提供,每個 dual-region 包含 6 個副本(每區域 3 個)。


交易與一致性

External Consistency

Spanner 提供的是外部一致性,這是比強一致性更嚴格的保證:

交易 T1 在時間點 t1 提交
交易 T2 在時間點 t2 開始(t2 > t1)

外部一致性保證:T2 一定能看到 T1 的結果
(即使 T1 和 T2 在不同大陸的不同伺服器上)

交易類型

from google.cloud import spanner

instance = spanner.Client().instance("my-instance")
database = instance.database("my-db")

# 讀寫交易(鎖定)
def transfer(transaction):
    row_a = transaction.read("Accounts", ["balance"],
                             keyset=spanner.KeySet(keys=[[1]]))
    row_b = transaction.read("Accounts", ["balance"],
                             keyset=spanner.KeySet(keys=[[2]]))
    # ... 更新餘額

database.run_in_transaction(transfer)

# 唯讀交易(不鎖定,用快照)
with database.snapshot() as snapshot:
    results = snapshot.execute_sql(
        "SELECT * FROM Users WHERE age > @min_age",
        params={"min_age": 25},
        param_types={"min_age": spanner.param_types.INT64}
    )

Change Streams

Spanner 的 Change Streams(GA,2022 年)可以讓你追蹤資料變更:

-- 建立 Change Stream,監控所有表
CREATE CHANGE STREAM AllChanges FOR ALL;

-- 只監控特定表和欄位
CREATE CHANGE STREAM OrderChanges
  FOR Orders(orderId, amount, status);

常見用途

  • 即時同步到 BigQuery 做分析
  • 觸發 Pub/Sub 訊息做事件驅動
  • 歸檔變更到 Cloud Storage 做合規

重要限制

  • 資料保留期:1-7 天(預設 7 天)
  • 不追蹤 schema 變更、索引、views
  • 會增加儲存和複製成本

Spanner Editions

特性StandardEnterpriseEnterprise Plus
區域配置RegionalRegionalRegional + 多區域 + Dual-Region
SLA99.99%99.99%最高 99.999%
Managed Autoscaler不支援支援支援
Spanner Graph不支援支援支援
向量搜尋不支援支援支援
全文搜尋不支援支援支援
Columnar Engine不支援支援支援
Geo-Partitioning不支援不支援支援
CUD 折扣1 年 20% / 3 年 40%1 年 20% / 3 年 40%1 年 20% / 3 年 40%

備份與還原

# 建立備份(保留 30 天)
gcloud spanner backups create my-backup \
  --instance=my-instance \
  --database=my-db \
  --retention-period=30d \
  --async

# 從備份還原
gcloud spanner databases restore \
  --destination-instance=my-instance \
  --destination-database=my-db-restored \
  --source-instance=my-instance \
  --source-backup=my-backup

# 匯出到 GCS(透過 Dataflow)
gcloud dataflow jobs run export-spanner \
  --gcs-location=gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro \
  --parameters=instanceId=my-instance,databaseId=my-db,outputDir=gs://my-bucket/export/

免費試用

Spanner 提供 90 天免費試用實例

項目限制
試用期90 天
儲存空間10 GB
最多資料庫5 個
每個帳單帳號最多 5 個試用實例
SLA
備份不支援
可用區域僅 Regional
到期後30 天寬限期,之後刪除
# 建立免費試用實例
gcloud spanner instances create free-instance \
  --config=regional-us-central1 \
  --processing-units=100 \
  --instance-type=free-instance

定價概覽

Spanner 依運算 + 儲存 + 網路計費:

項目費用(Regional,美國)
運算(Standard)~$0.65 / Node-hour
運算(Enterprise)~$0.90 / Node-hour
儲存$0.30 / GB / 月
備份儲存$0.10 / GB / 月
多區域運算約 3x Regional 價格

最小運算費用是 100 PU(= 0.1 Node),大約 $65-90/月起。


Cloud Spanner vs Cloud SQL vs AlloyDB

ACE 考試高頻選型題:

特性Cloud SQLAlloyDBCloud Spanner
類型托管 MySQL/PostgreSQL托管 PostgreSQL全球分散式
擴展垂直 + 讀取複本垂直 + 讀取複本水平擴展
最大儲存64 TB64 TB無限(加 Node)
跨區域跨區域讀取複本跨區域讀取複本跨區域讀寫
SLA99.95%99.99%99.999%
SQL 相容完全相容完全 PG 相容部分相容
價格最低 ~$7/月~$100/月起~$65/月起
最適合中小型 OLTP高效能 PG全球規模 OLTP

選型公式

單一區域、中小規模、傳統 SQL?
  → Cloud SQL ✅

需要高效能 PostgreSQL、AI/ML 整合?
  → AlloyDB ✅

全球規模、跨區域寫入、99.999% 可用性?
  → Cloud Spanner ✅

不需要 SQL、Mobile/Web 即時同步?
  → Firestore ✅

ACE 考試重點整理

必背知識點

  1. Spanner = 全球分散式 + ACID + SQL + 水平擴展,全世界獨一無二
  2. 避免單調遞增主鍵(最常考的設計原則)——用 UUID 或 BIT_REVERSE
  3. Interleaved Tables 將父子資料物理共置,大幅提升 JOIN 效能
  4. 1 Node = 1,000 PU,最小 100 PU,每 Node 10 TiB 儲存
  5. Regional 99.99%,Multi-Region 99.999%
  6. Enterprise Plus 才支援多區域和 dual-region
  7. Change Streams 可即時追蹤資料變更到 BigQuery 或 Pub/Sub

常見陷阱題

Q:需要全球多區域讀寫、ACID 交易的資料庫,選什麼? A:Cloud Spanner。Cloud SQL 只能單區域寫入,讀取複本是唯讀的。

Q:Spanner 使用 AUTO_INCREMENT 作為主鍵會有什麼問題? A:造成寫入熱點(Hotspot)。所有新寫入都集中在最後一個分片,無法利用 Spanner 的水平擴展優勢。

Q:Spanner 的 99.999% SLA 需要什麼配置? A:Enterprise Plus 版本 + 多區域配置。Regional 只有 99.99%。

Q:想在 Spanner 中儲存父子關聯資料並高效查詢,該用什麼功能? A:Interleaved Tables。它讓父子資料物理上存放在同一個分片,避免跨分片 JOIN。


總結

Cloud Spanner 是 GCP 能做最多事的資料庫服務,核心要點整理如下:

  • 獨特定位:全球分散式 + ACID 交易 + SQL + 水平擴展
  • 主鍵設計:絕對避免單調遞增,使用 UUID 或 BIT_REVERSE
  • Interleaved Tables:父子資料物理共置,效能關鍵
  • 多區域:Enterprise Plus 才支援,SLA 最高 99.999%
  • 兩種 SQL:GoogleSQL(預設)和 PostgreSQL(GA)
  • 選型:全球規模 OLTP → Spanner;中小型 → Cloud SQL;NoSQL → Firestore

下一課 GCP-113:Cloud Bigtable 入門,來看 PB 級寬列 NoSQL 資料庫怎麼設計、怎麼操作。

資料庫選型系列

課程服務適合場景
GCP-108Cloud SQL中小型 OLTP、傳統 SQL 應用
GCP-112FirestoreMobile/Web App、即時同步
GCP-113BigtablePB 級 IoT/時序、低延遲高吞吐
ACE-211BigQueryPB 級分析、BI 報表
本課 ACE-213Spanner全球規模 OLTP、強一致性
GCP-115Memorystore微秒級快取、Session 管理

📖 完整比較:想一次看懂所有資料庫差異?參考 GCP 資料庫選型完全指南

ACE 服務實戰 — 8/11 完成 查看系列全覽 →

留言討論

徽章解鎖!