生成式 AI 產品怎麼分層

課程概述

生成式 AI 的產品變得很快，光看模型排行榜很容易越看越亂。這堂課會把市場拆成基礎設施、模型、平台、Agent 和應用五層，讓你知道每一層負責什麼，也比較容易看懂 Google Cloud 的產品放在哪裡。重點不是背完所有品牌，而是學會碰到需求時該從哪一層開始選。

你將學到

• 描述 GenAI 生態系統的五層架構：基礎設施、模型、平台、Agent、應用
• 比較主流基礎模型的特色與適用場景
• 解釋 Google Cloud Model Garden 的定位與開放策略
• 評估開源模型與商用模型在不同場景下的取捨

核心概念

GenAI 生態系統五層架構

生態系統由下而上可以分成五層。最底層是基礎設施層，包括 GPU／TPU 與雲端運算服務。往上是模型層，也就是各家推出的基礎模型（Gemini、GPT、Claude、Llama 等）。再上去是平台層，負責模型部署、評估、監控和治理；Google Cloud 現在稱為 Gemini Enterprise Agent Platform（簡稱 Agent Platform），課程中的舊名稱則是 Vertex AI。平台之上是 Agent 層，指依輸入和可用的工具去達成目標的軟體。最上面是應用層，直接面向使用者的產品和解決方案。

Google Cloud 從硬體到應用的布局

Google Cloud 在五層都有產品：TPU 和 GPU 提供運算資源，Gemini 與其他模型負責推論，Agent Platform 提供部署、評估與治理，也用來建立自訂 Agent，Workspace with Gemini 和 Gemini Code Assist 則是直接給使用者用的應用（Gemini Code Assist 的 Standard 與 Enterprise 訂閱自 2026 年 10 月 9 日起停止新購，既有訂閱可用到合約期滿）。整套都在同一個雲端環境，權限、帳務和監控比較容易串起來；但是否適合，還是要回到團隊已有的技術、法規要求和總持有成本。

Model Garden：先把候選模型放到同一個地方比較

Model Garden 收錄 Google 模型、合作夥伴模型和開放模型，可以從模型卡查看用途、授權與部署方式。有些模型能直接呼叫代管 API，有些則要部署到 Endpoint 並自行負擔運算資源。把模型放在同一個目錄確實比較好比較，但不代表換模型完全沒有成本；API、Prompt、評估資料和安全設定仍可能需要調整。

開源 vs 商用模型的抉擇

表格超出欄寬時，可左右捲動；鍵盤可聚焦表格後用左右方向鍵查看。

%%{init: {"flowchart": {"curve": "linear", "nodeSpacing": 24, "rankSpacing": 32}}}%%
flowchart TB
  subgraph SCOPE["① 先看資料與營運責任"]
      direction LR
      NEED["寫下任務、品質門檻、<br/>資料限制與預估流量"] --> CONTROL{"資料或模型必須留在<br/>自管環境嗎？"}
      CONTROL -->|"否"| OPS{"團隊願意長期管理<br/>模型服務與加速器嗎？"}
  end
  CONTROL -->|"是"| SELF["挑選可接受授權的開放模型<br/>規劃 GPU、擴縮與修補責任"]
  OPS -->|"願意"| SELF
  OPS -->|"不想"| MANAGED["評估代管 API 或<br/>Model as a Service"]
  subgraph COMPARE["② 用相同條件比較候選模型"]
      direction LR
      CHECK["確認授權、區域、資料使用、<br/>安全設定與版本政策"] --> EVAL["用代表性資料比較<br/>品質、延遲與總成本"]
      EVAL --> PASS{"達到上線門檻嗎？"}
  end
  SELF --> CHECK
  MANAGED --> CHECK
  PASS -->|"否"| SHORTLIST["換下一個候選模型<br/>或重新檢查需求"]
  SHORTLIST --> CHECK
  PASS -->|"是"| PILOT["先導入少量流量，<br/>保留回退方案並持續監控"]

實作重點

• 瀏覽 Gemini Enterprise Agent Platform 的 Model Garden，用篩選面板的 Tasks、Model collections、Providers、Features 篩選模型
• 比較同類型模型的規格：參數量、Context Window、支援語言、授權條款
• 注意 Google Cloud 的 TPU 定價與 GPU（NVIDIA A100 / H100）的差異
• 了解 Agent Platform Endpoints 如何部署開放模型，以及自動擴展的設定方式

課程導讀

課程連結：Gen AI: Navigate the Landscape — Google Skills

這門課是 Gen AI Leader 學習路徑的第三門，課程頁列出的活動是互動教材和小測驗，沒有實作 Lab。四個單元先看 gen AI landscape 的分層，再講 Agent 與應用、平台、模型到基礎設施，最後談怎麼依人力、成本、時間與需求決定從哪一層切入。看教材時可以帶著這幾個問題：各個模型的定位是什麼、Google Cloud 的產品對應到哪一層，還有特定場景下該怎麼挑模型跟平台。建議邊看邊整理一張「模型選擇決策表」，照任務類型、成本、合規需求這幾個維度分類，之後查起來會很省力。

延伸學習

• GenAI 應用轉化工作模式 — 了解 GenAI 如何在工作場域落地
• GenAI Agent 轉型組織 — AI Agent 如何改變組織運作
• Google Cloud AI/ML 概論 — Google Cloud AI/ML 產品的技術深潛