跳至主要內容
ESC
Study Jam:GenAI 開發者實戰 — 第 8/29 篇

探索 GenAI 生態系統

探索 GenAI 生態系統

課程概述

生成式 AI 的產品變得很快,光看模型排行榜很容易越看越亂。這堂課會把市場拆成基礎設施、模型、平台和應用四層,讓你知道每一層負責什麼,也比較容易看懂 Google Cloud 的產品放在哪裡。重點不是背完所有品牌,而是學會碰到需求時該從哪一層開始選。

生成式 AI 生態系四層:運算與資料基礎設施支撐開源及商用基礎模型,平台中介層提供模型目錄、向量資料庫、編排、安全與評估,最上層是各類應用與 Agent,全域治理橫跨各層

價值由基礎設施、模型、平台中介一路向上形成應用,遙測與回饋則向下改善各層。開源模型偏向可攜與控制,商用模型偏向託管能力和交付速度;選型要回到需求、治理與營運成本。

你將學到

  • 描述 GenAI 生態系統的四層架構:基礎設施、模型、平台、應用
  • 比較主流基礎模型的特色與適用場景
  • 解釋 Google Cloud Model Garden 的定位與開放策略
  • 評估開源模型與商用模型在不同場景下的取捨

核心概念

GenAI 生態系統四層架構

生態系統由下而上可以分成四層。最底層是基礎設施層,包括 GPU/TPU 與雲端運算服務。往上是模型層,也就是各家推出的基礎模型(Gemini、GPT、Claude、Llama 等)。再上去是平台層,負責模型部署、評估、監控和治理;Google Cloud 現在稱為 Gemini Enterprise Agent Platform,課程中的舊名稱則是 Vertex AI。最上面是應用層,直接面向使用者的產品和解決方案。

Google Cloud 從硬體到應用的布局

Google Cloud 在四層都有產品:TPU 和 GPU 提供運算資源,Gemini 與其他模型負責推論,Agent Platform 提供部署、評估與治理,Workspace with Gemini 和 Gemini Code Assist 則是直接給使用者用的應用。整套都在同一個雲端環境,權限、帳務和監控比較容易串起來;但是否適合,還是要回到團隊已有的技術、法規要求和總持有成本。

Model Garden:先把候選模型放到同一個地方比較

Model Garden 收錄 Google 模型、合作夥伴模型和開放模型,可以從模型卡查看用途、授權與部署方式。有些模型能直接呼叫代管 API,有些則要部署到 Endpoint 並自行負擔運算資源。把模型放在同一個目錄確實比較好比較,但不代表換模型完全沒有成本;API、Prompt、評估資料和安全設定仍可能需要調整。

開源 vs 商用模型的抉擇

考量因素開放/自行部署模型代管商用模型
成本要計算 GPU、閒置容量與維運人力通常按量或預留吞吐量計費
控制權可控制版本、執行環境與部分模型行為受供應商 API、區域與版本政策影響
品質可能很適合特定任務,仍要用自己的資料實測通用能力通常完整,仍可能答錯
合規資料路徑較能自訂,控制措施也要自己建平台提供控制,仍需確認設定與責任
維護團隊負責修補、擴縮、監控與升級供應商處理底層維運,整合仍由團隊負責
模型選型不只比回答品質。先決定資料放哪裡、團隊願意承擔多少維運,再用同一份評估資料比較品質、延遲和總成本,最後才小流量上線。

實作重點

  • 瀏覽 Gemini Enterprise Agent Platform 的 Model Garden,按類別(文字、圖片、程式碼、嵌入)篩選模型
  • 比較同類型模型的規格:參數量、Context Window、支援語言、授權條款
  • 注意 Google Cloud 的 TPU 定價與 GPU(NVIDIA A100 / H100)的差異
  • 了解 Agent Platform Endpoints 如何部署開放模型,以及自動擴展的設定方式

Lab 導讀

Lab 連結Gen AI: Navigate the Landscape — Google Cloud Skills Boost

這個 Lab 是從產業分析的角度帶你認識 GenAI 生態系統。測驗會考你懂不懂各個模型的定位、Google Cloud 產品怎麼對應,還有特定場景下該怎麼挑模型跟平台。建議邊看邊整理一張「模型選擇決策表」,照任務類型、成本、合規需求這幾個維度分類,之後查起來會很省力。

延伸學習

Study Jam:GenAI 開發者實戰 — 8/29 完成 查看系列全覽 →

留言討論

徽章解鎖!