跳至主要內容
Study Jam:數據與 AI 基礎 — 第 7/12 篇

Gemini API 搭配 Agent Platform(原 Vertex AI)探索 GenAI

內文字級

Gemini API 搭配 Agent Platform(原 Vertex AI)探索 GenAI
更新:2026-10-12

課程概述

把 Gemini 接進應用前,先試試看同一個問題換種問法,回答會差多少。這篇先用圖形介面調整提示,再改用 API 呼叫,讓你看清楚輸入、參數和回應各在哪裡。文字與圖片的範例也會一起走過。

名稱提醒:Vertex AI 已在 2026 年 4 月改名為 Gemini Enterprise Agent Platform(簡稱 Agent Platform),Vertex AI Studio 同時改名為 Agent Studio。本文用現行名稱;課程影片與 Lab 畫面若仍顯示舊名,指的是同一個產品。

Gemini Enterprise Agent Platform 上的 Gemini API 流程:角色、明確指令、少量範例與文字圖片影片組成多模態 Prompt,經專案、區域與 IAM 安全閘道送入 Gemini,溫度與取樣參數控制回應,再從 Studio 測試轉成 API 串接(圖上印的是舊名 Vertex AI)

好的回應從可控輸入開始:先組合角色、指令、範例與多模態內容,再經 Agent Platform(圖上印的是舊名 Vertex AI)的專案與權限邊界呼叫模型;參數與安全設定調整輸出行為,Studio 驗證完成後才產生 API/SDK 串接。

你將學到

  • 在 Agent Studio(原 Vertex AI Studio)中使用圖形介面測試 Gemini 模型
  • 透過 REST API 或 Google Gen AI SDK for Python 呼叫 Gemini API(官方課程的 Lab 用的是這套 SDK,另有一個 Function Calling 的 Lab,本文不展開)
  • 設計有效的 Prompt,包含 Zero-shot 與 Few-shot 技巧
  • 使用多模態功能分析圖片與文件
  • 理解 Gemini 模型家族的差異與選擇策略

核心概念

Gemini 模型家族

模型特色適用場景速度成本
Gemini Flash速度快、成本低(更省可選 Flash-Lite)大量請求、即時互動極快低
Gemini Pro推理能力最強複雜分析、長文本中等中
Gemini Nano裝置端推論(Android、Chrome)行動裝置、瀏覽器內建 AI(不在本課程範圍)取決於裝置無雲端成本

表格超出欄寬時,可左右捲動;鍵盤可聚焦表格後用左右方向鍵查看。

注意:Gemini Nano 是裝置端模型:Android 上透過 AICore/ML Kit GenAI API 使用,Chrome 則透過瀏覽器的內建 AI API 使用;它無法透過 Agent Platform 或 Gemini API 呼叫。本課程聚焦於 Agent Platform,實際可選用的是 Flash 與 Pro。

大多數場景建議從 Flash 開始,只有在效果不佳時才考慮升級到 Pro。(版本提醒:Gemini 的型號更新很快,這裡只談 Flash/Pro 的分層邏輯。2026 年 10 月 12 日查證時,Agent Platform 模型清單上正式發布的 Gemini 3 系列文字模型都屬於 Flash 與 Flash-Lite,Pro 層級的 Gemini 3.1 Pro 列在預先發布區;Gemini 2.5 Pro/Flash/Flash-Lite 的退役日是 2026 年 10 月 20 日。實際可用的型號與退役日,請以官方的模型清單與模型生命週期表為準。)

Agent Studio

Agent Studio 是 Google Cloud Console 裡的圖形化 GenAI 開發環境,不用寫任何程式碼就能:

  • 測試不同 Prompt 並比較回應品質
  • 調整模型設定:思考層級(thinking level)、結構化輸出與安全篩選(Gemini 3.6 Flash 起的 Flash 系列模型與 3.5 Flash-Lite 會忽略自訂的 temperature、top-K、top-P)
  • 上傳圖片測試多模態能力
  • 一鍵取得對應的 API 呼叫程式碼

Prompt 設計基礎

Prompt 寫得好不好,幾乎決定了 GenAI 應用的成敗。幾個核心技巧:

  • 角色設定 — 告訴模型「你是一位…」,框定回答範圍
  • 明確指令 — 具體說明期望的格式、長度、語言
  • Zero-shot — 直接提問,不提供範例
  • Few-shot — 提供 2-3 個輸入/輸出範例,引導模型學習模式
  • Chain-of-thought — 要求模型「一步一步思考」,提升推理品質
可測試提示詞結構:角色與任務、輸入資料、限制條件、輸出格式和範例組成版本化 Prompt,再以固定測試集評估

把 Prompt 拆成可獨立修改的區塊,並明確定義輸出格式;每次只改一項,使用固定案例比較正確性、安全性與成本,才能知道品質變化來自哪個調整。

多模態能力

Gemini 原生就支援多模態,意思是你可以在同一個請求裡混搭好幾種輸入:

  • 上傳一張架構圖,要求 Gemini 分析並提出改善建議
  • 傳入一段影片,請 Gemini 摘要關鍵內容
  • 結合文字描述與參考圖片,生成更精確的回應
Gemini 多模態請求組裝:文字指令、圖片、音訊或影片片段依序加入內容,再套用內容大小、Token、延遲與安全限制

多模態不是把檔案全部塞進請求:先用文字說清楚每份素材的角色與任務,再控制解析度、片段範圍、Token 與延遲預算,最後驗證素材順序和安全設定。

查看流程與節點文字

箭頭表示流程方向;方括號與引號內是節點名稱,可搭配下方圖解閱讀。

%%{init: {"flowchart": {"curve": "linear", "nodeSpacing": 24, "rankSpacing": 32}}}%%
flowchart TD
  TASK["定義任務、輸出 Schema<br/>與固定的代表性測試集"] --> FLASH["先用 Flash 測試角色、指令、<br/>範例、參數與安全設定"]
  FLASH --> GATE{"正確性、安全性、延遲<br/>與成本都達標?"}
  GATE -->|"是"| VERSION["版本化 Prompt、模型代碼<br/>參數與測試結果"]
  GATE -->|"否"| CAUSE{"主要問題來自哪裡?"}
  CAUSE -->|"指令或格式不清"| PROMPT["補限制、輸出格式與 Few-shot 範例"]
  CAUSE -->|"模型能力不足"| MODEL["用相同測試集比較 Pro<br/>並確認成本增幅值得"]
  PROMPT --> RETEST["重新跑固定案例與失敗邊界"]
  MODEL --> RETEST
  VERSION --> PROD["以 SDK、工作負載身分與監控上線"]
每次只改 Prompt、參數或模型中的一項,並重跑同一組案例,才能判斷品質變化的來源。通過多項門檻後再把完整設定版本化並串接 API。

實作重點

  • 在 Agent Studio 測試好 Prompt 後,可點擊「取得程式碼」直接複製 Python / curl 範例
  • API 呼叫需先啟用 Gemini Enterprise Agent Platform API(原 Vertex AI API,服務名仍是 aiplatform.googleapis.com),並設定正確的 GCP 專案與區域
  • 取樣參數(temperature、top-P、top-K):值越低輸出越固定、越高越多樣。Gemini 的 temperature 範圍是 0.0 到 2.0、預設 1.0,官方對 Gemini 3 強烈建議維持預設值;Gemini 3.6 Flash 起的 Flash 系列模型與 3.5 Flash-Lite 會忽略自訂的 temperature、top-K、top-P,官方改用 thinking level 與結構化輸出控制穩定度(查證日 2026-10-12)
  • 常見錯誤:Prompt 過於模糊導致回應品質不穩定,應加入明確的限制條件
  • 安全性:生產環境務必透過 VPC Service Controls 限制 API 存取範圍

Skill Badge 指引

Lab 連結:Explore Generative AI in Agent Platform(原名 Explore Generative AI with the Gemini API in Vertex AI)— 完成此 lab 可獲得 Skill Badge

延伸學習

Study Jam:數據與 AI 基礎 — 第 7 篇/共 12 篇 查看系列全覽 →

讀完後,留一個學習紀錄

試著用自己的話說出一個重點,以及你會如何運用。實作文章請先核對結果與清理資源,再標記為讀完。

文章進度以你確認讀完的標記為準,可隨時取消。舊版造訪紀錄保留,但不計入讀完;這份自評不代表已掌握內容。

留言討論

文章目錄與系列

徽章解鎖!