Gemini API 搭配 Agent Platform(原 Vertex AI)探索 GenAI
課程概述
把 Gemini 接進應用前,先試試看同一個問題換種問法,回答會差多少。這篇先用圖形介面調整提示,再改用 API 呼叫,讓你看清楚輸入、參數和回應各在哪裡。文字與圖片的範例也會一起走過。
名稱提醒:Vertex AI 已在 2026 年 4 月改名為 Gemini Enterprise Agent Platform(簡稱 Agent Platform),Vertex AI Studio 同時改名為 Agent Studio。本文用現行名稱;課程影片與 Lab 畫面若仍顯示舊名,指的是同一個產品。

好的回應從可控輸入開始:先組合角色、指令、範例與多模態內容,再經 Agent Platform(圖上印的是舊名 Vertex AI)的專案與權限邊界呼叫模型;參數與安全設定調整輸出行為,Studio 驗證完成後才產生 API/SDK 串接。
你將學到
- 在 Agent Studio(原 Vertex AI Studio)中使用圖形介面測試 Gemini 模型
- 透過 REST API 或 Google Gen AI SDK for Python 呼叫 Gemini API(官方課程的 Lab 用的是這套 SDK,另有一個 Function Calling 的 Lab,本文不展開)
- 設計有效的 Prompt,包含 Zero-shot 與 Few-shot 技巧
- 使用多模態功能分析圖片與文件
- 理解 Gemini 模型家族的差異與選擇策略
核心概念
Gemini 模型家族
| 模型 | 特色 | 適用場景 | 速度 | 成本 |
|---|---|---|---|---|
| Gemini Flash | 速度快、成本低(更省可選 Flash-Lite) | 大量請求、即時互動 | 極快 | 低 |
| Gemini Pro | 推理能力最強 | 複雜分析、長文本 | 中等 | 中 |
| Gemini Nano | 裝置端推論(Android、Chrome) | 行動裝置、瀏覽器內建 AI(不在本課程範圍) | 取決於裝置 | 無雲端成本 |
表格超出欄寬時,可左右捲動;鍵盤可聚焦表格後用左右方向鍵查看。
注意:Gemini Nano 是裝置端模型:Android 上透過 AICore/ML Kit GenAI API 使用,Chrome 則透過瀏覽器的內建 AI API 使用;它無法透過 Agent Platform 或 Gemini API 呼叫。本課程聚焦於 Agent Platform,實際可選用的是 Flash 與 Pro。
大多數場景建議從 Flash 開始,只有在效果不佳時才考慮升級到 Pro。(版本提醒:Gemini 的型號更新很快,這裡只談 Flash/Pro 的分層邏輯。2026 年 10 月 12 日查證時,Agent Platform 模型清單上正式發布的 Gemini 3 系列文字模型都屬於 Flash 與 Flash-Lite,Pro 層級的 Gemini 3.1 Pro 列在預先發布區;Gemini 2.5 Pro/Flash/Flash-Lite 的退役日是 2026 年 10 月 20 日。實際可用的型號與退役日,請以官方的模型清單與模型生命週期表為準。)
Agent Studio
Agent Studio 是 Google Cloud Console 裡的圖形化 GenAI 開發環境,不用寫任何程式碼就能:
- 測試不同 Prompt 並比較回應品質
- 調整模型設定:思考層級(thinking level)、結構化輸出與安全篩選(Gemini 3.6 Flash 起的 Flash 系列模型與 3.5 Flash-Lite 會忽略自訂的 temperature、top-K、top-P)
- 上傳圖片測試多模態能力
- 一鍵取得對應的 API 呼叫程式碼
Prompt 設計基礎
Prompt 寫得好不好,幾乎決定了 GenAI 應用的成敗。幾個核心技巧:
- 角色設定 — 告訴模型「你是一位…」,框定回答範圍
- 明確指令 — 具體說明期望的格式、長度、語言
- Zero-shot — 直接提問,不提供範例
- Few-shot — 提供 2-3 個輸入/輸出範例,引導模型學習模式
- Chain-of-thought — 要求模型「一步一步思考」,提升推理品質

把 Prompt 拆成可獨立修改的區塊,並明確定義輸出格式;每次只改一項,使用固定案例比較正確性、安全性與成本,才能知道品質變化來自哪個調整。
多模態能力
Gemini 原生就支援多模態,意思是你可以在同一個請求裡混搭好幾種輸入:
- 上傳一張架構圖,要求 Gemini 分析並提出改善建議
- 傳入一段影片,請 Gemini 摘要關鍵內容
- 結合文字描述與參考圖片,生成更精確的回應

多模態不是把檔案全部塞進請求:先用文字說清楚每份素材的角色與任務,再控制解析度、片段範圍、Token 與延遲預算,最後驗證素材順序和安全設定。
流程圖暫時無法顯示。可先查看下方的流程與節點文字,或重新整理頁面後再試。
查看流程與節點文字
箭頭表示流程方向;方括號與引號內是節點名稱,可搭配下方圖解閱讀。
%%{init: {"flowchart": {"curve": "linear", "nodeSpacing": 24, "rankSpacing": 32}}}%%
flowchart TD
TASK["定義任務、輸出 Schema<br/>與固定的代表性測試集"] --> FLASH["先用 Flash 測試角色、指令、<br/>範例、參數與安全設定"]
FLASH --> GATE{"正確性、安全性、延遲<br/>與成本都達標?"}
GATE -->|"是"| VERSION["版本化 Prompt、模型代碼<br/>參數與測試結果"]
GATE -->|"否"| CAUSE{"主要問題來自哪裡?"}
CAUSE -->|"指令或格式不清"| PROMPT["補限制、輸出格式與 Few-shot 範例"]
CAUSE -->|"模型能力不足"| MODEL["用相同測試集比較 Pro<br/>並確認成本增幅值得"]
PROMPT --> RETEST["重新跑固定案例與失敗邊界"]
MODEL --> RETEST
VERSION --> PROD["以 SDK、工作負載身分與監控上線"] 實作重點
- 在 Agent Studio 測試好 Prompt 後,可點擊「取得程式碼」直接複製 Python / curl 範例
- API 呼叫需先啟用 Gemini Enterprise Agent Platform API(原 Vertex AI API,服務名仍是
aiplatform.googleapis.com),並設定正確的 GCP 專案與區域 - 取樣參數(temperature、top-P、top-K):值越低輸出越固定、越高越多樣。Gemini 的 temperature 範圍是 0.0 到 2.0、預設 1.0,官方對 Gemini 3 強烈建議維持預設值;Gemini 3.6 Flash 起的 Flash 系列模型與 3.5 Flash-Lite 會忽略自訂的 temperature、top-K、top-P,官方改用 thinking level 與結構化輸出控制穩定度(查證日 2026-10-12)
- 常見錯誤:Prompt 過於模糊導致回應品質不穩定,應加入明確的限制條件
- 安全性:生產環境務必透過 VPC Service Controls 限制 API 存取範圍
Skill Badge 指引
Lab 連結:Explore Generative AI in Agent Platform(原名 Explore Generative AI with the Gemini API in Vertex AI)— 完成此 lab 可獲得 Skill Badge
延伸學習
- Gemini 輔助數據分析 — 將 Gemini 應用在資料分析場景
- 在 BigQuery 中使用 Gemini 模型 — 在 SQL 查詢中直接呼叫 Gemini
- GCP GenAI 課程:Prompt Engineering — 把進階 Prompt 工程技巧再練熟一點
讀完後,留一個學習紀錄
試著用自己的話說出一個重點,以及你會如何運用。實作文章請先核對結果與清理資源,再標記為讀完。
文章進度以你確認讀完的標記為準,可隨時取消。舊版造訪紀錄保留,但不計入讀完;這份自評不代表已掌握內容。