大型語言模型導論
課程概述
大型語言模型（Large Language Model, LLM）大概是生成式 AI 裡最具代表性的技術了。這堂課會帶你走過 LLM 從預訓練到部署的整個流程，認識幾種不同的模型調整方式，也看看 Google Cloud 的 LLM 產品線各自適合什麼開發需求。
你將學到
- 說明 LLM 的訓練流程：預訓練、指令微調與 RLHF
- 區分 Prompt Tuning、Parameter-Efficient Fine-tuning 與 Full Fine-tuning
- 理解 LLM 的關鍵參數：Temperature、Top-K、Top-P 對輸出的影響
- 認識 Google Cloud 的 LLM 產品：Gemini、PaLM 2 及 Model Garden 中的開源模型
核心概念
LLM 的訓練三階段
LLM 的訓練通常分三個階段。第一階段是「預訓練」（Pre-training），讓模型在海量文本上學語言的統計模式。第二階段是「指令微調」（Instruction Tuning），餵它精選過的指令-回應配對，教它學會聽人話、照指令做事。最後是「RLHF」（Reinforcement Learning from Human Feedback），用人類的偏好回饋再把模型行為校準一次，盡量減少有害或有偏誤的輸出。
模型調整技術的光譜
從最輕量到最重量的調整方式：
| 調整方式 | 訓練資料量 | 運算成本 | 適用場景 |
|---|---|---|---|
| Prompt Engineering | 不需訓練 | 零成本 | 一般性任務、快速原型 |
| Prompt Tuning | 數百至數千筆 | 低 | 特定任務的輸出風格調整 |
| LoRA / Adapter Tuning | 數千至數萬筆 | 中 | 領域特化，保留通用能力 |
| Full Fine-tuning | 數萬筆以上 | 高 | 全面轉換模型行為 |
生成參數的調控
Temperature 管的是輸出有多隨機：調低（像 0.2）回答會更確定、更保守，適合查事實；調高（像 0.8）就比較有創意、變化多。Top-K 限制每次取樣時要考慮幾個候選詞，Top-P（Nucleus Sampling）則是設一個累積機率的門檻。這幾個參數怎麼搭，直接影響輸出的品質和風格。
Google Cloud LLM 產品定位
Gemini 是 Google 目前的旗艦多模態基礎模型，文字、圖片、影片、程式碼都能當輸入。PaLM 2 是前一代的旗艦文字模型，現在已經在 Vertex AI 上淘汰（deprecated）了，請改用 Gemini。Model Garden 則收了第三方和開源模型（像 Llama、Mistral），可以直接在 Vertex AI 上部署。
實作重點
- 在 Vertex AI Studio 中嘗試調整 Temperature、Top-K 與 Top-P 參數，觀察同一個 prompt 在不同設定下的輸出差異
- 比較 Gemini Pro 與 Gemini Flash 在相同任務下的回應速度與品質
- 了解 Token 的概念：模型的輸入輸出都以 Token 為單位計費，中文字通常消耗較多 Token
- 注意模型的 Context Window（上下文視窗）大小，這決定了單次請求能處理的最大內容量
Lab 導讀
Lab 連結：Introduction to Large Language Models — Google Cloud Skills Boost
這個 Lab 一樣是影片教學加測驗的格式。重點先掌握 LLM 的幾個定義特徵（大規模訓練資料、海量參數、Transformer 架構），還有不同微調方式各自適合用在哪。測驗常考 Prompt Tuning 跟 Full Fine-tuning 差在哪，以及 Temperature 會把輸出往哪個方向帶。
延伸學習
- 概念深入：什麼是生成式 AI？ — 回顧 AI 基礎概念
- 負責任的 AI 導論 — 了解使用 LLM 時的倫理考量
- Vertex AI Prompt 設計 — 學習如何設計有效的 Prompt