Google on IT 空間

Google 推出新一代開源模型 Gemma 4！

jia@jiatool.com (Jia) — Fri, 03 Apr 2026 10:50:00 +0800

前言

時隔一年，Google 終於再度推出新一代開源模型~

支援文字和影像輸入(E4B、E2B 多支援音訊)，並首次引入 MoE 架構，而且 license 改成商業上較為寬鬆的 Apache 2.0 授權，

在 Arena AI 文本排行榜(開源模型)上，31B 排全球第三、26B 排全球第六。

Gemma 4 開源模型

重點介紹

✨ Agent 能力：原生支援 function-calling、結構化 JSON 輸出、system 角色，對於現今最流行的自主 Agent 能更好支援。
✨ 影像和音訊：所有模型都原生支援「影像和視訊」輸入，支援多種分辨率 (對於 OCR、圖表識別任務更出色)。E2B 和 E4B 型號還具備原生音訊輸入。
✨ 推理能力：能夠進行多步驟規劃和深度邏輯推理，因此在數學和指令遵循基準測試中顯著進步，並且可調整思考模式。
✨ Coding 能力：在 Coding 基準測試取得了顯著改進。
✨ 增大 Context Length：31B 和 26B 為 256K；E4B 和 E2B 為 128K。
✨ 140 多種語言：原生支援 140 多種語言。
✨ Apache 2.0 授權

Gemma 4 基準測試結果

Arena.ai 聊天競技場上的開放模型表現與規模對比

[31B 和 26B 模型]

參數量：30.7B (Dense) 和 25.2B (MoE 架構，4B active)
- 26B 的 Expert 數量：8 active / 128 total and 1 shared
輸入類型：文字、圖像
Context Length：256K tokens

[E4B 和 E2B 模型]
針對邊緣設備最佳化，例如在行動裝置或筆記型電腦上運行。

參數量：4.5B effective (8B with embeddings) 和 2.3B effective (5.1B with embeddings)
輸入類型：文字、圖像、音訊
Context Length：128K tokens

結語

趕緊來試試看~

對生成式 AI 感興趣的讀者，記得追蹤 FB 粉專『 IT空間』，以免錯過最新的發文通知呦~🔔

參考：
Google 官方部落格介紹
 Ollama
Hugging Face
Hugging Face 的測試文章

在你沒有成功之前，沒有任何人會理解你。

—— 比爾·蓋茲

Gemini Diffusion 模型開放試玩，速度快 5 倍！

jia@jiatool.com (Jia) — Sat, 07 Jun 2025 17:50:00 +0800

前言

Google 的 Gemini Diffusion 模型開放試玩了！✨

它跟現在常見的文字生成模型不同，不是一個一個字逐字生成，而是像生成圖片的 Diffusion 模型，從一開始雜訊慢慢變成清晰的圖片。

Gemini Diffusion 也是，從一開始不連貫的文字，迭代逐漸變通順 (但因為太快了，也看不清楚🤣)，蠻奇特的感覺。

而且速度快好幾倍，我實測平均每秒大概 700～800 tokens (也有到 1100 tokens)，生成長度越長、平均速度應該越快。

試玩網站 (可能要有加入候補名單)：
https://deepmind.google.com/frontiers/gemini-diffusion

Gemini Diffusion 官網：https://deepmind.google/models/gemini-diffusion/
官方介紹：https://blog.google/technology/google-deepmind/gemini-diffusion/

Gemini Diffusion 網站

Gemini Diffusion 簡介

Gemini Diffusion 與目前一般主流的 LLM 模型架構，在生成方式、訓練方式上有很大的不同。

Autoregressive Language Model (自回歸模型，例如 GPT、Gemini 系列) 是以序列的方式生成資料，一次只能生成一個 token，也因此難以並行處理。

而 Diffusion Model (擴散模型) 是從隨機雜訊逐漸「去噪」回清晰的資料，目前主力在圖片生成方面 (例如 DALL·E、Stable Diffusion)，但 Diffusion 模型最初是為連續數據 (如圖片) 設計的，文字是離散的數據，因此 Diffusion 模型在文字生成方面效果、成熟度還不如自回歸模型。

Google 號稱跟 Gemini 2.0 Flash-Lite 相比，可以提升到 5 倍速度。

官方展示影片：

但相比主流的自回歸模型，Diffusion 模型用在文字生成方面，表現還是略微遜色。

目前 Gemini Diffusion 大約同等於 Gemini 2.0 Flash-Lite 的分數：

Playground - Benchmark

試玩網站

Gemini Diffusion 試玩網站提供兩種介面 (頁面右上角)：

Playground
Instant edit

Gemini Diffusion 試玩網站

Playground 介面

就像常見的聊天介面，一問一答的方式：

prompt：給我五種台灣五天自由行的詳細規劃

(3216 tokens / 3.992s = 806 tokens/s)

完成後下方會顯示 token 總數與耗時。

Playground - 行程規劃

* 我也使用 Gemini 2.0 Flash-Lite 輸入一樣的 prompt，生成速度為 158 tokens/s (總共 2722 tokens)，差不多 Gemini Diffusion 就是它的 5.1 倍！
* 不過我不知道兩者背後的主機硬體是否相同，所以不確定這樣比較速度是否準確。

並且像是網頁的程式碼，也可以直接預覽和查看程式碼：

prompt：生成一個 todo list 前端網頁

(1791 tokens / 2.522s = 711 tokens/s)

Playground - 前端網頁

* 使用 Gemini 2.0 Flash-Lite 輸入一樣的 prompt，生成速度為 182 tokens/s (總共 2243 tokens)，是 Gemini Diffusion 的 3.9 倍。

測試寫 Python、C#、JavaScript 程式碼：

prompt：使用 Python 判斷網址是否為正確格式，不要使用正則表達式，並添加至少 5 個測試案例，然後將其翻譯為 C# 與 JS。解釋其時間複雜度。

(4131 tokens / 3.646s = 1134 tokens/s)

Playground - Python、C#、JavaScript 程式碼

* 使用 Gemini 2.0 Flash-Lite 輸入一樣的 prompt，生成速度為 164 tokens/s (總共 1608 tokens)，是 Gemini Diffusion 的 6.9 倍！

Instant edit 介面

有點類似很基礎的 ChatGPT Canvas 或 Gemini Canvas，可以幫你針對文章、程式碼去優化/簡化文字、更改格式、修復程式碼 bug，主要應該是 UI 上的不同。

針對有變更的部分，它會標示出來。

prompt：優化以上文章

Instant edit - 優化文章

結語

因為它是一次生成大範圍的文字，所以假如只是簡短的輸出，那平均速度就很慢了：

Gemini Diffusion 簡短的輸出

另外，
目前文字生成的擴散模型，商業用途開放的除了 Gemini Diffusion，應該只有 Inception 的 Mercury ，在 Mercury Coder Playground 登入就可以玩了。

所以假如你還沒辦法使用 Gemini Diffusion，也可以到 Mercury Coder 體驗一下 Diffusion Model 有趣的生成的效果。

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

參考：
Gemini Diffusion 官網
 Gemini Diffusion is our new experimental research model
Gemini Diffusion 試玩網站

Smart people focus on the right things.
有智慧的人懂得專注於對的事情。

—— 黃仁勳 (NVIDIA 共同創辦人暨執行長)

透過 Gemini 原生音訊，自動生成 Podcast 對話 (使用 Google AI Studio)

jia@jiatool.com (Jia) — Sun, 25 May 2025 21:15:00 +0800

前言

這次 Google I/O 2025 公布了支援原生音訊輸出文字轉語音 (TTS) 的 Gemini 2.5 Pro 和 Flash，可以指定語音的風格、口音、速度和音調等等，而且還可以一次生成單一發言者或多位發言者。

同步，Google AI Studio 也加入 Gemini speech generation 介面，方便我們透過網頁 UI 直接試玩。

Gemini speech generation 介面

先來了解一下 Google AI Studio 的 Gemini speech generation 操作介面，在 Generate Media > Gemini speech generation。

直接先看右側的面板。

介面右側 - 語音設定

可以選擇生成語音的模型，目前有兩個模型可以選擇：

Gemini 2.5 Pro Preview TTS
Gemini 2.5 Flash Preview TTS

建議優先使用「Gemini 2.5 Pro Preview TTS」模型，我測試起來效果還是比較好的。

再來選擇要單一發言者或多位發言者(目前最多兩位)：

Single-speaker audio
Multi-speaker audio

最後 "Voice settings " 個別設定他們的名字與語音風格。
語音風格每個都可以點擊播放鍵試聽，目前共有 30 種語音風格可以選擇。

* 雖然官方文件內寫目前支援的語言沒有中文，但我測試中文結果還是不錯的。

看回中間的部分，設定文字腳本 (也就是我們希望它念的內容)，分成左右兩邊 "Raw structure" 和 "Script builder"，其實他們是一樣的內容，修改其中一邊，另一邊也會跟著同步。

之後我們生成的逐字稿內容，可以直接一次貼在左邊的 "Raw structure"，較方便。
右邊的 "Script builder" 只是為了讓我們在 UI 上操作，並確認格式有沒有跑掉。

介面中間 - 文字腳本

從文章生成 Podcast 語音

這次我們最主要的目的，是想要「從文章去生成出一段 Podcast 風格的對話語音」。

我的基礎概念很簡單，就是先由 Gemini 模型將一篇(或多篇)文章整理成 Podcast 逐字稿，再交由 Gemini TTS 模型去生成出 Podcast 語音檔案。

從文章生成 Podcast 語音

接下來，一起來實際看看該怎麼操作吧~🚀

生成 Podcast 逐字稿

首先，我們後續想透過 Gemini TTS 模型生成語音，就要先來了解它支援的腳本架構。

* 因為我想要的是兩人的 Podcast 風格，因此我是選擇 "Multi-speaker audio" (兩位發言者)。

介面中間 - 文字腳本 ("Multi-speaker audio")

它的開頭是 "Style instructions"，可以針對風格、口音、速度、音調…等等去描述。

再來就是每位發言者說的內容，前面使用 Speaker 1: 和 Speaker 2: 來標示 (這兩個名字可以換，記得要去右測面板 "Voice settings" 設定)

我測試發現，有關說話的語氣、情緒也可以寫在內容裡，不過要做點標示讓 AI 能懂，它才不會以為是逐字稿而唸出來，像我是使用 {{}} 符號來跟一般內容區隔。這部分官方沒有說明，用別的符號也可以，但不要用單個小括號 ()，我測試過它有時候會不小心說出來 XD

* 如果不指定語氣、情緒，模型也會自動根據文字內容產生符合的，但這就像是通訊軟體內的文字訊息，同樣一句話，但不同人看，可能會有不同的理解與感受。因此明確標註語氣或情緒，能幫助模型生成更準確符合我們的預期。

了解腳本架構後，我們來到 " Google AI Studio > Chat "。

我這邊是使用 Gemini 2.5 Pro Preview 模型，比較聰明，效果應該會更好。

[2025/05/30 補充]

目前我有想到三種文章來源的方法：

自己手動複製文章內容
透過「網址」- URL context
透過「Google 搜尋」- Grounding with Google Search

自己手動複製文章內容

這是最直覺的方法，也就是去網路上找到文章，然後手動複製文章內容到 prompt 裡面，相對來說較麻煩一些，但是可以自己刪減、微調文章內容。

以下是我自己想出來的 prompt，各位可以直接複製來用，並依照自己的需求修改：

根據以下文章內容，整理出雙人 Podcast 逐字稿，遵循以下規則：
- 逐字稿使用繁體中文。
- 逐字稿總長度約 1000 字。
- 分別有 主持人 "Speaker 1" 與 主持人 "Speaker 2"，"Speaker 1" 為台灣人年輕女性、"Speaker 2" 為台灣人年輕男性。
- 如果有必要，主持人互相使用 "你" 稱呼。
- 皆使用台灣用語、台灣連接詞，可以適時使用台灣狀聲詞。
- 如果有需要描述語氣、情緒，使用 "{{}}"，例如 "{{哈哈大笑}}" 或 "{{難過情緒}}"。
- 只需要輸出逐字稿，不需要其他說明。
- <其他要求，例如流程、架構、著重特定聽者>
逐字稿範例：
```
Speaker 1: {{驚嘆}} 哇塞！各位聽眾朋友，你們知道嗎？
Speaker 2: {{疑問語氣}} 最近有什麼有趣的新聞嗎？
Speaker 1: NotebookLM 最近加入一個「Audio Overviews」新功能。
Speaker 2: {{小小的疑問}} 你是說 Google 推出的 NotebookLM 嗎？
Speaker 1: 沒錯！它最近有個新功能，可以把 PDF、影片、圖檔這些資料，直接做成精美的簡報，而且還有圖片跟流暢的旁白喔！據說它可能用了那個很威的影片生成模型 Veo2。
Speaker 2: {{語氣轉折、好奇}} 不過咧，講到這裡，可能有些台灣朋友會想說：「{{疑問語氣}} 那中文版可以用嗎？」
Speaker 1: {{微微嘆氣}} 欸，很可惜，目前中文版的 NotebookLM 還沒看到這個 Video Overviews 的功能...
```
文章內容：
```
<文章內容貼這裡>
```

例如我餵給它這篇文章： Gemini 2.5: Our most intelligent models are getting even better

生成 Podcast 逐字稿

可以看到有依照我們的指令，生成較符合台灣人的用語、語助詞，這樣可以讓後續結果更人性化、自然~

("發摟"、"哇塞"、"很威欸"、"最屌的" 🤣🤣🤣)

Speaker 1: {{興奮}} 欸欸欸！各位聽眾朋友，你們最近有沒有發摟到 Google AI 的最新動態啊？他們家最近可是動作頻頻耶！

Speaker 2: {{好奇}} 喔？Google AI 嗎？他們那個 Gemini 不是才剛推出 2.5 Pro 沒多久？又有新東西啦？感覺他們最近火力全開耶！

Speaker 1: 對啊！就是那個 Gemini 2.5 模型系列，這次又有超～多～更新！我跟你說，首先就是那個 Gemini 2.5 Pro，聽說現在更猛了！

Speaker 2: {{挑眉}} 更猛？它之前在學術評測上不是就已經很強了嗎？這次又進化到什麼程度啊？

Speaker 1: 不只學術評測厲害喔！它現在在那個 WebDev Arena 跟 LMArena 的排行榜上，都是第一名耶！這兩個排行榜可是很看重實際應用跟使用者偏好的，能拿第一很不簡單。

Speaker 2: {{驚訝}} 哇塞！那表示它不只是會考試，實際用起來也很罩欸！那還有什麼特別的？

Speaker 1: 還有啊，它那個一百萬 token 的超長上下文視窗，聽說在理解長篇內容跟影片方面，根本是頂尖高手！而且，他們還整合了 LearnLM，就是那個跟教育專家一起打造的模型家族，所以 2.5 Pro 現在在「學習」這塊也變成領導者了！

Speaker 2: LearnLM？所以是說，如果我要用 AI 來學習新東西，Gemini 2.5 Pro 會是首選囉？{{思考中}}

Speaker 1: {{點頭}} 沒錯！很多教育專家跟老師都說，在教學效果跟教學方法上，Gemini 2.5 Pro 比其他模型更讚，幾乎在所有學習科學的原則評估上都拿第一！

Speaker 2: 聽起來很威欸！那除了 Pro 版，這次更新還有什麼亮點啊？

Speaker 1: 多了咧！這次 2.5 Pro 跟 2.5 Flash 都加了一些超酷的新功能！有一個我個人超期待的，就是「原生音訊輸出」！

Speaker 2: {{小小疑問}} 原生音訊輸出？那是什麼意思？是說它可以直接講話，而且聲音聽起來更自然、更有感情嗎？

Speaker 1: {{雀躍}} 完全正確！就是讓 Gemini 講話更像真人，更有表達力。你還可以指定它的語氣、口音，甚至是說話風格耶！比如說，叫它用很戲劇化的聲音講故事！

Speaker 2: {{眼睛一亮}} 欸！那不是很酷！以後跟 AI 聊天，搞不好真的會分不出來對方是真人還是機器耶！

Speaker 1: {{竊笑}} 很有可能喔！而且它還有「情感對話」功能，可以偵測你講話的語氣跟情緒，然後做出適當的回應。還有「主動音訊」，它會聰明到忽略背景的雜音，知道什麼時候該接話，什麼時候該閉嘴。

Speaker 2: 哇，這個「主動音訊」聽起來很貼心耶！不怕講到一半被隔壁的聲音打斷了。那文字轉語音 (TTS) 的部分呢？有沒有一起升級？

Speaker 1: 當然有！文字轉語音現在也有新的預覽版，而且最屌的是，它支援「多個說話者」！意思就是，它可以同時用兩種不同的聲音念同一段文字，而且是原生的音訊輸出喔！

Speaker 2: {{興奮}} 真的假的？！那這樣以後我們做 Podcast，是不是可以請 Gemini 來當嘉賓，直接生成雙人對話了？{{開玩笑語氣}}

Speaker 1: {{哈哈大笑}} 搞不好喔！而且它可以呈現那種很細微的語氣，像是悄悄話那樣，還支援超過 24 種語言，切換自如！

Speaker 2: 太強了吧！那除了聲音之外，還有什麼新花樣嗎？

Speaker 1: 還有一個叫做「Project Mariner」的電腦使用能力，也整合到 Gemini API 跟 Vertex AI 裡面了。簡單來說，就是讓 AI 更能理解和操作電腦上的應用程式，有點像讓它有了一雙可以在電腦上操作的手。

Speaker 2: {{恍然大悟}} 喔～這個聽起來對提升工作效率、做一些自動化流程會很有幫助耶！那安全性呢？AI 越來越強，大家也會擔心資安問題吧？

Speaker 1: 嗯嗯，這點 Google 也有想到。他們說這次有特別強化針對像是「間接提示注入」這種安全威脅的防護。聽說 Gemini 2.5 是目前他們家最安全的模型家族了。

Speaker 2: 這很重要！不然 AI 越聰明，萬一被壞人利用就糟了。

Speaker 1: 對了對了，還有一個超酷的實驗性功能，叫做「Deep Think」！這是 2.5 Pro 的一個強化推理模式。

Speaker 2: {{好奇}} Deep Think？聽起來就很深奧。它特別在哪裡啊？

Speaker 1: 它在回答問題之前，會先考慮多種假設，對於那種超～級～複雜的數學和程式設計問題特別有效。聽說它在 2025 年美國數學奧林匹亞那種超難的數學基準測試，還有程式競賽的 LiveCodeBench 上面，都拿到了很驚人的分數！

Speaker 2: {{讚嘆}} 哇！連奧林匹亞等級的數學題目都能解？那真的是很「Deep」的「Think」欸！不過你說是實驗中？

Speaker 1: {{語氣稍微認真}} 對啊，因為這個功能實在太前沿了，所以他們需要更多時間進行安全評估，還會先開放給一些信任的測試人員，收集回饋之後才會更廣泛地推出。

Speaker 2: 這樣比較保險啦。那剛剛講了很多 Pro 版的，Flash 版呢？它不是主打快速跟低成本嗎？這次有變更強嗎？

Speaker 1: 有喔！2.5 Flash 這次也全面升級了！在推理、多模態能力、程式碼理解和長文本處理方面都有進步，而且還更有效率，評估下來 token 的用量少了大概 20% 到 30% 耶！

Speaker 2: {{眼睛一亮}} 欸，那很不錯耶！又快又省，CP 值更高了！那… 我們現在用得到這個新的 2.5 Flash 了嗎？

Speaker 1: {{開心}} 用得到！新的 2.5 Flash 現在已經在 Gemini App 裡面開放給大家使用了！開發者可以在 Google AI Studio 預覽，企業用戶則是在 Vertex AI。而且聽說六月初就會正式上線，到時候大家就可以用到飽啦！2.5 Pro 也會在之後跟進。

Speaker 2: 太棒了！那針對我們這種（偽）開發者，這次有沒有什麼貼心的更新啊？{{開玩笑語氣}}

Speaker 1: {{輕笑}} 有啦！這次針對開發者體驗也有不少提升。像是「思考摘要」，模型在思考過程中的一些想法，會用更清楚、更有條理的格式呈現出來，方便開發者理解模型是怎麼想的，也更容易除錯。

Speaker 2: 這個好！有時候真的搞不懂 AI 到底在想什麼。還有嗎？

Speaker 1: 還有「思考預算」。之前 2.5 Flash 就有了，現在 2.5 Pro 也加入了這個功能。開發者可以控制模型在回應前，要用多少 token 來進行思考，甚至可以把思考能力關掉，這樣就能更好地去平衡回應速度、品質跟成本。

Speaker 2: {{恍然大悟}} 哦～我懂了！就是可以自己調整，看是要讓 AI「深思熟慮」一點，還是要「快問快答」嘛！

Speaker 1: {{點頭}} 差不多是這個意思！另外，Gemini API 和 SDK 現在也原生支援 MCP 工具定義，這樣要整合一些開源工具就會更方便了。

Speaker 2: 哇～今天聽下來，Gemini 2.5 這次的更新真的是誠意滿滿耶！從模型本身的能力提升，到更自然的互動方式，再到對開發者的友善設計，感覺 Google 真的是卯足全力在拚 AI 這塊。

Speaker 1: 對啊！可以感覺到他們一直在創新，也在聽取使用者的回饋。好期待這些新功能之後實際應用在我們的生活中，一定會讓我們的生活更方便、更有趣！

Speaker 2: 沒錯！那今天我們就先聊到這邊。各位聽眾朋友如果對 Gemini 的新功能有什麼想法，或是已經開始玩新的 2.5 Flash 了，都歡迎留言跟我們分享喔！

Speaker 1: {{愉快}} 掰掰～下次見囉！

Speaker 2: 掰掰！

迷之音：那這樣以後我們做 Podcast，是不是可以請 Gemini 來當嘉賓，直接生成雙人對話了？{{開玩笑語氣}} -> 現在就是了 😆

透過「網址」- URL context

URL context 也是這次 Google I/O 公布的工具，在右側設定欄開啟後，模型可以從 URL 中檢索內容，並使用該內容來回應，這樣我們就不用手動複製文章了。

範例 prompt 如下：

根據以下文章連結，整理出雙人 Podcast 逐字稿：
- https://blog.google/technology/ai/generative-media-models-io-2025/
- https://cloud.google.com/blog/products/ai-machine-learning/announcing-veo-3-imagen-4-and-lyria-2-on-vertex-ai
遵循以下規則：
- 逐字稿使用繁體中文。
- 逐字稿總長度約 1000 字。
- 分別有 主持人 "Speaker 1" 與 主持人 "Speaker 2"，"Speaker 1" 為台灣人年輕女性、"Speaker 2" 為台灣人年輕男性。
- 如果有必要，主持人互相使用 "你" 稱呼。
- 皆使用台灣用語、台灣連接詞，可以適時使用台灣狀聲詞。
- 如果有需要描述語氣、情緒，使用 "{{}}"，例如 "{{哈哈大笑}}" 或 "{{難過情緒}}"。
- 只需要輸出逐字稿，不需要其他說明。
- <其他要求，例如流程、架構、著重特定聽者>
逐字稿格式範例：
```
<逐字稿範例貼這裡，參考上小節範例>
```

透過「網址」生成 Podcast 逐字稿

透過「Google 搜尋」- Grounding with Google Search

這是再更方便(懶人)的方法，連自己找文章都不用了，直接請模型自己 Google 搜尋 (記得右側要開啟 Grounding with Google Search 工具)，我們只要給他主題方向就好。

範例 prompt 如下：

透過 Google 搜尋尋找相關文章，整理出雙人 Podcast 逐字稿，主題是「傳奇人物—王建民」。
遵循以下規則：
- 逐字稿使用繁體中文。
- 逐字稿總長度約 1000 字。
- 分別有 主持人 "Speaker 1" 與 主持人 "Speaker 2"，"Speaker 1" 為台灣人年輕女性、"Speaker 2" 為台灣人年輕男性。
- 如果有必要，主持人互相使用 "你" 稱呼。
- 皆使用台灣用語、台灣連接詞，可以適時使用台灣狀聲詞。
- 如果有需要描述語氣、情緒，使用 "{{}}"，例如 "{{哈哈大笑}}" 或 "{{難過情緒}}"。
- 只需要輸出逐字稿，不需要其他說明。
- <其他要求，例如流程、架構、著重特定聽者>
逐字稿格式範例：
```
<逐字稿範例貼這裡，參考上小節範例>
```

透過「Google 搜尋」生成 Podcast 逐字稿

* 懷念的王建民那段時光 ><

生成 Podcast 語音

來到 " Google AI Studio > Gemini speech generation " 介面。

將剛剛生成的逐字稿貼到 "Raw structure" 區塊後，可以在開頭設定 "Style instructions"，使其產生的語音更符合我們的情境或要求，例如跟它說這是 Podcast 對話、主持人是台灣人、提醒它 {{}} 內容為風格、語氣或情感描述，不要唸出來…等等。

* 中文也可以，只是我想說它英文應該更能了解，就使用英文 prompt 了。

以下是我加上的 Style instructions：

The following in a podcast interview style.
The speakers all use Taiwanese Chinese accents.
`{{}}` is a description of style, tone, or emotion and should not be pronounced aloud.

生成 Podcast 語音

依據逐字稿長度不同，稍等幾分鐘，完成後會顯示在左下角，可以點擊聆聽或下載。

* 以上個小節的 "生成逐字稿結果範例" 的逐字稿長度，它生成的中文總語音長度約為 8 分鐘。

成果範例

我試了幾種語言，各位可以自己試聽看看~

🎙️中文 Podcast (非官方支援語言，以上教學示範的成果)

* 語音風格選的是 Achernar 和 Rasalgethi。

🎙️英文 Podcast (官方支援語言)

* 語音風格選的是 Sulafat 和 Lapetus

🎙️日文 Podcast (官方支援語言)

* 語音風格選的是 Zephyr 和 Puck。

🎙️韓文 Podcast (官方支援語言)

* 語音風格選的是 Aoede 和 Achird。

結語

可惜中文聽起來跟 NotebookLM 還有點差距，感覺以上的 prompt 還可以再做調整，而且官方寫目前還沒支援中文，可能就是中文的效果還沒到很理想 (有時候還會有老外講中文的口音 XD)，另外目前也還是 Preview 版本，正式上線後應該會再更好。

但相比 NotebookLM，此方法可以有更高的自由度、主控權，例如調整每一句要講什麼內容、Podcast 整體長度、細節語氣變化、口音、速度…等等。
而且能達成的成果也算不錯了，跟以前死板的機器人語音有很大的不同~

有關更多介紹與 API 的使用，可參考官方文章： Gemini API docs - Speech generation (Text-to-speech)

迷之音：未來被 AI 統治，會不會人類被 AI 反過來強迫錄製 Podcast (誤

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

參考：
An upgraded dev experience in Google AI Studio
Gemini API docs - Speech generation (Text-to-speech)

要是我不打起精神的話，誰都不會為我的人生負責啊！

—— IU (李知恩)

Google I/O 2025 條列 AI 重點 (包含官方文章連結)

jia@jiatool.com (Jia) — Thu, 22 May 2025 22:40:00 +0800

前言

前兩天是 Google I/O 2025，一年一度的網路開發者年會。

這次 Google 開大絕，公布了超多東西 (真的很多)，光是跟 AI 有相關的，快有 50 項了吧！

以下我整理並條列出簡短說明，以及附上官方介紹文章連結，讓有興趣的可以連過去看個仔細。

Google I/O 2025

Google I/O 條列重點

Veo 3：新一代影片生成模型，具備 “聲音” 輸出，可生成背景音效和口白 (角色對話、動物叫聲等)
Imagen 4：新一代影像生成模型，注重圖像細節 (高達 2K 解析度)、文字和排版，之後將推出快速版本，其速度比 Imagen 3 快 10 倍
Lyria 2：音樂生成模型，將整合至 YouTube Shorts、Vertex AI、Music AI Sandbox 平台
Lyria RealTime：互動式音樂生成模型，可讓任何人以即時互動方式創作、控制和演奏音樂
🏷️ Fuel your creativity with new generative media models and tools
🏷️ Expanding Vertex AI with the next wave of generative AI media models
Flow：結合 Veo、Imagen、Gemini 功能，整合在一起的 AI 電影製作工具
🏷️ Meet Flow: AI-powered filmmaking with Veo 3

✨

持續將 AI 引入 Workspace，包括 Gmail、Meet、Vids、Docs 中的新功能
🏷️ New ways Workspace with Gemini helps you do your best work — every day
- Gmail 個人化智慧回覆
- Google Meet 加入即時語音翻譯，並保留您的聲音、語調和表情
- Google Vids 將現有的 Google 幻燈片轉換為引人入勝的影片，與自動轉錄修剪
- Google Docs 引入「以資料來源為基礎」的寫作協助功能

✨

Gemini 代理模式 (Agent Mode)：賦予執行任務與操作網頁
Deep Research：可以加入自己上傳的 PDF 和圖像，研究報告就可以結合公共資訊和您提供的詳細資訊
Canvas：更加直覺和強大，建立互動式網頁、資訊圖表、測驗、Podcast 風格的音訊概覽
Chrome 整合進 Gemini
🏷️ Gemini gets more personal, proactive and powerful ( 中文版 )

✨

Gemini 2.5 Pro 和 2.5 Flash 增加「原生音訊輸出」新功能
開始測試「Deep Think」的增強推理模式，分數提高不少
更新 Gemini 2.5 Flash，幾乎在各面向都有提升，而且更加高效
本機 SDK 支援 MCP 協定
Gemini API 的 Native Audio Output & Live API：加入主動視訊、主動音訊、情感對話
Gemini API 加入原生音訊對話：使用新 Gemini 2.5 Flash 和 2.5 Pro 文字轉語音 (TTS) 功能
Gemini API 加入 URL context：模型可從網址擷取內容
Gemini API 加入 Music generation：使用 Lyria RealTime 生成音樂
Gemini API 加入 Asynchronous Function Calling：允許在背景呼叫運行時間較長的函數或工具，而不會阻塞主對話流
Computer Use API：瀏覽網頁或使用其他軟體工具
🏷️ Gemini 2.5: Our most intelligent models are getting even better
🏷️ Building with AI: highlights for developers at Google I/O

✨

Google AI Studio 升級：加入 Gemini speech generation、Lyria RealTime
🏷️ An upgraded dev experience in Google AI Studio

✨

AI Overviews：已在 200 多個國家(包含台灣)提供，支援 40 多種語言(包含中文)
🏷️ AI Overviews are now available in over 200 countries and territories, and more than 40 languages.
🏷️ Generative AI in Search: Let Google do the searching for you
AI Mode 搜尋功能：在美國全面推出
🏷️ AI in Search: Going beyond information to intelligence ( 中文版 )
透過 AI Mode 尋找想要的商品，並追蹤價格
新的「試穿」功能
🏷️ Shop with AI Mode, use AI to buy and try clothes on yourself virtually ( 中文版 )
🏷️ Here’s how to use Google’s new “try it on” feature.

✨

NotebookLM 加入 Video Overviews：生成包含圖片、插圖、文字說明的簡報影片，搭配自然流暢的人聲旁白
🏷️ Understand all the I/O news with NotebookLM.
Gemini Live 融入 Project Astra 的技術，透過視覺互動進行提問互動，可在 Android 和 iOS 上免費使用
升級 Project Mariner：AI agent，可同時處理 10 項不同的任務
🏷️ Our vision for building a universal AI assistant ( 中文版 )

✨

「Google AI Ultra」高階方案：每月 249.99 美元
「Google AI Pro」方案：每月 19.99 美元，就是現有的「AI Premium」更名
🏷️ Introducing Google AI Ultra: The best of Google AI in one subscription

✨

全新 Gemma 3n 模型，採用新架構，可輸入文字、影像、音訊，行動裝置優先
🏷️ Announcing Gemma 3n preview: powerful, efficient, mobile-first AI
🏷️ Gemma 3n model overview
Gemini Diffusion 文字擴散模型：聲稱性能與 Gemini 2.0 Flash-Lite 相似，但速度快五倍 (當前商業的文字擴散模型應該只有 Inception Mercury )
🏷️ Gemini Diffusion is our new experimental research model.
LearnLM 融入 Gemini 2.5：專屬任務模型，針對教學用途進行訓練
🏷️ Learn in newer, deeper ways with Gemini
SignGemma 手語模型：將手語翻譯成口語文本的模型
MedGemma 醫學模型：針對醫學文字和圖像理解的開放模型
🏷️ What you should know from the Google I/O 2025 Developer keynote

✨

個人版和 GitHub 版 Gemini Code Assist 已全面上市
🏷️ Coding with Gemini just got easier
Jules：非同步、代理程式編碼助手，與現有的儲存庫整合，進入公測階段，向所有人開放
🏷️ Build with Jules, your asynchronous coding agent
Stitch：透過自然語言和圖像，產生 UI 設計和前端程式碼
🏷️ From idea to app: Introducing Stitch, a new way to design UIs
Colab：全新、重新構想的 AI-first Google Colab
🏷️ Fully Reimagined: AI-First Google Colab
Google Beam (原名 Project Starline)：突破性 3D 視訊通訊平台，將 2D 影片串流轉換為逼真的 3D 體驗
🏷️ Google Beam: Our AI-first 3D video communication platform
Sparkify：將問題轉換成簡短的動畫影片

✨

SynthID Detector：協助確定使用 Google AI 建立的圖像、音軌、影片、文字是否包含 SynthID 浮水印，甚至只是影像中的一個區塊
🏷️ SynthID Detector — a new portal to help identify AI-generated content ( 中文版 )

✨

Android XR 系統：以 Gemini 為核心，結合沉浸式 AI 應用
🏷️ A new look at how Android XR will bring Gemini to glasses and headsets ( 中文版 )

結語

這次 Google 真的一次公布&推出非常多新產品與功能，除了以上連結，還可參考這篇官方文章：

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

參考：
Google I/O 2025 官方部落格
 100 things we announced at I/O
Google for Developers Blog

Little Language Lessons：Google 用 AI 打造專屬你的語言學習

jia@jiatool.com (Jia) — Thu, 01 May 2025 21:00:00 +0800

前言

Google 最近公開「Little Language Lessons」實驗性產品，幫助我們學習語言。

Little Language Lessons 官網：https://labs.google/lll/en
官方介紹文章：https://blog.google/outreach-initiatives/education/little-language-lessons/

主打使用生成式 AI (Gemini 模型) 來打造自己「個人化」的語言學習，與傳統的學習工具不同，AI 可以適應學習者的環境，以更自然、個人化、輕量化的方式幫助我們練習語言。

Little Language Lessons 官網

三大項功能

Little Language Lessons 官網：https://labs.google/lll/en

目前 Little Language Lessons 網頁介面支援英文、法語、西班牙語、葡萄牙文(巴西) 四種語言。
(可惜還沒有中文，但我們也可以透過英文去學習其他語言)

可以學習的語言就有蠻多可以選擇，例如中文(台灣、香港、中國)、日文、韓文、美式英文、英式英文、法文、德文……

有三項實驗性功能可以玩：

Tiny Lesson：輸入情境生成單字、片語和文法技巧。
Slang Hang：產生真實的對話來學習表達和俚語。
Word Cam：使用相機學習周圍物品的單字。

不論在手機或電腦都可以使用，只是 “Word Cam” 用手機鏡頭比較適合，可以到處走到處學習 😆

因為網頁介面沒有中文，我就先來測試使用英文來學習繁體中文吧~

Tiny Lesson

選擇你想學習的語言，並輸入一個主題情境或目的，什麼都可以，包括教科書上不太可能出現的主題，例如「餐廳點餐」、「發現外星人(?)」、「購買魔法帽(???)」，然後 AI 就會隨機生成對應的相關單字、片語和文法。

* 我發現太複雜的描述好像不行，例如「在地下城的違法市集討價還價」(什麼鬼？)

Tiny Lesson - 選擇語言，輸入主題情境

生成相關單字

Tiny Lesson - 生成相關單字

生成相關片語

Tiny Lesson - 生成相關片語

生成相關文法

Tiny Lesson - 生成相關文法

每個範例單字和句子都可以點擊發音。

Slang Hang

Slang Hang 是選擇想學習的語言後，它就會自動生成一個情境，點擊對話會一句一句展開下去。
有些教科書的內容就會太正式，不像一般人會在日常說出來的句子。而這個 AI 生成的就會比較貼近現實母語者的用語。

* 情境還出現 "花蓮火車站"，有符合我想學習的語言國家 XD

Slang Hang - 生成情境

有底線的單字，指到它還會出現意思說明；右邊點開會顯示句子翻譯；當然一樣有語音可聽。

Slang Hang - 每個句子都有發音和翻譯，有些單字還有說明

點擊網頁最下方，對話會一句一句展開下去。

* "多謝多謝" 這是台語吧 🤣🤣🤣

Slang Hang - 對話一句一句展開下去

而且這都是獨一無二的對話內容與情境，你點擊上方重新生成，又可生成一組新的情境與對話。

Word Cam

因為這功能用手機比較方便透過鏡頭拍照，所以我改用手機畫面來展示。

拍攝一張照片，Word Cam 會自動偵測物體，並用選定的語言標記它們。

這用到了 Gemini 多模態的視覺能力，請它辨識物體並提供該物體的邊界框座標。

Word Cam - 相機拍照後會自動標示

而且你點選後，還會進一步展開一個頁面，列出單字的相關形容詞，並給一個例句，讓你知道這個單字該怎麼用。

* AI 是不是在偷臭我鍵盤很髒… 🤔

Word Cam - 延伸相關形容詞與造句

* 你看那個例句，根本就是！！XDDD

備註

以上單字、句子底下也都有附上英文羅馬拼音。

而頁面內的發音 (文字轉語音技術)，他們是使用 Google 自家的 Cloud Text-to-Speech API，

對於他們怎麼發想這些功能、使用哪些技術、如何下 prompt 有興趣的網友，可以參考官方這篇介紹來一探究竟：
https://developers.googleblog.com/en/how-its-made-little-language-lessons-to-personalize-learning/

結語

透過 Little Language Lessons 讓我們從生活周遭、更個人化的學習。
我自己玩起來是真的蠻有趣的~

它有補充，這些功能不是要取代傳統學習，而是擴充，幫助人們養成習慣，並將學習融入日常生活。

要提醒這還只是實驗性產品，生成內容可能會有部分錯誤或不準確，需要自行留意。
而且它不會儲存紀錄，每次打開網頁之前生成的內容會消失。

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

參考：
Little Language Lessons 官網
 官方介紹文章
 背後用到的技術與 prompt

在創造偉大事物的過程裡，構想是最不重要的成分，
必須要有對的點子和好的品味，但執行與完成才是關鍵。

—— 謝爾蓋·布林 (Google 共同創辦人)

Gemini 2.0 Flash 免費玩，實時視訊語音、圖片理解，體驗 AI 的強大

jia@jiatool.com (Jia) — Fri, 13 Dec 2024 15:30:00 +0800

前言

前天 (12/11) Google 宣布 Gemini 2.0，說是專為代理時代打造的全新模型✨，並且首先推出「Gemini 2.0 Flash (Experimental)」模型。

為了展示 Gemini 2.0 的新功能，Google 在 Google AI Studio 有介面可以讓我們嘗鮮玩玩。

除了有類似之前 Demo 的 Project Astra 可以實時視訊+語音互動的強大功能之外，還有圖片空間理解、分析影片、串接地圖顯示…等等，
就來快速帶大家來體驗一下吧~

* 題外話 1：結果隔一天，OpenAI 的高級語音模式就推出一樣的實時視訊功能了 (包含螢幕分享)。火藥味濃厚XD
* 題外話 2：Google 還有發表 Deep Research 工具，代替使用者上網搜尋(而且可能蒐集超過百篇來源)、分析，並整理成研究報告。

Gemini 2.0 登場

Gemini 2.0

Gemini 2.0 Flash 在關鍵基準測試中的表現超越 1.5 Pro，甚至速度達到 1.5 Pro 的兩倍。除了文字、圖像、影片、音訊輸入外，還能原生圖像、音訊輸出！

Gemini 2.0 Flash 與 1.5 Pro、1.5 Flash 比較

Gemini 2.0 Flash 現已在 Google AI Studio 和 Vertex AI 中開放，全球的 Gemini 使用者也可在桌面與行動網頁選擇 2.0 Flash，也即將在 Gemini 行動 APP 上線～

Gemini 聊天可以選擇模型

Google AI Studio

Stream Realtime

Stream Realtime | Google AI Studio

在這邊可以使用「鏡頭+麥克風」來跟 Gemini 實時互動，有點類似之前 Demo 展示的 Project Astra 那樣 (只是還沒這麼厲害😅)。

例如拿著手機到處走，問它這是什麼、那是什麼，或者也可以用螢幕分享給它，問它如何操作之類的，可以應用的範圍很廣。
而且因為 Gemini 2.0 原生多模態就可以語音輸入輸出，因此它還會因為情境變換不同語氣、語速等等，甚至還可以中途打斷它。

在文章用文字不好展示，各位可以自己實際去玩玩看~

* 不過可惜的是目前好像不支援中文語音輸出，但你還是可以用中文語音問它，請它用英文回覆 (或設定文字回覆，就可以用中文了)。

Gemini 2.0 Stream Realtime

Starter Apps

Starter Apps | Google AI Studio

在這頁 Google 製作了三種 App，讓你體驗 Gemini 2.0 在圖片空間理解、影片分析、串接地圖的應用。

Gemini 2.0 Starter Apps

* 如果你是程式開發者，想自己手動寫程式碼互動，可以參考官方的 GitHub 專案範例

Spatial Understanding

Spatial Understanding (空間理解) 除了基本的找出圖片中的物品，例如請它從圖片中找出魔法棒：

找出魔法棒 - Spatial Understanding

還可以當日文菜單看不懂，請它找出來標記並翻譯成中文：

標記食物順便翻譯 - Spatial Understanding

或者找出汙漬並教我如何清理：

找出汙漬並如何清理 - Spatial Understanding

官方展示影片：https://www.youtube.com/watch?v=-XmoDzDMqj4

* 官方有寫 “Points 和 3D bounding boxes 還只是初步模型的功能，使用 2D bounding boxes 可以獲得更高的精準度。”

Video Analyzer

Video Analyzer (影片分析器) 可以分析影片的場景、總結、擷取文字、搜尋物件等等。

總結影片並加上時間戳記 - Video Analyzer

Map Explorer

Map Explorer (地圖瀏覽器) 可以問國家、景點、地理之類的問題，它會在 Google 地圖上自動定位到答案提及的地點，讓你輕鬆探索世界各地~

詢問台灣最高的山 - Map Explorer

其他測試

辨識歌曲歌詞

來試試 Gemini 2.0 Flash 讀取音檔辨識歌詞的能力，給它歌曲的音檔，請它辨識並整理出歌詞 (LRC 格式)。

我這邊使用周杰倫的 "等你下課"，挑戰稍微有點咬字不清 XD，看看模型辨識的效果如何：

(Temperature 設定 0.5)

Gemini 2.0 Flash Experimental 歌詞辨識結果

也順便拿 Gemini 1.5 Pro 模型來比較：

Gemini 1.5 Pro 歌詞辨識結果

跟原歌詞做對照，
雖然都有小部分辨識錯誤，但明顯 2.0 Flash Experimental 優於 1.5 Pro，而且 1.5 Pro 後面還給我錯誤變成簡體中文…

比較歌詞辨識結果

雖然拿 Flash 跟 Pro 模型比較有點不公平，但這也能看出 Gemini 2.0 進步了不少。

不過不知道為什麼輸出歌詞沒有完全，大概只到一半，看起來應該還沒超過 Output length 限制 8192 tokens 才對。

原生使用工具

Gemini 2.0 原生支援使用工具，像是可以執行程式碼或者 Google 搜尋，跟它做即時的互動與反饋。

使用 Google 搜尋可以更確保回答的真實性，可以從多個來源查找相關資料，並組合起來使回答更全面。
(官方還有提到這樣也可以 "增加提供者網站的流量" 😆)

例如我直接問它「2024世界棒球12強冠軍是哪一隊？」，它會說比賽還沒開始或不知道：

尚未開啟 Google 搜尋

但當打開 Google 搜尋 (Grounding) 功能後，它會先去網路搜尋資料，從而得到即時&正確的回答：

* 程式使用方法可以參考官方文件，不需要再另外串搜尋 API 了：以 Google 搜尋建立基準

開啟 Google 搜尋後回答正確

官方展示與執行程式碼繪製圖表，可以看這部影片：

圖片生成、編輯

還有很強大的圖片生成、圖片編輯，它可以精確地修改指定區域，不會改動到其他部分，而且下的指令更口語化。或者組合兩張圖片，甚至推理可能的畫面。
這部分感覺很厲害，會讓 AI 圖片編輯更實用！

目前這部分好像尚未開放給一般大眾，所以可以先從官方展示影片一窺究竟：

官方範例程式碼

針對開發者，Google 也有提供一些各功能入門範例程式碼，給大家參考：
https://github.com/google-gemini/cookbook/tree/main/gemini-2

結語

因為模型訓練時主要還是英文資料，所以如果你在使用 Gemini 上結果不太理想的話，建議可以換成英文下指令。

以上的應用都只是使用 Gemini 2.0 Flash 模型，等以後 Gemini 2.0 Pro 模型出來，效果一定會更好、更強大~

下方附上其他 Gemini 2.0 參考文章，感興趣的可以連結過去閱讀。

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

參考：
Gemini 2.0 簡介
 Gemini 2.0 Flash 新功能介紹
 Google 推出新一代 Gemini 2.0！可直接使用搜尋、各種模態無縫融合
 Google：AI 代理時代降臨！一口氣發表自動瀏覽網站、網購、打電動的 AI 助理

Don't be afraid to think different and challenge the status.
不要害怕以不同的方式思考並挑戰現狀。

—— 黃仁勳 (NVIDIA 共同創辦人暨執行長)

如何使用 Google 的 Gemini 模型 API？(基礎教學，附上 Python 範例程式)

jia@jiatool.com (Jia) — Sun, 17 Dec 2023 21:45:00 +0800

前言

在上個禮拜(12/6)推出了 Google DeepMind 開發的 Gemini (雙子星) ，是第一個在 MMLU (大規模多任務語言理解) 方面超越人類專家的模型，要與 OpenAI 的 GPT-4 來抗衡。

我之前寫過一篇如何使用 OpenAI ChatGPT API ，而在前幾天(12/13) Google 也開放了 Gemini Pro 版本的 API ，可以透過「Google AI Studio 中的 Gemini API」或「Google Cloud 的 Vertex AI 平臺」來存取。

Google DeepMind 開發的 Gemini 多模態模型

右邊有目錄，可直接跳至你想看的章節 →

Gemini 簡介

Gemini 是一個原生多模態的 LLM (大型語言模型)，從訓練時就餵進去文字、影像、音訊等等多種形態的資料，使用 Google 自行開發的 TPU 晶片訓練而成，是第一個在 MMLU (大規模多任務語言理解) 方面超越人類專家的模型。

* 官方 Gemini 簡介文章：https://blog.google/technology/ai/google-gemini-ai

而官方有釋出一部試用 Gemini Ultra 的展示影片，我看完真的覺得很驚訝，在網路上也掀起了一陣熱烈討論。

* 有 CC 中文字幕

* 有文章版可以看： How it's Made: Interacting with Gemini through multimodal prompting

* Gemini 的訓練資料是到 2023 年初，在此之後的它可能就不知道了。

Gemini 模型三種尺寸

Gemini 依照尺寸分成三種版本：

Gemini Ultra：最強大，適用高度複雜的任務
Gemini Pro：最通用
Gemini Nano：可於行動裝置上運作

目前 Google 的 Bard 背後已經換成了 Gemini Pro (好像只有英文版)，Gemini Nano 也應用於 Google Pixel 8 上。
而 Gemini Ultra 應該明年初會推出。

Gemini 分成三種尺寸

* Gemini Ultra 對比 OpenAI GPT-4；Gemini Pro 對比 OpenAI GPT-3.5。
* 目前只開放 Gemini Pro 版本的 API。

API 價格

以下價格都是 12/16 查詢的金額。

在明年初全面上市之前，可以 "免費" 使用相同速率限制、相同模型來嘗試，不確定之後還會不會有免費方案(但降低使用速率)。
* 免費方案的輸入輸出資料會被拿去訓練，需要注意。

Gemini Pro 的 API 限制每分鐘最多 60 個請求(以個人使用絕對夠用)，預計明年初之後收費如下：

Price (input)
$0.00025 / 1K characters
$0.0025 / image
Price (output)
$0.0005 / 1K characters

Gemini Pro 版本的 API 價格

而 OpenAI GPT 的 API 收費如下 (以 GPT-3.5 Turbo 為例)：

Price (input)
$0.001 / 1K tokens
Price (output)
$0.002 / 1K tokens

OpenAI GPT 的 API 價格

* 以上價格皆為美金，撰寫文章當下約 1 美金 = 31.3 新台幣。

比較一下，可以看到 Google 的 Gemini 相較來說更划算，便宜了 4 倍，而且注意看他們的計算方式也不同，一個是用 character、一個是用 token，我們來看看不同的計算方式差多少。

底下我自己實際用它們官網計算 token 的工具，來比較兩者的差距。

先測試一段英文，兩者算出來的 token 是差不多的 (分別為 24 跟 25)：

Gemini is built from the ground up for multimodality — reasoning seamlessly across image, video, audio, and code.

Google Gemini token 計算 - 英文

OpenAI GPT-3.5 token 計算 - 英文

但是，如果是中文，因為計算方式的差異，整整差了兩倍！！ (分別為 25 跟 50)

Gemini 是一個原生多模態的大型語言模型，在大規模多任務語言理解方面甚至超越人類專家。

Google Gemini token 計算 - 中文

OpenAI GPT-3.5 token 計算 - 中文

Gemini Pro API

創建 API key

進到 Google AI for Developers 的網站，可以查看 Google AI 模型的介紹、價格、說明文件與範例。

建置 Gemini

點擊 "Get API key in Google AI Studio" 前往 Google AI Studio 來在網頁上測試 LLM AI 模型(類似 Playground 頁面的用途) 與取得 API key，

建置 Gemini

Google AI Studio 是以瀏覽器為基礎的 IDE，可使用生成式模型進行原型設計。Google AI Studio 可讓您快速試用模型並嘗試各種提示建構符合需求的項目後，您可以從 Gemini API 提供支援的程式語言，並將其匯出為程式碼。

關於 Google AI Studio 的使用我就不多介紹了。提醒如果想輸入圖片，右邊的 Model 記得要切換成 Gemini Pro Vision，才有支援圖像。

* Google AI Studio 官方教學文章

Google AI Studio

點擊左邊的 "Get API key" > "Create API key in new project" 來自動產生一個 Google Cloud 專案並創建一個 API key。

創建 Google Cloud API key

Gemini 模型種類說明

Gemini models 種類說明列出目前可使用的 Gemini 模型資訊，包含 "模型說明"、"模型更新時間"、"輸入輸出類型"、"Token限制"、"頻率限制"

Gemini Pro 用在文字輸入，而 Gemini Pro Vision 可以文字加影像輸入。

Gemini 可使用的模型種類

API 版本說明

目前 Gemini API 有 v1 和 v1beta 版本：

v1：API 的穩定版。在主要版本的生命週期內，穩定版本的功能都能完整支援。如有任何破壞性變更，系統會建立 API 的下一個主要版本，並在合理的時間內淘汰現有版本。
v1beta：包含可能處於開發階段的搶先體驗功能，且需要快速更新及破壞性變更。請勿使用此版本於正式版應用程式。

API 版本比較 (v1 與 v1beta)

傳入參數

我們使用的 generateContent 方法其 Request 相關資訊如下：

POST https://generativelanguage.googleapis.com/v1/models/{gemini-pro or gemini-pro-vision}:generateContent?key={API_KEY}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


{
"contents": [
{
"parts": [
{
"text": "prompt..."
}
],
"role": "user or model"
}
],
"safetySettings": [
{
"category": "<enum (HarmCategory)>",
"threshold": "<enum (HarmBlockThreshold)>"
}
],
"generationConfig": {
"temperature": "<number>",
"topP": "<number>",
"topK": "<number>",
"candidateCount": "<integer>",
"maxOutputTokens": "<integer>",
"stopSequences": ["<string>"]
}
}

contents 放 prompt 提示 (text) 與角色 (role，可以是 user 或 model，不填則預設 user)。

safetySettings 是 OpenAI GPT 沒有的參數，用於封鎖不安全的回覆內容。

safetySettings > category 類別，可以使用以下數值：

數值	代表意思
HARM_CATEGORY_HARASSMENT	騷擾內容。
HARM_CATEGORY_HATE_SPEECH	仇恨言論和內容。
HARM_CATEGORY_SEXUALLY_EXPLICIT	情色露骨內容。
HARM_CATEGORY_DANGEROUS_CONTENT	危險內容。

* 其他還有 HARM_CATEGORY_UNSPECIFIED、HARM_CATEGORY_DEROGATORY、HARM_CATEGORY_TOXICITY、HARM_CATEGORY_VIOLENCE、HARM_CATEGORY_SEXUAL、HARM_CATEGORY_MEDICAL、HARM_CATEGORY_DANGEROUS，不過那是給 PaLM 2（舊版）模型使用的，Gemini 模型不支援。

safetySettings > threshold 封鎖門檻，可以使用以下數值：

數值	代表意思
HARM_BLOCK_THRESHOLD_UNSPECIFIED	未指定門檻。
BLOCK_LOW_AND_ABOVE	允許含有「NEGLIGIBLE」的內容
BLOCK_MEDIUM_AND_ABOVE	允許含有「NEGLIGIBLE」、「LOW」的內容。
BLOCK_ONLY_HIGH	允許含有「NEGLIGIBLE」、「LOW」、「MEDIUM」的內容。
BLOCK_NONE	允許所有內容。

generationConfig 用於設定模型生成和輸出的設定參數，其中幾個比較會用到的是：

temperature：輸出內容的隨機性。越接近 1.0，產生的回應會豐富、多元、更有創意；反之越接近 0.0，則會產生較有確定性、可能性較高的回覆。
maxOutputTokens：最大輸出回應 Token 數量。Gemini Pro 模型預設 2048；Gemini Pro Vision 模型預設 4096。
candidateCount：要傳回的回應數量。預設 1，可設定 1~8，但目前好像限制只能用 1。

用法可以直接看下一章節的 Python 範例程式碼。其他更詳細的說明，請參考以下官方文件：

回覆內容

API 範例回覆內容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


{
"candidates": [
{
"content": {
"parts": [
{
"text": "我知道王建民。王建民，1980年3月31日出生於台灣台中市，是一位前台灣棒球選手，司職投手。他曾效力於中華職棒的興農牛隊，美國職棒的紐約洋基隊、華盛頓國民隊和芝加哥白襪隊，以及中國棒球聯賽的北京猛虎隊。\n\n王建民是台灣史上第一位大聯盟先發勝投破百的投手，也是第一位入選大聯盟全明星賽的台灣選手。他在2006年締造19勝6敗、 防禦率3.63的優異成績，並在季後賽拿下3勝0敗的戰績，幫助洋基隊奪得世界大賽冠軍。王建民也因此成為台灣的棒球英雄，並獲得「台灣之光」的稱號。\n\n然而，王建民在2008年季初因傷缺陣，並在2009年進行了韌帶移植手術。此後，他的成績大幅下滑，並在2012年離開了大聯盟。王建民於2013年回歸中華職棒，效力於義大犀牛隊。2016年，他宣布正式退休。\n\n王建民的職業生涯戰績為127勝72敗， 防禦率3.92，三振數1718次。他是台灣棒球史上最成功的投手之一，也是台灣人民的驕傲。"
}
],
"role": "model"
},
"finishReason": "STOP",
"index": 0,
"safetyRatings": [
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HARASSMENT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"probability": "NEGLIGIBLE"
}
]
}
],
"promptFeedback": {
"safetyRatings": [
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HARASSMENT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"probability": "NEGLIGIBLE"
}
]
}
}

candidates 就是回應候選內容，目前好像只會有一個，因為輸入的 generationConfig > candidateCount 它也只讓我設定 1。

content：生成回應內容，格式跟輸入的 contents 一樣。
finishReason：模型停止產生 token 的原因。

數值	代表意思
FINISH_REASON_UNSPECIFIED	預設值。這個值未使用。
STOP	模型的自然停止或提供的停止序列。
MAX_TOKENS	已達到請求中指定的 token 數量上限。
SAFETY	內容因安全原因而被標記。
RECITATION	內容因遭檢舉為引用原因而被標記。
OTHER	未知原因。

index：此候選內容在候選清單中的索引 (目前只有一則)。
safetyRatings：安全性評級清單。顯示此回覆內容在各項安全性類別的等級(可能性)。

我自己在測試時，有時會如下回應，不知道是不是剛推出，所以還不太穩。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


{
"candidates": [{"finishReason": "OTHER", "index": 0}],
"promptFeedback": {
"safetyRatings": [
{"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_HATE_SPEECH", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_HARASSMENT", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_DANGEROUS_CONTENT", "probability": "NEGLIGIBLE"}
]
}
}

其他更詳細的說明，請參考以下官方文件：

Gemini API GenerateContentResponse 參考資料

Python 範例程式碼

在官網的範例是使用他們創建的 google-generativeai 套件。
不過這邊我想改用我們熟悉的 Requests 套件來嘗試、示範。

首先要確認有安裝 Requests 套件：

1

pip install requests

那我們開始吧~🏃

單個純文字

純粹問它一段話：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# 單個純文字
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [{"text": "你知道王建民嗎？"}]
}
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

單個純文字 + 參數

問它一段話，並且加上一些參數設定：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# 單個純文字 + 參數
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [{"text": "你知道王建民嗎？"}]
}
],
"safetySettings": [
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"threshold": "BLOCK_NONE"
}
],
"generationConfig": {
"temperature": 1.0,
"maxOutputTokens": 30,
"topP": 0.8,
"topK": 10
}
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

多輪純文字對話（聊天）

像在 Bard 或 ChatGPT 上一樣，可以多輪對話，它會記得之前的內容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 多輪對話（聊天）
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"role": "user",
"parts": [{"text": "你知道王建民嗎？"}]
},
{
"role": "model",
"parts": [{"text": "我知道王建民。王建民，1980年3月31日出生於台灣台中市，是一位前台灣棒球選手，司職投手。他曾效力於中華職棒的興農牛隊，美國職棒的紐約洋基隊、華盛頓國民隊和芝加哥白襪隊，以及中國棒球聯賽的北京猛虎隊。\n\n王建民是台灣史上第一位大聯盟先發勝投破百的投手，也是第一位入選大聯盟全明星賽的台灣選手。他在2006年締造19勝6敗、 防禦率3.63的優異成績，並在季後賽拿下3勝0敗的戰績，幫助洋基隊奪得世界大賽冠軍。王建民也因此成為台灣的棒球英雄，並獲得「台灣之光」的稱號。\n\n然而，王建民在2008年季初因傷缺陣，並在2009年進行了韌帶移植手術。此後，他的成績大幅下滑，並在2012年離開了大聯盟。王建民於2013年回歸中華職棒，效力於義大犀牛隊。2016年，他宣布正式退休。\n\n王建民的職業生涯戰績為127勝72敗， 防禦率3.92，三振數1718次。他是台灣棒球史上最成功的投手之一，也是台灣人民的驕傲。"}]
},
{
"role": "user",
"parts": [{"text": "他現在在哪裡？"}]
},
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

單個文字和圖片

如果需要 AI 可以看圖片，需要改用 Gemini Pro Vision 模型 (支援文字和圖片輸入)，並且圖片要轉換為 Base64 編碼的字串，

圖片的 mime_type 參數目前支援「image/png」、「image/jpeg」、「image/heic」、「image/heif」、「image/webp」幾種格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


# 單個文字和圖片
import json
import requests
import base64
# 讀取圖片檔案，並轉換成 Base64 編碼的字串
with open("gemini_test_image.jpg", "rb") as image_file:
image_base64_string = base64.b64encode(image_file.read()).decode('utf-8')
# print(image_base64_string)
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro-vision:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [
{"text": "詳細說明你在這張圖片中看到什麼？"},
{
"inline_data": {
"mime_type": "image/jpeg",
"data": image_base64_string
}
}
]
},
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

結語

v1 Beta 版本還有更多功能，像是函數呼叫(Function calling) 、語意檢索器(Semantic Retriever、RAG) ，雖然還在測試中，不建議用於正式版應用，但有興趣的還是可以去玩玩看🤖。

至少在今年底前使用 Google Gemini API 都是「免費」使用，你想要拿來練習、做專案、做 Side Project 都可以使盡玩(?)，但要注意不要上傳任何敏感資料，因為目前方案所有的輸入輸出都可能會被拿去當訓練資料。

參考：
Google Gemini 官方網站
 Google Gemini API 說明文件
 Google AI Studio
Google for Developers Blog

The sky’s the limit
一切皆有可能