問題 on IT 空間

Qwen 3.6 27B 推論需要多少 GPU VRAM？包含 KV Cache 的算法

jia@jiatool.com (Jia) — Sun, 26 Jul 2026 13:45:00 +0800

前言

你在布署 LLM 時，也遇過這些疑惑嗎：

需要多少 GPU VRAM 才夠？
可以支持多少人 "同時" 使用？
KV Cache 的 VRAM 佔用該如何計算？

最近在公司內要布署 Qwen3.6-27B (FP8) 模型，所以想知道推論時需要多少 GPU VRAM 才夠，我將查資料並計算出來的過程整理成此篇文章。

就讓我們一起來了解一下吧~

在文章一開始，有幾點要先補充說明：

Qwen3.6-27B 採用混合架構 (Gated DeltaNet 線性注意力 + Gated Attention 全注意力，3:1)，所以 KV Cache 比同尺寸的傳統全注意力 Transformer 模型小很多 (降低了 75%)，Context Length 越長差異就會很明顯。
以下以 Qwen3.6-27B-FP8 為例，如果是 BF16/FP16 原生精度，占用大小要再 x2。
KV cache dtype 預設 BF16，如果改成 FP8，占用數值可再砍半。

需要多少 VRAM？

需要的 VRAM 主要分成四個部分：模型權重、框架開銷、Recurrent State、KV Cache。

以 Qwen3.6-27B-FP8 模型為例：

模型權重 (Model Weights)：約 30.9 GB
框架消耗：粗估抓個 3 GB 左右
Gated DeltaNet 線性注意力的「Recurrent State」：固定大小，而且很小 (以下計算)
Gated Attention 全注意力的「KV Cache」：隨著 Context Length、精度而有所不同 (以下計算)

前面有提到，Qwen3.6-27B 採用混合架構 (Gated DeltaNet 線性注意力 + Gated Attention 全注意力) 共有 64 層，其中 48 層線性注意力 + 16 層全注意力。

Gated DeltaNet 線性注意力的「Recurrent State」

Gated DeltaNet "不會" 隨著 context 長度而增加，而且全部層加起來也不到 100 MB，所以佔總用量的很小部分而已。

總共 Recurrent State 大小：

= num_V_heads x head_dim_k x head_dim_v x bytes_per_element x num_deltanet_layers
= 48 x 128 x 128 x 2 bytes(BF16) x 48 層
= 786,432 elements/層 x 2 bytes x 48 層
= 1,572,864 bytes/層 x 48 層
= 75,497,472 bytes
≈ 72 MB

Gated Attention 全注意力的「KV Cache」

Gated Attention 全注意力就會隨著 context 長度而增加，這也是 KV Cache 會較大的原因。

全部 Attention 層合計 KV Cache 大小 (一個 token)：

= 2 (K 和 V) x num_KV_heads x head_dim x bytes_per_element x num_attention_layers
= 2 x 4 x 256 x 2 bytes(BF16) x 16 層
= 2,048 elements/層 x 2 bytes x 16 層
= 4,096 bytes/層 x 16 層
= 65,536 bytes
≈ 64 KB

看起來超小對吧，但可別忘了，KV Cache 會隨著 context 長度而增加，以上是單一個 token 的 KV Cache 大小。
看你送進來的 context 多長，就要再乘上幾：

= 64 KB x context_length

* 以上 V heads、head_dim_k、num_KV_heads、…之類參數的數值可以從模型官方說明文章或模型設定檔內找到。

所以 Qwen3.6-27B-FP8 總消耗 VRAM 大約是：

= 模型權重 + 框架消耗 + Recurrent State + KV Cache
= 30.9 GB + 3 GB + 0.072 GB + (0.064 GB x context_length)
≈ 34 GB + (0.064 GB x context_length)

例如不同的 context_length 長度：

Context Length (上下文長度)	KV Cache (BF16/FP16)	總 VRAM 需求
8K (8,192 tokens)	~0.5 GB	~34 GB
32K (32,768 tokens)	~2.0 GB	~36 GB
64K (65,536 tokens)	~4.0 GB	~38 GB
128K (131,072 tokens)	~8.0 GB	~42 GB
262K (262,144 tokens)	~16.0 GB	~50 GB

* 我自己透過 OpenCode 在用，起始大概就 10 幾 K (Harness 框架的 system prompt、tool、skill…等等)，單一 Session 的 Context Length 要到達 100 K 也是很有可能的事~

以下列出一些常用來執行 LLM 的 GPU/主機供參考 (括號內為 VRAM 大小)：

RTX 4090 (24GB)
RTX 5090 (32GB)
RTX 6000 Ada (48GB)
RTX PRO 6000 (96GB)
H100 (80GB)
H200 (141GB)
Mac mini (24GB / 32GB / 64GB)
Mac Studio (36GB / 96GB / 256GB / 512GB)
NVIDIA DGX Spark (128GB)

因為 Qwen3.6-27B-FP8 模型本身權重就約 31 GB 了，所以如果你的 GPU 在 32GB 以下 (例如 4090、5090)，是無法運行此模型。
除非改用更低量化版本 (例如 INT4)，或多張 GPU，再或者用 GPU + CPU 混合 (llama.cpp / Ollama) 的方式。

可以支持多少人 "同時" 使用？

以上的計算我們都是以 Batch Size = 1 為例 (同時一個人)，也就是如果需要 "同時" 給多個人使用，或自己 "同時" 會執行多個推論，則就還要再乘上 Batch Size。

至於能支援多少併發推論人數，也取決於使用者的 Context Length (也就是影響 KV Cache)。

例如同時有五個人在使用，每個人送出的 Context Length 為 32K tokens：

= 模型權重 + 框架消耗 + (Recurrent State x Batch Size) + (KV Cache x Batch Size)
= 30.9 GB + 3 GB + (0.072 GB x 5) + (2 GB x 5)
= 30.9 GB + 3 GB + 0.36 GB + 10 GB
≈ 44 GB

再例如同時有五個人在使用，但每個人送出的 Context Length 提升到 128K tokens：

= 模型權重 + 框架消耗 + (Recurrent State x Batch Size) + (KV Cache x Batch Size)
= 30.9 GB + 3 GB + (0.072 GB x 5) + (8 GB x 5)
= 30.9 GB + 3 GB + 0.36 GB + 40 GB
≈ 74 GB

可以看到「模型權重」是固定的，「框架消耗」也差異不大，「Recurrent State」可忽略，主要就是「KV Cache」的變動。

我們再來看看，
假如我們超有錢，再加上廠商大發慈悲，願意出貨給我們一張新台幣約 150 萬的 H200 (141 GB)，可以同時支援多少人使用。

依照剛剛的計算，總共 141 GB 扣掉基本的固定消耗後，剩下約 107 GB 留給 KV Cache (141 - 30.9 - 3)，依照不同的 Context Length，可以算出以下表格：

Context Length (上下文長度)	KV Cache (BF16/FP16)	最多併發人數
8K (8,192 tokens)	~0.5 GB	214 人
32K (32,768 tokens)	~2.0 GB	53 人
64K (65,536 tokens)	~4.0 GB	26 人
128K (131,072 tokens)	~8.0 GB	13 人
262K (262,144 tokens)	~16.0 GB	6 人

* 此表計算有忽略 Recurrent State，如果併發人數較多，Recurrent State 也是會佔一點 VRAM。例如 100 人會占用 0.072 GB x 100 = 7.2 GB。

不過通常要留一些 VRAM 給像是 CUDA Runtime、Driver或系統其他服務，vLLM 有個 --gpu-memory-utilization 參數 (預設 0.9，也就是 90%)，指的是允許 vLLM 使用多少 VRAM。

假如我們設定 --gpu-memory-utilization 0.95 的話，等於 141 GB x 0.95 = 134 GB 扣掉基本的固定消耗後，變成剩下約 100 GB 留給 KV Cache，依照不同的 Context Length，以上表格會有些微的調整：

Context Length (上下文長度)	KV Cache (BF16/FP16)	最多併發人數
8K (8,192 tokens)	~0.5 GB	200 人
32K (32,768 tokens)	~2.0 GB	50 人
64K (65,536 tokens)	~4.0 GB	25 人
128K (131,072 tokens)	~8.0 GB	12 人
262K (262,144 tokens)	~16.0 GB	6 人

補充

以上是以 BF16/FP16 精度(預設) 計算，如果將其降為 FP8 (--kv-cache-dtype fp8)，可以降低一半的 VRAM 占用 (併發人數 x2)。

如果有開啟 MTP (例如 {"method":"qwen3_next_mtp","num_speculative_tokens":3})，雖然會讓最大並發數稍稍下降 5-10%，不過推論生成速度可以提升不少，建議開啟~

強烈建議開啟 Prefix Caching 共享前綴快取 (--enable-prefix-caching，vLLM 預設開啟)，如果新來的 request 跟之前某個 request (或同一個 session 的前幾輪) 有相同的開頭，則這段 prefix 的 KV Cache 不用重新跑一次 prefill，直接拿之前計算好存在 VRAM 裡的結果來用，可以節省 TTFT (首字延遲時間) 和這部分 GPU 算力。

釐清：
KV Cache 解決「同一輪對話中，生成下一個 Token 時不需要重新算前面的 Token。」
Prefix Caching 解決「跨輪次、跨請求、跨不同使用者，如果前綴內容相同，直接重用先前算好的 KV Cache。」

如果完全不使用視覺 (圖片/影片)，可加上 --language-model-only 參數，稍微節省 vision encoder 的權重佔用 VRAM (但只有節省 1~2 GB 左右，差異不大) 和多模態分析 (multimodal profiling)，把省下來的 VRAM 留給更多 KV cache。

vLLM 參數說明可參考官方文章：https://docs.vllm.ai/en/latest/configuration/engine_args/

結語

以上計算結果跟你想像的有落差嗎？

經過這次找資料、詢問 AI，也讓我稍微搞清楚 LLM 所需 VRAM 和 KV Cache 的計算方式了，希望也能讓你對此有些概念。

對於生成式 AI 感興趣的讀者，歡迎追蹤 FB 粉專『 IT空間』，避免錯過最新的發文通知呦~🔔

參考：
Qwen3.6-27B-FP8 | Hugging Face
vLLM Engine Arguments

「速度比完美重要。」
越想等到完美，越容易停在原地。
反而是那些願意先跨出去的人，邊做邊學，邊錯邊改，最後走得比想像中還遠。

—— 黃仁勳 (NVIDIA 共同創辦人暨執行長)

解決 OpenCode 啟動速度緩慢問題

jia@jiatool.com (Jia) — Sun, 22 Mar 2026 14:00:00 +0800

前言

設定環境變數 OPENCODE_DISABLE_DEFAULT_PLUGINS="true" 即可

前陣子接觸到 OpenCode ，簡單說它就是「開源版的 Claude Code」😆，提供 CLI (TUI)、Web、Serve、IDE 擴充等多種使用方式，在 GitHub 上已經超過 100K 星星了。

在試玩 OpenCode 時，在公司內奇奇怪怪的網路環境內，每次打開 OpenCode 都要等老半天 (可能 20 分鐘)…
(結果是我被公司內網路玩死 (X

解決問題

後來找了找、測試不同的設定與參數，發現只需要設定 OPENCODE_DISABLE_DEFAULT_PLUGINS 環境變數就可以。它會停用預設外掛程式，也許是這外掛程式會需要連外網做什麼事。

開啟速度變超快 (跟原本的 20 分鐘比的話…)，快哭了 XD

如果是在 PowerShell 內，只需要執行以下這行指令設定環境變數，再執行 OpenCode 即可。
(每次重開 PowerShell 就需要執行一次)

1

$env:OPENCODE_DISABLE_DEFAULT_PLUGINS="true";

如果確認沒問題，就可以將其設定到系統設定內的環境變數，省的每次都要執行以上指令。

另外，如果以上參數設定後還是無法，我也找了 OpenCode 其他會連到外網的參數，各位讀者也可以試試。

OPENCODE_DISABLE_DEFAULT_PLUGINS=true // 停用預設外掛程式
OPENCODE_DISABLE_MODELS_FETCH=true // 停用從遠端來源擷取模型
OPENCODE_DISABLE_LSP_DOWNLOAD=true // 停用 LSP 伺服器自動下載
OPENCODE_DISABLE_AUTOUPDATE=true // 停用自動更新檢查

其他更多 OpenCode 環境變數，可參考官方文章：https://opencode.ai/docs/cli/#環境變數

結語

(有時候真的會被公司內網路搞死 😅

對生成式 AI 感興趣的讀者，記得追蹤 FB 粉專『 IT空間』，以免錯過最新的發文通知呦~🔔

參考：
OpenCode 官方文件

討厭我是你的權利，但做自己是我的權利。

—— IU (李知恩)

如何關閉 Chrome「閱讀清單」的兩種方法

jia@jiatool.com (Jia) — Sat, 30 Oct 2021 20:45:00 +0800

前言

最近 Chrome 瀏覽器更新後，討厭的「閱讀清單」功能又被打開了，而且還不能用舊有的方式關閉。

我也不太懂為何要特別設置閱讀清單，直接在書籤建立個資料夾，存放我稍後要看的網頁，這不就是相似的概念？

雖然位於書籤列左邊的「閱讀清單」區塊可以透過右鍵去隱藏，但還有點擊"加入書籤"的星星還是會跑出來。

接下來教你兩種，我在網路上找到關閉閱讀清單的方法。
(則一操作即可)

「閱讀清單」區塊

第一種、flags 頁面設定

瀏覽器開啟 chrome://flags/ 頁面。

先將 M93、M94 設為 Enabled，並重啟 Chrome 瀏覽器。

Temporarily unexpire M93 flags.
Temporarily unexpire M94 flags.

(找不到 M93、M94 ，可以在上方搜尋)

Enabled M93、M94

接下來只要像以前的方式操作，
一樣到 chrome://flags/ 頁面，再搜尋 Reading List，將其 Disabled。

Disabled Reading List

重啟 Chrome 瀏覽器後「閱讀清單」應該就被關閉了。

第二種、捷徑加上參數

找到你平常開啟的 Chrome 捷徑，對其滑鼠右鍵 > 內容，
在"目標"欄位後方加上 --disable-features=ReadLater 參數。
(中間要有空格)

Chrome 捷徑的目標後方加上參數

例如原本是：
"C:\Program Files\Google\Chrome\Application\chrome.exe"
加上參數後變成：
"C:\Program Files\Google\Chrome\Application\chrome.exe" --disable-features=ReadLater

如果出現需要系統管理員視窗，點擊繼續即可。

如果出現此視窗，點擊繼續即可

這樣你使用此捷徑打開瀏覽器的話，就不會有「閱讀清單」。

結語

以上這兩種方法，「目前」都可以達成關閉閱讀清單，但在第一個方法中 M93、M94 的內容寫到：

Temporarily unexpire flags that expired as of M93. These flags will be removed soon.

所以很可能這些方法之後會失效，恩…看來會被強迫使用了呢😓

如希望取得最新文章通知🔔，歡迎追蹤『 IT空間』FB 粉專。

參考：
【問題】Chrome的閱讀清單到底是什麼低能設計
 chrome95关闭阅读清单功能(Reading List)
How to Enable or Disable Reading List Feature in Google Chrome

Google 雲端硬碟無法下載檔案怎麼辦？

jia@jiatool.com (Jia) — Sat, 27 Mar 2021 20:15:00 +0800

前言

以前遇過 Google 雲端硬碟無法下載檔案，那時網路上找不太到中文資料，最近又再一次遇到了，不如將它紀錄下來，也幫助有此困擾的網友。

問題描述

在 Google 雲端硬碟選擇檔案並點擊下載後，左下角會顯示類似 "doc-0g-40-docs.googleusercontent.com…"，一段時間後跳出「無法下載檔案。如要下載這個檔案，請嘗試為雲端硬碟啟用第三方 Cookie」提示訊息，嘗試多次皆是這樣。
(以前連這個提示訊息都沒有，都不知道發生什麼事…)

無法下載檔案

解決辦法

這邊說明兩種方式，第一種是允許某個被封鎖的 Cookie，第二種是直接讓 Google 雲端硬碟網站一律可使用 Cookie。
擇一方法即可。

點擊上方網址列的左邊「查看網站資訊」，一個鎖頭的圖案。
再選擇下方「(目前使用 XX 個 Cookie) 個 Cookie」來顯示此網站的 Cookie。
(這句中文語法好像怪怪的😅)

查看網站資訊

切換到「已封鎖」分頁，點選底下的 Cookie，點擊允許，並完成。

允許遭封鎖的 Cookie

最後，它會提示你重新載入網頁，
重新載入網頁後應該就恢復可以正常下載檔案囉~

重新載入網頁

但這種方法之後如又遇到名稱不同的 Cookie，一樣要再操作一次。你也可以使用下個方法一勞永逸。

進入瀏覽器的設定 > Cookie，如果你是使用 Chrome 直接到這路徑： chrome://settings/cookies
其他瀏覽器應該大同小異。

往下滑到「一律可以使用 Cookie 的網站」，點擊「新增」。

設定 > Cookie

設定 > Cookie > 一律可以使用 Cookie 的網站

輸入 Google 雲端硬碟的網址：drive.google.com
「包括這個網站上的第三方 Cookie」打勾選擇。

新增網站

完成~最後一樣重新載入網頁即可。

成功將 Google 雲端硬碟網站加入

參考：
Unable to download files from Google drive | Google Chrome Help
在google雲端硬碟下載檔案失敗 | Google Chrome Help

超簡單！教你兩步透過 USB 將手機網路分享給電腦

jia@jiatool.com (Jia) — Sat, 13 Feb 2021 17:35:00 +0800

前言

大家都知道手機可開啟 Wi-Fi 熱點( Wi-Fi 無線基地台)，來讓其他手機或筆電連線上網，但之前發現有一部份的人並不知道除了 Wi-Fi，也可以使用 USB 傳輸線(有線)的方式連到電腦，讓電腦上網。

有可能你所在空間沒有 Wi-Fi、桌機沒有網路線沒辦法連 Wi-Fi (除非接無線網卡)、其他奇奇怪怪的原因，想透過手機的網路來讓電腦上網。
或者你手機已經使用 Wi-Fi 連網，那該如何分享網路給電腦呢？

其實手機內 "無線基地台"(Android)、"個人熱點"(iOS) 都有 USB 連接的功能可以幫你解決以上問題。
Android - 在 Android 裝置上透過無線基地台或網路共用功能共用行動網路
iOS - 如何在 iPhone 或 iPad 上設定「個人熱點」

以下步驟及截圖以 Android 10 的 ASUS ZenFone 5Z 來示範，只需要簡單兩步驟即可。

準備

USB 傳輸線 x 1

跟著做

第一步、透過 USB 連接手機和電腦

將手機與電腦透過 USB 傳輸線連接，也就是像平常要將檔案傳到電腦一樣的連接方式。

第一步、透過 USB 連接手機和電腦

第二步、開啟 USB 網路共用

有兩種方式可以開啟「USB 網路共用」，選擇其中一種步驟即可。

第一種：通知列連結

使用這個方式最快也最方便。
上方通知列拉下來，點擊 "正在透過 USB 為這個裝置充電" 會跳到 USB 偏好設定頁面，選擇下方 USB 用途中的 "USB 數據連線" 即可。

第一種：通知列連結

但如果你手機沒有這種方式的話…

第二種：設定頁面
前往手機的 "設定" > "網路和網際網路" > "無線基地台與網路共用" 頁面，點擊 "USB 網路共用" 即可。

第二種：設定頁面

完成

成功開啟 USB 網路共用後，上方通知列會顯示如下：

完成網路分享

結語

學起來~當需要的時候就可以馬上使用：

透過 USB 連接手機和電腦
開啟 USB 網路共用

[小廣告] 我製作了一款可愛的「企鵝魔法師」貼圖~
歡迎下載：LINE 貼圖、Telegram 貼圖 (免費)

參考：
在 Android 裝置上透過無線基地台或網路共用功能共用行動網路
 如何在 iPhone 或 iPad 上設定「個人熱點」

問題 on IT 空間

Qwen 3.6 27B 推論需要多少 GPU VRAM？包含 KV Cache 的算法

前言

需要多少 VRAM？

可以支持多少人 "同時" 使用？

補充

結語

解決 OpenCode 啟動速度緩慢問題

前言

解決問題

結語

如何關閉 Chrome「閱讀清單」的兩種方法

前言

第一種、flags 頁面設定

第二種、捷徑加上參數

結語

Google 雲端硬碟無法下載檔案怎麼辦？

前言

問題描述

解決辦法

方法一、允許被封鎖的 Cookie

方法二、設定 Google 雲端硬碟一律可使用 Cookie

超簡單！教你兩步透過 USB 將手機網路分享給電腦

前言

準備

跟著做

第一步、透過 USB 連接手機和電腦

第二步、開啟 USB 網路共用

完成

結語