12+
Локальные LLM на потребительской видеокарте

Бесплатный фрагмент - Локальные LLM на потребительской видеокарте

От квантизации до агентов: когда достаточно 16 ГБ VRAM?

Объем: 82 бумажных стр.

Формат: epub, fb2, pdfRead, mobi

Подробнее

ЧАСТЬ I. ФУНДАМЕНТ: ПОЧЕМУ 16 ГБ — ЭТО ДОСТАТОЧНО

ГЛАВА 1. Анатомия VRAM: как модель, контекст и квантизация делят память

Вы скачали модель на 14 миллиардов параметров в квантизации Q5. По калькулятору на сайте модели она занимает «около 10 ГБ». У вас 16 ГБ VRAM. Вы запускаете её с контекстом 32 000 токенов — и получаете либо ошибку нехватки памяти, либо скорость 3 ток/с, потому что часть модели уехала в системную RAM. Модель «влезла», но бюджет VRAM не сошёлся.

Эта глава — про то, как считать этот бюджет. Не гадать, а считать: сколько памяти уйдёт на веса, сколько на контекст, сколько на рабочий буфер и сколько нужно оставить свободным. К концу главы вы сможете за минуту оценить, поместится ли конкретная модель с конкретным контекстом в ваши 16 ГБ.

1.1. Из чего состоит бюджет VRAM

Бюджет видеопамяти — это не одно число, а четыре статьи расхода, которые складываются. Если хотя бы одну забыть, расчёт рассыпается.

Веса модели (weights). Это то, что вы скачали. Размер зависит от числа параметров и от того, сколько бит отведено на каждый вес. Именно веса — самая крупная статья расхода, и именно их чаще всего имеют в виду, когда говорят «модель на 10 ГБ».

KV-кэш. Это память, в которой модель хранит «контекст» — ключи и значения attention для уже обработанных токенов. KV-кэш растёт линейно с длиной контекста. На коротком диалоге он почти незаметен. На 32K–128K токенах он может занять больше места, чем сама модель.

Рабочий буфер (activations и attention workspace). Промежуточные вычисления, которые нужны на каждом шаге генерации. Обычно это сотни мегабайт — гигабайт, но при больших batch size или длинных последовательностях он растёт.

Накладные расходы рантайма и ОС. Драйвер видеокарты, контекст CUDA или ROCm, фрагментация памяти, служебные буферы самого рантайма. На 16 ГБ карте это обычно 0,5–1 ГБ, которые вы не увидите в калькуляторе модели.

Под капотом. На Windows часть VRAM резервируется под WDDM (Windows Display Driver Model), поэтому «доступно» всегда меньше «установлено». На Linux накладные расходы обычно ниже, но зависят от драйвера и версии CUDA/ROCm.


Соберём все статьи расхода в один расчёт — и получим реальный бюджет. Правило, которое стоит запомнить с этой главы: оставляйте около 15% VRAM свободными (это эвристика автора, а не абсолют). Этот запас покрывает фрагментацию, пики рабочего буфера и накладные расходы, которые вы не учли.

Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

1.2. Веса: сколько на самом деле весит модель

Оценка размера весов — арифметика, которую полезно уметь делать в уме.

Формула: размер весов ≈ (число параметров × бит на вес) / 8.

Для 7B в FP16: 7 × 10⁹ × 16 / 8 ≈ 14 ГБ. Для 7B в Q4: 7 × 10⁹ × 4 / 8 ≈ 3,5 ГБ по формуле; реальный файл GGUF обычно 4,0–4,5 ГБ из-за служебных тензоров и метаданных.

Вот ориентировочная таблица для типичных квантизаций. Точные размеры зависят от реализации квантизации (Q, K-quants, IQ) и от архитектуры модели.

Квантизация | 7B | 12B | 14B | 24B | 27B | 32B

FP16 | ~14 ГБ | ~24 ГБ | ~28 ГБ | ~48 ГБ | ~54 ГБ | ~65 ГБ

Q8_0 | ~7 ГБ | ~12,8 ГБ | ~14,6 ГБ | ~23,7 ГБ | ~27 ГБ | ~34 ГБ

Q6_K | ~5,5 ГБ | ~9,8 ГБ | ~11,3 ГБ | ~18,3 ГБ | ~22 ГБ | ~26 ГБ

Q5_K_M | ~4,8 ГБ | ~8,5 ГБ | ~9,8 ГБ | ~15,9 ГБ | ~19 ГБ | ~23,1 ГБ

Q4_K_M | ~4 ГБ | ~7,3 ГБ | ~8,4 ГБ | ~13,6 ГБ | ~16 ГБ | ~19,5 ГБ

Q3_K_M | ~3,1 ГБ | ~5,8 ГБ | ~6,8 ГБ | ~10,5 ГБ | ~12 ГБ | ~15,9 ГБ

Q2_K | ~2,2 ГБ | ~4,5 ГБ | ~5,5 ГБ | ~8,5 ГБ | ~9,5 ГБ | ~12,3 ГБ

Источник. 12B — карточка Gemma 4 12B (Q4_K_M 7,3 ГБ, Q5_K_M 8,5 ГБ; canitrun.dev). 14B — карточка DeepSeek-R1-Distill-Qwen-14B (Q4_K_M 8,37 ГБ, Q5_K_M 9,79 ГБ; modelfit.io). 24B — карточка Mistral Small 3.x 24B (Q4_K_M 13,6 ГБ, Q5_K_M 15,9 ГБ, Q3_K_M 10,5 ГБ; cooconsbit.com). 32B — карточка Qwen2.5—32B (Q4_K_M 19,5 ГБ, Q5_K_M 23,1 ГБ; gigagpu.com). 7B и 27B — [НУЖЕН ИСТОЧНИК: добавить карточки для Llama-3.1—8B и Qwen3.8—27B].


Из таблицы видно главное: 24B dense в Q4_K_M — это ~13,6 ГБ только весов. На 16 ГБ карте такая модель оставляет ~2–3 ГБ под KV-кэш и буфер. Это возможно при коротком контексте, но не при 32K.

Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

Отдельно про MoE. У Mixture-of-Experts моделей есть два разных числа: полное число параметров (все эксперты) и число активных параметров (те, что реально участвуют в генерации одного токена). Для скорости важны активные параметры, для VRAM — полное число, потому что все эксперты должны где-то храниться. 30B MoE с 3B активных параметров в Q4 занимает ~17 ГБ — почти столько же, сколько 27B dense.

Под капотом. K-quants (Q4_K_M, Q5_K_M) — это блочное квантование с разной точностью для разных тензоров: более важные слои квантуются мягче. IQ-кванты (IQ2_XS, IQ3_XXS) используют решёточное квантование и дают лучшее качество при том же размере, но требуют поддержки со стороны рантайма.

Типичная ошибка. Смотреть на «активные параметры» MoE и думать, что модель займёт столько же, сколько dense-модель с таким числом параметров. Для VRAM решает полный размер.

1.3. KV-кэш: главный скрытый пожиратель

KV-кэш — это та часть бюджета, которую новички забывают чаще всего. Именно из-за неё «модель, которая влезала вчера» перестаёт влезать сегодня, когда вы поднимаете контекст с 8K до 32K.

Что хранится в KV-кэше: для каждого слоя attention и для каждого уже обработанного токена — ключ (key) и значение (value) по каждой KV-голове attention. Формула оценки:

KV-кэш ≈ 2 × слои × KV-головы × head_dim × токены × байт_на_элемент

Множитель 2 — потому что хранятся и ключи, и значения. байт_на_элемент зависит от точности KV-кэша: FP16 — 2 байта, Q8 — 1 байт, Q4 — 0,5 байта.

Возьмём Qwen3 8B: 36 слоёв, 8 KV-голов (GQA), head_dim 128. Для 8K токенов в FP16:

2 × 36 × 8 × 128 × 8192 × 2 ≈ 1,2 ГБ

Для 32K — уже ~4,8 ГБ. Для 128K — ~19 ГБ, что само по себе больше 16 ГБ.


Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

Под капотом. GQA (Grouped-Query Attention) и MQA (Multi-Query Attention) сокращают число KV-голов, для которых хранится KV-кэш, во много раз. Например, Qwen3 8B с 8 KV-головами в bf16 даёт 144 KiB KV-кэша на токен. MHA-версия с 32 KV-головами потребовала бы в 4 раза больше.

Отсюда практическое правило: длинный контекст — это не бесплатно. Каждое удвоение контекста удваивает KV-кэш. И квантизация KV-кэша (например, Q8) снижает его вдвое, но может стоить небольшой потери качества.

Типичная ошибка. Ставить контекст 128K «на всякий случай», потому что модель его поддерживает. Поддержка — не то же самое, что помещается в вашу карту вместе с весами.

1.4. Рабочий буфер и накладные расходы

Две статьи, которые легко игнорировать, но которые складываются в гигабайты.

Рабочий буфер (activations). Промежуточные тензоры, которые создаются на каждом шаге прямого прохода. Их размер зависит от batch size и длины последовательности. При batch size 1 и коротком контексте это сотни мегабайт. При больших batch или длинном prefill (обработке входного промпта перед генерацией) — больше.

Attention workspace. Дополнительная память под вычисление attention. Flash-attention существенно снижает её, но не обнуляет. На длинных последовательностях и без flash-attention workspace может достигать нескольких гигабайт.

Накладные расходы. Драйвер, контекст CUDA/ROCm, служебные буферы рантайма, фрагментация. На практике из 16 ГБ «установлено» вам доступно ~15,3 ГБ (ориентировочно; зависит от ОС и драйвера). [ПРОВЕРИТЬ: точные значения на разных ОС.]

Проверь себя. Запустите nvidia-smi (или rocm-smi) до загрузки модели и после. Разница между «занято» и размером весов — это ваш рабочий буфер плюс накладные расходы. Запишите это число для своей системы. Ожидаемый ответ: 0,5–1,5 ГБ в зависимости от ОС и рантайма.

1.5. Собираем бюджет: практический калькулятор

Теперь сложим всё вместе. Алгоритм из пяти шагов:

1. Веса. Возьмите число параметров и квантизацию, оцените размер по формуле (или по таблице выше).

2. KV-кэш. Оцените по формуле для вашей длины контекста и точности KV-кэша.

3. Рабочий буфер. Добавьте 0,5–1,5 ГБ в зависимости от длины prefill и batch.

4. Накладные расходы. Добавьте 0,5–1 ГБ на драйвер и рантайм.

5. Запас. Убедитесь, что сумма ≤ 85% доступной VRAM.

Вот как это выглядит для трёх типичных сценариев на 16 ГБ (доступно ~15,3 ГБ, рабочий запас — 15%):

Сценарий | Контекст | Модель | Веса | KV (FP16) | Буфер + накладные | Итог | Вердикт

Чат | 8K | Gemma 4 12B Q4_K_M | ~7,3 ГБ | ~0,5 ГБ | ~1,5 ГБ | ~9,3 ГБ | Влезает

RAG | 32K | DeepSeek-R1—14B Q4_K_M | ~8,4 ГБ | ~3,0 ГБ | ~2 ГБ | ~13,4 ГБ | Влезает

RAG | 32K | Mistral Small 24B Q4_K_M | ~13,6 ГБ | ~5,0 ГБ | ~2 ГБ | ~20,6 ГБ | Не влезает

RAG | 32K | Mistral Small 24B Q3_K_M | ~10,5 ГБ | ~5,0 ГБ | ~2 ГБ | ~17,5 ГБ | На грани

Агент | 64K | gpt-oss 20B MXFP4 | ~12,1 ГБ | ~2,0 ГБ | ~2 ГБ | ~16,1 ГБ | На грани; нужен Q8 KV


Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

Источник. Размеры весов подтверждены карточками моделей (см. раздел 1.2). KV-кэш для Mistral 24B: 16K ~2,5 ГБ, 32K ~5,0 ГБ (cooconsbit.com). gpt-oss 20B MXFP4: 12,1 ГБ (GitHub).

Типичная ошибка. Считать только веса и удивляться, почему 32K контекст «не работает». KV-кэш на 32K для 24B-модели — это ~5 ГБ, которые нужно вычесть из бюджета до того, как вы добавите буфер и накладные.

Итоги главы

1. Бюджет VRAM = веса + KV-кэш + рабочий буфер + накладные расходы.

2. Квантизация весов — главный рычаг экономии, но не единственный.

3. KV-кэш растёт линейно с контекстом; на длинном контексте он может занять больше места, чем сама модель.

4. MoE-модели для VRAM считаются по полному числу параметров, а не по активным.

5. Оставляйте ~15% VRAM свободными (эвристика автора): запас покрывает фрагментацию и пики буфера.

Упражнения

1. Оцените размер весов для 14B в Q6_K и Q4_K_M. Сравните с таблицей.

2. Для Mistral Small 24B посчитайте KV-кэш на 8K, 32K и 128K в FP16 и Q8.

3. Запустите nvidia-smi/rocm-smi до и после загрузки модели. Запишите накладные расходы вашей системы.

4. Возьмите сценарий «RAG на 32K» и подберите комбинацию модели и квантизации, которая влезает в ваши 16 ГБ с запасом 15%.

Что дальше

Теперь, когда мы умеем считать бюджет VRAM, следующий вопрос — какой рантайм даёт лучший контроль над этим бюджетом. В Главе 2 разберём Ollama, LM Studio и llama. cpp: чем они отличаются, какие флаги управляют выгрузкой слоёв (offload) и KV-кэшем, и для каких сценариев каждый из них подходит.

ГЛАВА 2. Ландшафт рантаймов: Ollama, LM Studio, llama. cpp

Три пользователя запускают одну и ту же модель на одной и той же карте с 16 ГБ VRAM. Первый получает 45 ток/с и стабильную работу. Второй — 30 ток/с и периодические OOM. Третий — 12 ток/с и выгрузку половины модели в RAM. Модель одна. Карта одна. Разница — в рантайме.

Эта глава — про три основных рантайма для локальных LLM: Ollama, LM Studio и llama. cpp. Мы разберём, что у них общего, чем они отличаются, и как выбрать тот, который соответствует вашей задаче.

2.1. Что общего у всех рантаймов

Все три рантайма работают с одним форматом файлов — GGUF (GPT-Generated Unified Format). Это контейнер, в котором лежат веса модели в квантизованном виде плюс метаданные: архитектура, число слоёв, параметры токенизатора. Если вы скачали модель с Hugging Face в формате GGUF, она подойдёт любому из трёх рантаймов.

Все три умеют выгружать слои в системную RAM, когда VRAM не хватает. В llama. cpp это флаг — n-gpu-layers, в Ollama — параметр num_gpu в Modelfile, в LM Studio — ползунок GPU offload. Механизм один: часть слоёв остаётся на GPU, часть уезжает в RAM, и скорость падает, потому что пропускная способность RAM ниже, чем у VRAM.


Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

Все три могут поднять OpenAI-совместимый endpoint. Это значит, что любой инструмент, который умеет говорить с OpenAI API (включая OpenCode), может работать с локальной моделью через этот endpoint.

Различия — в контроле, удобстве и экосистеме. Именно им посвящены следующие три раздела.

Здесь есть иллюстрация

Зарегистрируйтесь или войдите, чтобы увидеть ее и другие изображения

2.2. Ollama: агентский стандарт

Ollama — это рантайм, который чаще всего выбирают для агентских сценариев. Причина — в балансе простоты и функциональности.

Modelfile. Конфигурация модели в Ollama описывается декларативно. Вы создаёте текстовый файл, в котором указываете базовую модель, параметры запуска и системный промпт. Вот пример для 14B-модели в Q4_K_M:

FROM deepseek-r1:14b-q4_K_M

PARAMETER num_gpu 28

PARAMETER num_ctx 16384

PARAMETER temperature 0.7

SYSTEM «Ты — технический ассистент. Отвечай кратко и по делу.»

num_gpu 28 означает, что 28 слоёв останутся на GPU, остальные уедут в RAM. num_ctx 16384 задаёт длину контекста. Эти два параметра — главные рычаги управления бюджетом VRAM в Ollama.

Встроенный сервер. Ollama поднимает OpenAI-совместимый endpoint на localhost:11434. Это значит, что OpenCode, Continue, Cline и другие агентские инструменты могут подключиться к нему без дополнительной настройки.

Сильные стороны. Простота установки, автоуправление памятью, готовая интеграция с агентскими инструментами.

Ограничения. Меньше контроля над KV-кэшем и flash-attention, чем в llama. cpp. Некоторые продвинутые флаги недоступны.

Под капотом. Ollama автоматически определяет, сколько слоёв можно загрузить на GPU, исходя из доступной VRAM. Это удобно, но иногда консервативно: она может оставить на GPU меньше слоёв, чем поместилось бы.

2.3. LM Studio: GUI для экспериментов

LM Studio — это рантайм с графическим интерфейсом. Он удобен для быстрого старта и экспериментов, но менее удобен для автоматизации.

GUI. Вы загружаете модель через интерфейс, настраиваете длину контекста, ползунком выбираете число слоёв на GPU, видите текущее потребление VRAM в реальном времени.

Встроенный сервер. LM Studio поднимает OpenAI-совместимый endpoint на localhost:1234.

Сильные стороны. Наглядность, быстрый старт, удобство для экспериментов с разными моделями и квантизациями.

Ограничения. Меньше автоматизации, не для продакшн-пайплайнов. Настройки хранятся в GUI, а не в конфигурационных файлах.

2.4. llama. cpp: полный контроль

llama. cpp — это низкоуровневый рантайм, который даёт максимальный контроль над всеми параметрами. Он сложнее в настройке, но именно он позволяет получить максимальную производительность из 16 ГБ VRAM.

llama-server. Это компонент llama. cpp, который поднимает OpenAI-совместимый endpoint на localhost:8080. Вот пример запуска для 14B-модели с контекстом 32K и квантизованным KV-кэшем:

llama-server \

— m deepseek-r1-14b-q4_K_M.gguf \

— n-gpu-layers 28 \

— ctx-size 32768 \

— flash-attn \

— cache-type-k q8_0 \

— cache-type-v q8_0 \

— host 0.0.0.0 \

— port 8080

Флаг — n-gpu-layers 28 оставляет 28 слоёв на GPU. — ctx-size 32768 задаёт контекст. — flash-attn включает flash-attention, который снижает потребление памяти под attention workspace. — cache-type-k q8_0 и — cache-type-v q8_0 квантизуют KV-кэш до 8 бит, что вдвое снижает его размер по сравнению с FP16.

Бесплатный фрагмент закончился.

Купите книгу, чтобы продолжить чтение.