Локальный запуск LLM: рабочая станция или GPU-сервер?

Локальный запуск LLM становится стратегической необходимостью для предприятий. Под давлением требований к защите данных, целей по минимизации задержек и долгосрочной оптимизации затрат технические директора и руководители ИТ-подразделений всё чаще выбирают размещение больших языковых моделей на собственной инфраструктуре вместо облачных API. Ключевой вопрос: рабочая станция или GPU-сервер?

Что нужно для локального запуска LLM?

Важнейший ресурс для локального инференса LLM — видеопамять (VRAM). Веса модели загружаются в память GPU; при недостаточном объёме VRAM модель либо не запускается, либо переходит на CPU-offloading, что делает инференс практически непригодным к использованию.

Запуск больших языковых моделей на собственной инфраструктуре ещё несколько лет назад был прерогативой крупных исследовательских лабораторий. Сегодня потребительские GPU и инструменты с открытым исходным кодом, такие как Ollama, делают это доступным для корпоративных ИТ-команд. Тем не менее правильное понимание требований к оборудованию остаётся обязательным условием успешного развёртывания.

Для работы LLM необходимо, чтобы все веса модели — или их квантизированное подмножество — были загружены в видеопамять GPU. Если это невозможно, такие фреймворки, как PyTorch или llama.cpp, переходят на CPU-offloading, при котором скорость инференса снижается до секунд на токен — что неприемлемо для интерактивных задач. Системная RAM и скорость CPU важны для предобработки и операций ввода-вывода, однако истинным узким местом всегда остаётся VRAM.

В части хранения модели занимают на диске от 4 ГБ до более 1,3 ТБ. Быстрый NVMe-накопитель существенно сокращает время загрузки модели; для крупных моделей рекомендуется PCIe 5.0 NVMe. Пропускная способность сети не имеет значения для локального инференса после первоначальной загрузки модели.

• VRAM: основной ресурс для хранения весов модели — не подлежит компромиссу
• CPU: важен для токенизации, предобработки и координации системы; рекомендуется современный EPYC или Xeon
• Системная RAM: минимум 64 ГБ, рекомендуется 128 ГБ+ для offloading или сложного управления контекстом
• NVMe SSD: определяет скорость загрузки модели; рекомендуется PCIe 5.0 NVMe для крупных моделей
• Блок питания и охлаждение: конфигурации с двумя RTX 5090 могут потребовать БП мощностью 1000 Вт+

VRAM и размер модели: какая модель подходит для какого GPU?

Размер модели и уровень квантизации напрямую определяют потребность в видеопамяти. Модель 7B требует около 14 ГБ при FP16, но лишь 4–5 ГБ при квантизации Q4. Модель 70B требует 35–40 ГБ VRAM даже при Q4.

Квантизация снижает точность весов модели (например, с FP16 до INT4), резко сокращая потребление видеопамяти. Потеря точности при Q4, как правило, минимальна и приемлема для большинства корпоративных сценариев. Q8 предлагает сбалансированный компромисс между точностью и эффективностью использования VRAM.

Значения в таблице отражают теоретические минимумы. Фактическое потребление VRAM увеличивается с ростом длины контекста и размером KV-кеша. При планировании работы с длинными контекстными окнами (32K+ токенов) следует добавлять к указанным значениям не менее 20–30%.

На вторичном рынке карты RTX 3090 24 ГБ доступны примерно за 650–750 долларов и обеспечивают отличное соотношение цены и производительности для моделей 7B и 13B. В корпоративной среде, однако, соображения гарантийного обслуживания, поддержки и надёжности, как правило, склоняют выбор в сторону новых RTX 5090 или карт класса дата-центра.

Локальные LLM на рабочей станции: одиночный разработчик и малые команды

ИИ-рабочая станция — идеальная отправная точка для локального инференса LLM в сценариях с одним разработчиком или малой командой. RTX 5090 с 32 ГБ VRAM комфортно запускает модель 70B Q4; добавление второй карты удваивает VRAM до 64 ГБ.

Локальные установки LLM на базе рабочих станций особенно популярны для разработки моделей, экспериментов с дообучением (fine-tuning) и прототипирования. Настольная или башенная рабочая станция может эксплуатироваться в офисной среде без инфраструктуры дата-центра и предлагает более управляемый профиль шума и охлаждения.

NVIDIA RTX 5090 с 32 ГБ GDDR7 VRAM сегодня занимает вершину потребительского сегмента. Она способна запускать Q4-квантизированную модель 70B на одной карте — такие модели, как Meta LLaMA 3.1 70B Q4, были проверены на этой конфигурации на практике. С двумя картами RTX 5090 суммарный объём VRAM достигает 64 ГБ, что обеспечивает комфортный запас для моделей 70B и поддержку длинных контекстных окон.

Выбор ИИ-рабочей станции требует совокупной оценки количества GPU, пропускной способности PCIe и требований к охлаждению с учётом целевых размеров моделей. Среди других важных факторов — поддержка материнской платой NVLink или PCIe 5.0, достаточная мощность блока питания и возможность установки памяти с коррекцией ошибок (ECC).

• Преимущества: меньшие начальные инвестиции, простая установка, пригодна для офисной среды, управляемый уровень шума
• Преимущества: достаточно для одного разработчика или малой команды; с Ollama запускается за считанные минуты
• Ограничения: ограниченное число одновременных пользователей (как правило, 1–4 активных сессии)
• Ограничения: конфигурации с более чем двумя GPU затруднены в башенном корпусе; от 4 карт требуется серверное шасси
• Ограничения: для обеспечения непрерывности бизнеса может потребоваться ИБП и резервное электропитание

Масштабируемое обслуживание LLM на GPU-сервере

GPU-сервер — правильный выбор для корпоративных развёртываний LLM, обслуживающих множество одновременных пользователей при высокой доступности и масштабируемости. В сочетании с vLLM пропускная способность существенно выше, чем у рабочей станции.

В корпоративной среде сервис LLM может обслуживать десятки или сотни одновременных пользователей. В таком сценарии инфраструктура рабочей станции быстро становится узким местом; в дело вступают GPU-серверы и высокопроизводительные фреймворки инференса. При выборе GPU-сервера и инфраструктуры ИИ необходимо совместно оценивать пропускную способность, задержку и пропускную способность памяти.

RTX PRO 6000 Blackwell с 96 ГБ GDDR7 ECC VRAM — профессиональный GPU, разработанный для корпоративных нагрузок. Он способен запускать модели MoE с 120 миллиардами параметров на одной карте при квантизации Q4. В классе дата-центров карты A100 80 ГБ и H100 80 ГБ, объединённые через NVLink, обеспечивают достаточную ёмкость для моделей с 405B+ параметров.

Архитектура процессора также является определяющим фактором при выборе серверной платформы. Процессоры AMD EPYC и Intel Xeon Scalable с многоканальными архитектурами памяти и высоким числом линий PCIe стали стандартом для GPU-серверных платформ. Выбор серверного процессора — подробное сравнение Xeon, EPYC и Threadripper Pro — рассматривается в отдельном руководстве.

Программный стек: Ollama, vLLM и LM Studio

Ollama — самый простой вариант: модель загружается и запускается одной командой. vLLM обеспечивает высокую пропускную способность при параллельном производственном трафике. LM Studio — настольное приложение с графическим интерфейсом для тех, кто предпочитает GUI.

Экосистема локальных LLM за последние два года достигла заметной зрелости. Сегодня существуют специализированные инструменты для ML-инженеров, работающих в командной строке, продуктовых менеджеров, предпочитающих графические интерфейсы, и DevOps-инженеров, развёртывающих высокопроизводительные сервисы на Kubernetes.

Главное преимущество Ollama — нулевая конфигурация при запуске: команда `ollama run llama3.1:70b` автоматически загружает модель, определяет GPU и предоставляет REST API. Уровень квантизации выбирается автоматически, однако пользователь может явно указать теги Q4 или Q8 при необходимости.

vLLM использует алгоритм PagedAttention для значительно более эффективного управления KV-кешем. При высокой нагрузке параллельных запросов vLLM обеспечивает заметно более высокую производительность (токенов в секунду) по сравнению с Ollama. Для производственных сред с 10+ одновременными пользователями vLLM является предпочтительным выбором. Поддерживается развёртывание через Docker, виртуальную среду Python или Helm-чарт для Kubernetes.

Защита данных и On-Premise: локальные LLM в контексте KVKK

Обработка персональных данных в рамках KVKK требует, чтобы данные не передавались на зарубежные серверы. Развёртывание LLM on-premise напрямую удовлетворяет этому требованию; облачные API-вызовы требуют дополнительных договорных и технических мер защиты.

Турецкий Закон о защите персональных данных № 6698 (KVKK) требует явного согласия или достаточных гарантий защиты при передаче персональных данных за рубеж. Когда медицинские записи, финансовые данные или сведения о сотрудниках отправляются в виде промптов в LLM API, эти данные технически передаются в инфраструктуру поставщика API — что создаёт существенные правовые риски для организаций здравоохранения, финансового сектора и государственных органов.

Развёртывание LLM on-premise устраняет эту проблему в корне: данные физически не покидают инфраструктуру организации, журналы событий остаются под контролем организации, а аудиторские следы находятся в её распоряжении. Сравнение on-premise ИИ-серверов и облачных GPU — с подробным рассмотрением аспектов затрат и соответствия требованиям — доступно в нашем специализированном руководстве.

Сетевая сегментация не менее критична с точки зрения технической изоляции. Работа сервиса LLM в изолированном сетевом сегменте без интернет-выхода минимизирует риск утечки данных. Хранение весов моделей в защищённом внутреннем репозитории артефактов и обеспечение контроля версий моделей дополнительно укрепляют соответствие корпоративным политикам безопасности.

• KVKK статья 9: трансграничная передача требует явного согласия или достаточной защиты — on-premise устраняет этот риск
• Здравоохранение: отправка данных пациентов в промптах зарубежным API создаёт риск нарушения нормативных актов Министерства здравоохранения
• Финансовый сектор: нормативы BDDK и CMB требуют суверенитета данных для клиентских финансовых сведений
• Государственные учреждения: законодательство о кибербезопасности обязывает обрабатывать чувствительные данные внутри страны
• Соответствие ISO 27001: on-premise LLM проще удовлетворяет требованиям к контролю доступа и аудиторскому следу

Рабочая станция или сервер? Матрица решений

Рабочая станция — правильный выбор для одиночного разработчика или малой команды; GPU-сервер — для корпоративных многопользовательских развёртываний. Решение зависит от числа одновременных пользователей, размера модели, бюджета и управляемости.

Обе платформы способны запускать локальные LLM, однако различаются по масштабу, сложности управления и структуре затрат. Приведённая ниже матрица решений поможет сопоставить потребности вашей организации с доступными вариантами. Что такое рабочая станция и сервер? — наше базовое руководство — рассматривает различия платформ с более широкой перспективы.

С точки зрения затрат сравнение локального сервера на базе RTX 5090 с эквивалентной мощностью облачных GPU (например, почасовая аренда A10G или A100) показывает, что локальная инфраструктура окупается примерно за 5–7 месяцев интенсивного использования. При более интенсивном использовании этот период сокращается.

Гибридные подходы также набирают популярность: базовые нагрузки выполняются на on-premise рабочих станциях или GPU-серверах, а облачные GPU используются для пиковых нагрузок в режиме burst. Такая модель предлагает сбалансированное решение как для оптимизации затрат, так и для соответствия требованиям KVKK.

Часто задаваемые вопросы

Какой GPU лучше всего подходит для локальных LLM?

Зависит от ваших потребностей. Для отдельного разработчика идеальны RTX 5090 (32 ГБ) или бюджетная RTX 3090 (24 ГБ). Для корпоративного многопользовательского обслуживания рекомендуется RTX PRO 6000 Blackwell (96 ГБ) или карты класса дата-центра A100/H100.

Сколько видеопамяти нужно для модели 70B?

Модель 70B при точности FP16 требует около 140 ГБ VRAM; квантизация Q4 снижает это до 35–40 ГБ. Одна RTX 5090 (32 ГБ) запускает её с минимальным запасом; Dual RTX 5090 (64 ГБ) обеспечивает комфортный резерв для 70B Q4.

Ollama или vLLM — что использовать?

Ollama — для быстрого старта и индивидуального использования: одна команда, нулевая конфигурация. Если ваша производственная среда нацелена на 10+ параллельных запросов, механизм PagedAttention в vLLM обеспечивает значительно более высокую пропускную способность. Инструменты не исключают друг друга: прототипирование — на Ollama, производство — на vLLM.

Локальный инференс LLM дешевле, чем облачные LLM API?

При интенсивном использовании локальная инфраструктура, как правило, экономически выгоднее; установка на базе RTX 5090 окупается по сравнению с эквивалентными облачными мощностями примерно за 5–7 месяцев. При низкой или переменной нагрузке облако может быть выгоднее.

Насколько безопасен on-premise LLM с точки зрения защиты данных?

При on-premise LLM данные физически не покидают сеть вашей организации — отсутствует риск трансграничной передачи в рамках статьи 9 KVKK. В сочетании с сетевой изоляцией и политиками контроля доступа достигается наивысший уровень суверенитета данных.

Насколько CPU и RAM влияют на производительность LLM?

Когда VRAM исчерпан и происходит offloading, скорость CPU становится критичной. При нормальном инференсе на GPU процессор отвечает за токенизацию и предобработку; рекомендуется современный многоядерный CPU (EPYC, Xeon) с 64 ГБ+ системной RAM. Основным узким местом остаётся VRAM.

Что такое квантизация и ухудшает ли она модель?

Квантизация снижает точность весов модели (FP16 → INT8 → INT4), уменьшая потребности в VRAM. При Q4 потеря точности незначительна для большинства корпоративных задач, что делает Q4 или Q8 стандартным выбором для локального развёртывания.

Заключение

Решение о локальном запуске LLM основывается на объёме VRAM, числе одновременных пользователей, требованиях к защите данных и долгосрочном балансе затрат. Для одиночного разработчика или малой команды рабочая станция RTX 5090 в сочетании с Ollama может быть введена в эксплуатацию в течение нескольких дней; корпоративные многопользовательские сервисы требуют инфраструктуры GPU-сервера и vLLM. В секторах, регулируемых KVKK, on-premise развёртывание обеспечивает не только экономическое преимущество, но и юридическую уверенность в соответствии требованиям.

Если вы хотите спланировать локальную LLM-инфраструктуру вашей организации, выбрать оптимальный GPU и программный стек или сравнить текущие облачные расходы с on-premise инвестициями, команда Sora по локальным LLM готова провести для вас бесплатную консультацию.