Как выбрать GPU для нейросети: 24, 48 или 80 GB памяти
Для нейросети сначала выбирают объём памяти под рабочий режим, затем сравнивают скорость и стоимость подходящих GPU. Если задача требует больше VRAM, чем есть на карте, высокая вычислительная мощность не решит проблему. Если памяти хватает, переплата за её лишний объём может не дать полезного ускорения.
Разберём выбор между RTX 4090 с 24 GB, RTX A6000 с 48 GB и A100 с 80 GB: как наметить первую конфигурацию ещё без замера, что проверить в запуске и когда переходить на больший объём.
Сначала определите, что именно будет делать нейросеть
Под одним запросом «GPU для нейросети» скрываются разные режимы:
- Инференс: готовая модель выдаёт ответы или изображения. Важны веса, рабочие буферы, контекст и число одновременных запросов.
- LoRA или QLoRA: меняется ограниченный набор параметров. Экономия памяти зависит от метода, точности, длины последовательности и настроек обучения.
- Полное дообучение: обновляются все веса. Дополнительно нужны градиенты, состояние оптимизатора и сохранённые данные обратного прохода.
Поэтому фраза «модель запускается на 24 GB» без режима почти бесполезна. Она может описывать короткий ответ квантованной модели, а вам нужно обучение всех весов. Принцип обучения адаптеров описан в документации PEFT о LoRA; переносить его требования на полное дообучение нельзя.
Как выбрать первую GPU, если замера ещё нет
- Запишите режим. Название и ревизию модели, точность, движок. Для текста — максимальный вход вместе с ответом и число параллельных запросов; для изображений — разрешение, batch и используемый workflow.
- Найдите ориентир для того же режима. Начните с model card и примеров запуска авторов. Требование для квантованного инференса нельзя переносить на BF16 или обучение. Если точного примера нет, посчитайте хотя бы веса и кэш; ниже разберём такой расчёт.
- Отберите карту с местом для рабочих буферов. Если одна известная часть уже подходит вплотную к ёмкости, возьмите следующий класс памяти для первого прогона либо уменьшите контекст или batch. Фиксированный запас «плюс 20%» подходит не каждому движку.
- Подготовьте короткую сессию. Сначала один рабочий пример, затем максимальный вход и нужный параллелизм. Для обучения нужен полный шаг с обновлением весов. Запишите пик памяти и время, после чего решайте, можно ли перейти на меньшую карту.
Для QLoRA, генерации изображений и нестандартных workflows расход сильно зависит от реализации. Там полезнее точный пример авторов с версиями и настройками, чем таблица памяти только по числу параметров.
Пример: Qwen 7B с коротким и длинным контекстом
Для инференса начните с весов и состояния контекста. Например, у Qwen2.5-7B-Instruct в BF16 полезный объём весов выбранной ревизии около 14,19 GiB. Для четырёх независимых последовательностей по 32 768 токенов расчётные данные KV-кэша добавляют ещё 7 GiB. Уже получается 21,19 GiB до рабочих выделений.
Для одного диалога на 8192 токена известная часть меньше: около 14,63 GiB. Начать проверку такого режима можно с 24-гигабайтной карты. Для четырёх длинных диалогов с расчётной частью 21,19 GiB разумнее взять 48 GB на первый прогон: останется больше места для рабочих выделений движка. Это выбор стартового кандидата; фактический пик покажет, сколько памяти нужно выбранной реализации. Исходные параметры доступны в файлах Qwen2.5-7B-Instruct.
Пример: полное обучение модели на 7 млрд параметров
Для полного обучения расчёт начинается иначе. Возьмём условную модель ровно с 7 млрд параметров, все веса и градиенты FP32, обычный Adam с двумя FP32-состояниями на параметр, без шардирования и выгрузки:
Вес: 4 байта
Градиент: 4 байта
Два состояния Adam: 4 + 4 байта
Итого: 7 000 000 000 × 16 = 112 GB ≈ 104,3 GiBЭто только перечисленные тензоры; активации и временные выделения увеличат расход. Поэтому одна A100 на 80 GB не подходит для такой схемы ещё до теста. Следующий шаг — менять размещение и метод обучения: шардировать состояния между GPU, использовать поддерживаемую выгрузку или рассмотреть адаптеры, если они решают задачу. Формат и состав состояний зависят от реализации оптимизатора; документация PyTorch Adam описывает его два момента и дополнительные настройки.
Уменьшение microbatch может сократить активации, но не уменьшит уже посчитанные веса и два состояния Adam. Эта простая проверка помогает не арендовать заведомо тесную карту в надежде исправить всё размером batch.
Какой GPU брать при известном пике памяти
После первого прогона сравните пик с доступной памятью. В таблице — условные пики для одной GPU без выгрузки в RAM.
| Условие | С чего начать | Почему |
|---|---|---|
| Рабочий пик 18 GiB, нагрузка и максимальный размер входа уже проверены | RTX 4090, 24 GB | Первый кандидат по ёмкости. Сверить реально доступную память и запас; затем проверить время задачи. Удваивать VRAM сразу незачем. |
| Рабочий пик 34 GiB, уменьшать модель или нагрузку нельзя | RTX A6000, 48 GB | 24-гигабайтный вариант отпадает. Одна карта на 48 GB позволяет проверить задачу без распределения на несколько GPU. |
| Рабочий пик 60 GiB, требуется одна GPU | A100, именно вариант 80 GB | Карты на 24 и 48 GB слишком малы. Исполнение A100 на 40 GB тоже не подходит под этот бюджет. |
← Прокрутите таблицу →
Ёмкости подтверждаются спецификациями RTX 4090, RTX A6000 и A100. При аренде проверяйте объём, выделенный именно вашему окружению. У A100 встречаются разные исполнения и разделение через MIG; название семейства не обещает полную память карты.
После отбора по памяти сравнивайте время и стоимость одной и той же задачи.
Не пропустите CPU, RAM и диск
GPU получает данные от остальной машины. При обучении классификатора изображений CPU читает и преобразует картинки. Медленная подготовка создаёт паузы между шагами, даже если у видеокарты достаточно памяти. В PyTorch имеет смысл отдельно проверить загрузчик данных и расположение датасета. Руководство по производительности объясняет загрузку в отдельных процессах и передачу данных на GPU.
В каталоге XGPU на 2 ноября 2026 года у карточки RTX 4090 ×1 указаны 12 vCPU, 70 GB RAM и диск 850 GB, а у примера A6000 ×1 в Montreal — 28 vCPU, 58 GB RAM и диск 100 GB. Более вместительная VRAM не означает больший диск или системную RAM. Комплектация зависит от выбранной карточки.
Перед загрузкой большого датасета посчитайте место для архива, распакованной копии, весов и промежуточных сохранений. Если одновременно нужны 300 GB файлов, конфигурация с диском 100 GB не подходит без изменения схемы хранения, даже при достаточной VRAM.
Проверьте программную среду до длинной сессии
Совместимость зависит от GPU, драйвера, CUDA-сборки фреймворка и расширений вашего проекта. Успешный импорт PyTorch ещё не проверяет все операции модели. В готовом окружении сначала выполните короткий рабочий фрагмент: для обучения — forward, backward и шаг оптимизатора; для инференса — запрос нужной длины с генерацией ответа.
Зафиксируйте версии библиотек и параметры нагрузки. Если вы одновременно сменили GPU, точность и batch, разницу скорости уже нельзя приписать только видеокарте.
Выбирайте по цене выполненной задачи
Когда два кандидата выполняют одну и ту же задачу с нужным качеством, сравнивайте полную оплату сессии. В неё могут входить подготовка, загрузка, вычисления и экспорт. Для почасового округления особенно важна граница следующего часа.
Учебный пример с условными ставками и временем: конфигурация A по 0,70 USD за начатый час заканчивает сессию за 3 часа 10 минут — аренда стоит 2,80 USD. Конфигурация B по 1,20 USD укладывается в 1 час 50 минут — 2,40 USD. Более дорогой час здесь даёт более дешёвый результат. Хранение и другие услуги добавляют по составу заказа.
Теперь можно идти в каталог XGPU с конкретными требованиями. Для первого прогона выберите объём VRAM по расчёту или примеру авторов, затем проверьте RAM и диск. После запуска сохраните пик и длительность: эти два числа помогут выбрать конфигурацию для регулярной работы без постоянного запаса «на всякий случай».
Спецификации и документы проверены 2 ноября 2026 года.