Что входит в GPU-сервер: как читать VRAM, CPU, RAM и диск
В карточке GPU-сервера рядом стоят 48 GB VRAM, 58 GB RAM и диск 100 GB. Складывать их в «206 GB памяти для нейросети» нельзя. У каждого ресурса своя работа: видеокарта считает, CPU готовит данные, оперативная память держит работающие программы, диск хранит файлы.
Разберём карточку A6000 ×1 из каталога XGPU: 48 GB VRAM, 28 vCPU, 58 GB RAM и диск 100 GB, регион CA, Montreal. Эти параметры проверены в публичном каталоге 2 ноября 2026 года.
Пять строк карточки, которые важнее красивого названия GPU
| В карточке | За что отвечает | Что это меняет в вашей задаче |
|---|---|---|
| A6000 ×1, 48 GB VRAM | Одна видеокарта и её память | На GPU должны разместиться веса, рабочие данные и нужный кэш. Объём памяти ограничивает конфигурацию модели и нагрузки. |
| 28 vCPU | Вычисления на CPU | Чтение, декодирование и подготовка данных, работа приложения. 28 vCPU не следует переименовывать в 28 отдельных физических ядер. |
| 58 GB RAM | Оперативная память сервера | Данные и процессы до передачи на GPU, загрузка модели и системные задачи. Она учитывается отдельно от VRAM. |
| 100 GB диска | Хранение файлов | Нужно разместить окружение, веса, датасет, кэш и результаты, иногда одновременно с архивами и временными копиями. |
| CA, Montreal | Регион вычислительного ресурса | Влияет на путь до данных и пользователей. Сам по себе не задаёт скорость соединения. |
← Прокрутите таблицу →
Название RTX A6000 относится к конкретной модели NVIDIA с 48 GB GDDR6. RTX 6000 Ada и RTX PRO 6000 — другие карты: похожая цифра в названии не делает их одинаковыми. Спецификация NVIDIA RTX A6000.
Когда заканчивается VRAM, свободный диск не спасает
Допустим, модель загружается, но на длинном запросе приложение выдаёт CUDA out of memory. В этот момент свободные 40 GB на диске не увеличат память видеокарты. Системная RAM тоже не подхватывает нагрузку автоматически.
Есть программные способы выгружать часть данных в RAM, делить модель между устройствами или уменьшать точность. Их выбирают в движке, и у каждого свой компромисс по скорости и возможностям. Поэтому сначала полезно выяснить фазу ошибки: загрузка весов, обработка длинного входа, обучение или генерация результата. Покупка «ещё памяти» без уточнения её вида может ничего не исправить.
У нескольких GPU считайте память каждой карты отдельно. Две карты по 24 GB могут выполнять две независимые задачи. Для одной большой модели потребуется поддерживаемое распределение. Например, обычный DistributedDataParallel в PyTorch создаёт копии модели и синхронизирует градиенты; он не превращает две карты в одну с общей прозрачной VRAM.
Почему мощная GPU иногда простаивает
Представьте обучение на изображениях. CPU читает файлы, декодирует JPEG, меняет размер и собирает очередную порцию данных. Если этот этап медленнее обработки на GPU, видеокарта периодически ждёт. Замена одной GPU на более быструю может увеличить паузы, не ускорив подготовку.
Здесь имеют значение CPU, системная RAM, расположение датасета и настройки загрузчика. В PyTorch параметр num_workers позволяет выполнять загрузку данных в отдельных процессах; pin_memory может помочь передаче из RAM на CUDA-устройство. Настройки подбирают под нагрузку, а не ставят максимальные значения: лишние процессы тоже расходуют RAM и CPU. Рекомендации PyTorch.
Чтобы найти причину, разделите время на чтение и подготовку, передачу на GPU и вычисления. Если задержка находится до видеокарты, сначала исправьте её. Одного процента загрузки GPU недостаточно: он показывает симптом, а не виновный компонент.
Хватит ли диска на 100 GB
Для ответа нужен не размер одного архива, а сумма файлов, которые окажутся на сервере одновременно. Учебный пример: 15 GB весов + 30 GB датасета + 10 GB checkpoint-файлов + 10 GB библиотек и кэша дают 65 GB. Если после распаковки останется ещё архив датасета на 30 GB, получится уже 95 GB, до учёта остальных системных файлов.
Поэтому датасет «всего 30 GB» способен занять намного больше места. Полезно удалять ненужные архивы после проверки распаковки и заранее выбирать, сколько checkpoint-файлов сохранять.
После запуска команда df -h показывает ёмкость и свободное место файловых систем. Смотрите именно раздел, где лежит рабочий каталог. Его свободное место меньше или равно общему объёму, и другие программы продолжают его расходовать.
Сохранность файлов зависит от типа хранения и действия с сервером. Перед удалением окружения выгрузите нужные результаты во внешнее хранилище. Для XGPU порядок завершения аренды и хранения описан в пунктах 4 и 7 пользовательского соглашения; диск не стоит использовать как единственную копию важной работы.
Что означают цифры скорости
У сети обычно указывают мегабиты в секунду, у файлов — байты. При пересчёте 800 Mbit/s соответствуют 100 MB/s. Для файла 30 GB это даёт идеальные пять минут передачи без накладных расходов. Реальная загрузка зависит ещё от источника, маршрута и текущих ограничений.
Не путайте сеть с пропускной способностью VRAM. Значение GB/s в спецификации видеокарты может описывать обмен с её памятью, а не интернет. Регион сервера также не заменяет проверку пути до вашего датасета.
Быстрая сверка после запуска
Для Linux-сервера с NVIDIA начните с четырёх команд:
nvidia-smi
lscpu
free -h
df -hОни показывают видимые GPU и драйвер, сведения о CPU, память и файловые системы. Квоты окружения и лимиты отдельного процесса могут требовать дополнительной проверки. Для сравнения объёмов сохраняйте единицы: GB и GiB отличаются.
Затем запустите небольшой фрагмент своей рабочей задачи. Успешная загрузка модели проверяет только загрузку; для обучения нужен полный шаг с обратным проходом, для инференса — рабочий вход и ответ. Так становится понятно, какой ресурс ограничивает задачу: VRAM, подготовка на CPU, RAM, диск или передача данных.
Выбирать сервер проще, когда каждому требованию соответствует строка карточки. В каталоге XGPU сравнивайте состав конфигураций целиком. Две карточки с одинаковой A6000 могут отличаться CPU, RAM и диском; подходящая видеокарта не делает эти различия неважными.