GPU или LLM API: три сценария расходов и порог выгодности
Для тысячи коротких запросов в месяц отдельный постоянно работающий GPU обычно трудно оправдать одной экономией. При миллионе запросов арифметика может измениться. Но решает не только их число: важны длина ответов, распределение запросов по времени и скорость, которую сервер действительно выдерживает.
Ниже сравним опубликованный тариф Qwen2.5-7B через API и аренду одной конфигурации XGPU. Получится числовой ориентир: когда имеет смысл проверять собственный запуск и какую производительность для этого нужно получить. Длительность аренды и объём запросов в примерах заданы условно.
Две цены и одна задача
В карточке Together AI для Qwen2.5 7B Instruct Turbo на 2 ноября 2026 года указано 0,30 $ за миллион входных и 0,30 $ за миллион выходных токенов. В каталоге XGPU конфигурация A6000 ×1 с 48 GB VRAM, 28 vCPU, 58 GB RAM и диском 100 GB в Montreal показана за 0,59 $/час.
Возьмём запрос с 2 000 входных и 500 выходными токенами. Его API-стоимость по этим ставкам:
2 000 / 1 000 000 × 0,30 + 500 / 1 000 000 × 0,30 = 0,00075 $.
В месяце из 30 дней постоянно выделенная конфигурация стоит 30 × 24 × 0,59 = 424,80 $. Это цена аренды конфигурации, даже если часть времени модель ждёт запросы. В XGPU оплата привязана к выделенному ресурсу, а прекращение аренды требует успешного удаления, согласно пунктам 4.2–4.4 соглашения.
В примере один исходный запрос даёт один пригодный ответ без повторов. Сравниваем токенный счёт API и вычислительную аренду GPU; отдельное хранение, другие заказанные услуги, применимые налоги, комиссии и труд добавляются затем. У API используется опубликованный Turbo-вариант, карточка которого указывает FP8. Для сравнения качества используйте одинаковый набор задач: точность и настройки самостоятельного запуска могут отличаться.
Три профиля нагрузки
| Профиль | API | Аренда GPU | Что следует из расчёта |
|---|---|---|---|
| 1 000 запросов за месяц, ответы нужны в любое время | 0,75 $ | 424,80 $ за одну постоянно выделенную конфигурацию | API значительно дешевле по этим строкам. Постоянный GPU требует другой причины: своего ПО, модели или специальных условий обработки |
| 1 000 000 запросов равномерно за 30 дней | 750 $ | 424,80 $, если хватает одной конфигурации; 849,60 $, если нужны две постоянно | Выгода GPU зависит от того, справится ли одна машина. Две уже дороже API до дополнительных расходов |
| 100 000 запросов в одном заранее известном окне на 10 оплачиваемых часов | 75 $ | 5,90 $ за каждую конфигурацию в этом окне: 12 стоят 70,80 $, 13 — 76,70 $ | Считать нужно число машин, необходимое к сроку. Дополнительные часы подготовки или ожидания ухудшат этот результат |
← Прокрутите таблицу →
В последней строке число машин зависит от их скорости. Бюджет вычислений ограничивает его двенадцатью: тринадцать конфигураций уже дороже API. Подготовка, выгрузка и округление отдельных сессий оставят меньше времени на саму обработку.
Для первого сценария есть ещё один вариант: накопить запросы и запускать GPU только на обработку пакета. Тогда 720 часов держать его не нужно. Но это подходит лишь там, где пользователи готовы ждать. Сравнивать отложенную обработку с мгновенным ответом как одну и ту же услугу нельзя.
Какой скорости требует экономия
Равномерный миллион запросов за 30 дней — в среднем 0,386 запроса в секунду. При заданной длине ответа это около 193 выходных токенов в секунду суммарно, одновременно с обработкой входных текстов. Столько должен выдерживать выбранный сервер; его скорость предстоит измерить.
Если один сервер выдаёт нужное качество с приемлемым временем ответа и выдерживает пики, вычислительный счёт в нашем примере ниже API на 325,20 $. Если нужны две постоянно работающие машины, преимущество исчезает. Среднего значения недостаточно: поток в рабочие часы может быть гораздо плотнее, а длинные запросы занимают память и замедляют очередь.
В десятичасовом окне из третьей строки требуется уже около 2,78 запроса в секунду, или 1 389 выходных токенов в секунду суммарно. Число запросов в этом сценарии меньше, чем в предыдущем, зато требование к скорости выше. Именно поэтому месячный объём без расписания мало говорит об экономике аренды.
Где проходит точка равенства
Для одной постоянно работающей конфигурации, фиксированных 2 000 входных и 500 выходных токенов, без повторов и дополнительных затрат:
424,80 / 0,00075 = 566 400 запросов за 30 дней.
Это точка равенства двух выбранных строк расходов. Она полезна как первый фильтр. Если ваш объём в десять раз меньше, не стоит арендовать постоянный сервер только ради экономии на таком API. Если объём выше, следующий вопрос — хватит ли одной машины для качества, времени ответа и пиков.
Порог чувствителен к длине ответа. При тех же 2 000 входных токенах, но 2 000 выходных, API-запрос стоит 0,0012 $, а равенство получается на 354 000 запросах. При этом длинные ответы требуют больше GPU-времени: нужно заново проверить число машин.
Добавим разницу в трудозатратах. Если обслуживание собственного запуска обходится на 100 $ в месяц дороже обслуживания API-интеграции, порог вырастет до (424,80 + 100) / 0,00075 ≈ 699 734 запросов. Сто долларов здесь — условная оценка дополнительной работы, а не тариф. Сравнивать нужно именно разницу: API тоже требует интеграции, наблюдения за ошибками и проверки результатов.
Что способно перевернуть вывод
- Качество и повторы. Если один вариант чаще нарушает формат или ошибается, платить приходится за дополнительные попытки. Сравнивайте стоимость пригодного ответа, а не любого HTTP-ответа без ошибки.
- Кэш и пакетные режимы API. Они могут снизить расходы при подходящем профиле. В нашем расчёте скидки за кэш и batch не применялись; перед решением используйте условия своего маршрута.
- Свой дообученный вариант или нестандартные зависимости. Аренда может понадобиться ради контроля над окружением, даже без выигрыша по цене токенов.
- Условия проекта. Регион обработки данных, доступные модели и способ оплаты сужают выбор ещё до сравнения тарифов.
Подписка на чат-помощника не заменяет API-бюджет. Если сервис отдельно продаёт доступ через API, считайте его по API-тарифам. В то же время для редкой ручной задачи уже имеющийся инструмент может оказаться проще разработки собственной интеграции.
Как выбрать без месячного эксперимента
Начните с небольшого набора реальных обезличенных задач: коротких, типичных и длинных. Одинаково определите, какой ответ считается пригодным и сколько можно ждать. Для API получите расход токенов и долю успешных ответов. Для самостоятельного запуска измерьте те же показатели, пиковую память и пропускную способность при нужном числе одновременных запросов.
После этого достаточно заменить в расчёте четыре величины: объём, токены, оплачиваемые часы и число нужных конфигураций. Затем прибавьте дополнительные услуги и разницу в труде. Если при разумном изменении этих параметров победитель меняется, пока выбирайте более гибкий маршрут или ограниченный пилот, а не обязательство держать сервер месяц.
Редким запросам выгоднее API по прямым тарифным расходам. Ровный миллион запросов создаёт повод проверить собственный запуск, но экономия появляется лишь при достаточной производительности одной машины. У пакетной нагрузки главное преимущество — возможность арендовать на короткое окно; её ограничивает срок, число машин и накладные расходы. Подходящую конфигурацию для проверки можно выбрать в каталоге XGPU.
Тарифы проверены 2 ноября 2026 года. Расчёты не включают дополнительные услуги, налоги и труд, кроме отдельно разобранного примера.