Проснулись-потянулись, посмотрели на примерную разбивку трат OpenAI на вычислительные мощности... за 2024-й год. Источник — свежая инфографика от Epoch.Ai.
По разным оценкам и публикациям в СМИ выходит, что суммарно было потрачено примерно 7 миллиардов. Из них $2B (число должно быть достаточно точным, помню, читал у TheInformation) ушли на оплату мощностей для предоставления моделей в ChatGPT и API.
Остальные цифры оценены примерно, и у них может быть большой разброс.
Самая большая графа расходов — мощности на эксперименты и разработку, $4.5B. Примерно $400M ушло на тренировку GPT-4.5 (aka Orion, которая должна была стать GPT-5, если бы мы не увидели рассвет Thinking-моделей); оценка здесь сделана на основе предположительного кластера, на котором велось обучение, так как про него мы знаем больше, чем про саму модель. Обучение велось от 90 до 165 дней на 40k-100k видеокарт, плюс цена за один час работы GPU известна — так и получилась оценка. 90%-й доверительный интервал [$170M; $890M].
И на тренировку 4o / o1 / мини-версий и обновление чат-моделей ушла совсем кроха, $80M.
В 2025-м году доля голубой области, мощностей на инференс, должна сильно подрасти — всё таки ChatGPT существенно вырос, плюс рассуждающие модели теперь генерируют больше токенов.
По разным оценкам и публикациям в СМИ выходит, что суммарно было потрачено примерно 7 миллиардов. Из них $2B (число должно быть достаточно точным, помню, читал у TheInformation) ушли на оплату мощностей для предоставления моделей в ChatGPT и API.
Остальные цифры оценены примерно, и у них может быть большой разброс.
Самая большая графа расходов — мощности на эксперименты и разработку, $4.5B. Примерно $400M ушло на тренировку GPT-4.5 (aka Orion, которая должна была стать GPT-5, если бы мы не увидели рассвет Thinking-моделей); оценка здесь сделана на основе предположительного кластера, на котором велось обучение, так как про него мы знаем больше, чем про саму модель. Обучение велось от 90 до 165 дней на 40k-100k видеокарт, плюс цена за один час работы GPU известна — так и получилась оценка. 90%-й доверительный интервал [$170M; $890M].
И на тренировку 4o / o1 / мини-версий и обновление чат-моделей ушла совсем кроха, $80M.
В 2025-м году доля голубой области, мощностей на инференс, должна сильно подрасти — всё таки ChatGPT существенно вырос, плюс рассуждающие модели теперь генерируют больше токенов.
