Отрасль в целом продолжит расти, но несколько медленнее, чем в 2023-2024 гг.
Доходы OpenAI в 2025 г. составят около $12 млрд, во многом за счет таких продуктов, как Deep Research и Operator.
Так как с момента выхода GPT-4 эффективность нейросетей удваивалась каждые пять месяцев, кратное масштабирование вычислительного потенциала LLM-моделей займет примерно 17 месяцев.
Больший прогресс ожидается в таких задачах, как программирование, математика, сложные рассуждения и «авторские» творческие тексты.
В то же время т.н. «осмысленная деятельность» ИИ и способность моделей работать в длительных контекстах останется серьезной проблемой, поскольку за два года наблюдаются лишь ограниченные улучшения в данных сегментах.
Новое поколение LLM-моделей будет обучаться примерно на 100 000 ускорителях H100 с вычислением в обучении около 3e26 FLOP. Скорее всего, считает аналитик Еpoch AI, модели будут на порядок крупнее, чем GPT-4o по общему количеству параметров.
Ожидается 2-3-кратное увеличение цен на токены API при двукратном замедлении скорости декодирования короткого контекста.
Больший рост расходов на обучение LLM-моделей связан с тем, что масштабирование вычислений на порядок требует значительного объема инженерных работ как на аппаратном, так и на программном уровне. Уже первоначальные капитальные затраты, необходимые для кластера для обучения модели, в 10 раз превышают стоимость обучения самой модели.
Амортизированный срок службы графических процессоров в кластере составляет несколько лет, при этом учебные прогоны занимают всего несколько месяцев. Модель, стоимость обучения которой составляет $300 млн, требует капзатрат $3 млрд и более.
К концу 2025 г. LLM-модели научатся решать 75% самого сложного математического бенчмарка — FrontierMath SOTA. Современные модели справляются с 10% задач, GPT-о3, по расчетам, сможет решить 25% бенчмарка. При этом проводить самостоятельные математические исследования LLM не смогут – по причине чрезвычайной специфичности передовых математических исследований.
ИИ-«агенты», с которыми крупные игроки связывают наибольшую коммерческую выгоду, в 2025 г. не смогут решать многие виды задач, которые без труда даются нашему интеллекту.
Например, они не смогут проходить типичные однопользовательские видеоигры от начала и до конца. Многопользовательские игры с дополненной реальностью наподобие Pokemon остаются для LLM крайне сложной задачей. LLM не смогут выполнять нетривиальные задачи по редактированию фотографий или видео («возьми видео и измени фоновую музыку с трека X на трек Y, используя стандартный видеоредактор»).
Критики оценили прогноз Еpoch AI как консервативно-пессимистичный. Оптимисты ждут некоего непрогнозируемого прорыва в ИИ-отрасли с выходом на «вершину AGI» уже в 2026 г.
