Руководители продуктовых направлений столкнулись с парадоксом инференса: улучшение экономики отдельных операций увеличивает совокупную стоимость ИИ, не обеспечивая при этом понятного пути к сопоставимой и предсказуемой отдаче.
Стоимость ИИ-инференса для одного агентного рабочего процесса к 2028 году вырастет более чем в 5 раз, прогнозируют аналитики Gartner.
По мере того как ИИ-продукты переходят от вспомогательных функций к многоэтапному выполнению задач, руководители продуктовых направлений сталкиваются с новой проблемой управления маржинальностью: снижение стоимости моделей позволяет создавать более сложные рабочие процессы, но одновременно увеличивает совокупные расходы на ИИ. Поэтому управление стоимостью инференса становится одним из главных приоритетов для руководителей продуктов.
«Руководители продуктовых направлений не могут рассчитывать на более эффективную экономику токенов как на обоснование расходов на ИИ, — заявил Уилл Соммер, старший директор-аналитик Gartner. — Каждое новое поколение возможностей ИИ будет требовать большего количества токенов, причем зачастую более дорогих. На горизонте нет надежной и экономичной универсальной модели, подходящей для всех задач. Создание конкурентоспособных ИИ-продуктов потребует формирования и постоянного развития сложных экосистем из нескольких моделей».
Три фактора, меняющих экономику токенов
Gartner выделяет три фундаментальные тенденции, определяющие экономику использования токенов:
- Экономика базовых моделей стремительно улучшается.
- Рост эффективности ИИ открывает возможности для внедрения более мощных и дорогих моделей, способных выполнять более ценные и сложные задачи.
- Более сложные ИИ-рабочие процессы используют значительно больше токенов, чем простые взаимодействия с чат-ботами, что приводит к росту совокупных затрат на инференс.
В результате стоимость отдельных токенов становится более выгодной, однако снижение стоимости происходит медленнее, чем растут возможности ИИ и расходы, связанные с их использованием.
Иными словами, темпы развития ИИ опережают снижение стоимости вычислений.
Парадокс инференса
Именно эту ситуацию Gartner называет «парадоксом инференса» (Inference Paradox). Он заключается в том, что улучшение экономики отдельных операций приводит к росту совокупной стоимости ИИ, не обеспечивая при этом понятного и предсказуемого соответствия между затратами и получаемой ценностью.
«Жесткая экономика парадокса инференса особенно хорошо видна при сравнении простого чат-бота и ИИ-агента, — отметил Соммер. — Простому чат-боту необходимо прочитать и интерпретировать запрос, а затем быстро выдать вероятностно приемлемый ответ. ИИ-агенту приходится постоянно рассуждать, согласовывать действия и ставить под сомнение собственные решения».
Все эти операции увеличивают расходы. По сравнению с базовым взаимодействием с чат-ботом передача задачи агенту с моделью, способной к рассуждению, увеличивает затраты поставщика на инференс как минимум в пять раз. При этом по мере усложнения задачи расходы могут становиться значительно выше.
Дорогой ИИ требует гораздо большей отдачи
Чтобы обеспечить окупаемость передовых технологий ИИ, включая интеллектуальных агентов, компаниям придется получать экспоненциально более высокую отдачу, чем при использовании базовых моделей.
Альтернативный путь — максимально оптимизировать распределение нагрузки между уровнями инференса, маршрутизацию и оркестрацию моделей. Это позволяет сопоставлять сложность конкретной задачи с более экономичным уровнем ИИ.
Оба подхода вполне реализуемы, считают в Gartner, однако для этого потребуется значительная работа с комплексными рабочими процессами.
«Использование универсального автономного ИИ по умолчанию приведет к неограниченному росту расходов, которые могут на порядки превышать затраты оптимизированных продуктовых экосистем», — предупредил Соммер.
Источник: Пресс-служба компании Gartner
