Российский стартап KodaCode, разработчик интеллектуального помощника для программистов, перенес работу своих основных моделей на продукт «Турбо Облака» — Inference Platform. Благодаря автоматическому управлению вычислительными ресурсами компания обрабатывает более 7 миллиардов токенов и около 95 тысяч пользовательских запросов в день, платя только за фактически использованные мощности. Сейчас сервисом пользуются 10 тысяч активных разработчиков, а до конца года их число планируется увеличить до 120 тысяч — и новая инфраструктура готова к такому росту.

Дмитрий Змитрович, основатель KodaCode, комментирует: «Для нас переход на Inference Platform — это смена философии. Раньше мы постоянно балансировали между рисками отказов и необходимостью экономить бюджет. Теперь инфраструктура перестала быть нашей „головной болью“ — мы получили надежного партнера, который не только гарантирует стабильность, но и позволяет нам экспериментировать с новыми моделями без оглядки на „железо“. Это дало нам уверенность смотреть в будущее: мы знаем, что сможем обслужить любой рост аудитории и при этом не утонуть в операционных затратах. И, что не менее важно, мы наконец-то можем предложить нашим корпоративным клиентам стопроцентную локализацию данных — то, что для них является решающим фактором».

Александр Обухов, генеральный директор «Турбо Облако», добавил: «Мы создавали Inference Platform именно как инструмент для снятия барьеров, с которыми сталкиваются молодые компании. Для стартапа каждая минута инженера на настройку кластера — это минута, не потраченная на продукт. Мы убрали эту дилемму: клиент получает готовый сервис, где все — от балансировки до масштабирования — работает под нашим контролем. Наша цель — чтобы стартапы могли запускать свои модели в прод за считанные часы, а не недели, и при этом чувствовать себя защищенными с точки зрения безопасности и юрисдикции. Кейс KodaCode показывает, что это востребовано и, главное, экономически оправданно даже на ранних стадиях».

Источник: