9 декабря 2016 г.
Спрос на решения, позволяющие переносить обработку данных в оперативную память, активно растет. По данным аналитической компании Technavio, в период с 2016 по 2020 год глобальный рынок in-memory computing будет расти как минимум на 33% в год.
Технологический тренд, зародившийся в США, постепенно набирает обороты и в Европе. Не так давно стали известны даты проведения первой европейской конференции In-Memory Computing Summit — единственного мероприятия такого уровня, посвященного перспективам применения IMC, которое раньше проводилось исключительно в США. Кроме того, был запущен сайт IMCPlanet.org — форум для обмена опытом специалистами в сфере in-memory computing.
Никита Иванов, основатель и технический директор компании GridGain — одного из разработчиков платформ in-memory computing, а также организатора саммита и площадки IMCPlanet.org, дал интервью CRN/RE, где рассказал о преимуществах и ограничениях технологии, а также о трендах рынка обработки big data.
CRN/RE: Как меняются подходы к обработке данных и с чем это связано?
Никита Иванов: Во-первых, индустрия уходит от понятия big data, иных данных уже практически не осталось. Бизнес ежедневно нуждается в системах хранения и обработки данных, выходящих за пределы собственных ERP- и CRM-баз.
Кроме того, в современном бизнесе большинство задач должны решаться не завтра и даже не через несколько часов, а в реальном времени. Так возникает необходимость в fast data — данных, из которых нужную информацию можно извлечь практически моментально. А когда возникает потребность, вопрос стоит в том, как решить эту задачу технологически.
Давайте посмотрим на эволюцию систем хранения данных. Первые внешние носители появились в
На сегодняшний день in-memory computing — это последний этап качественного изменения технологии хранения данных. И нового скачка вряд ли стоит ожидать в ближайшее время.
CRN/RE: Что представляет собой in-memory computing и чем этот подход отличается от других? Какие реальные преимущества дает внедрение решений in-memory computing?
Н.И.: Сейчас большинство систем хранения больших данных построены на дисках, а обработка ведется на нескольких компьютерах или серверах. In-memory computing позволяет в рамках такого же кластера использовать оперативную память компьютеров. Память обеспечивает в тысячи и даже в миллионы раз более быстрый доступ и обработку данных по сравнению с диском. Среди других преимуществ — высокая производительность, масштабируемость, возможность проводить объемные транзакции, аналитику в реальном времени и гибридную обработку данных.
CRN/RE: Однако память — один из самых дорогих компонентов IT-инфраструктуры. Насколько финансово обосновано внедрение решений in-memory computing?
Н.И.: На сегодняшний день обработка данных в памяти — действительно недешевое удовольствие, и стоимость решения in-memory computing всегда дороже, чем решение для обработки такого же объема данных на диске. Поэтому сейчас технология используется, в первую очередь, для актуальных, операционных данных, тогда как исторические данные хранятся на диске.
Однако со временем память будет становиться только быстрее, и при этом падать в цене. И хотя скорость обработки данных на дисках тоже будет расти, разрыв в показателях будет более или менее постоянным.
Если говорить о финансовой обоснованности, важно решить, в чем для бизнеса состоит ценность технологии. Практика показывает, что к in-memory computing обращаются не тогда, когда нужно оптимизировать существующие процессы, а тогда, когда решить бизнес-задачу иными способами невозможно. Какова будет отдача от решения ранее невозможной бизнес-функции, зависит от каждого конкретного кейса.
CRN/RE: Помимо цены, какие еще ограничения есть у внедрения технологии?
Н.И.: Одно из ограничений связано с тем, что стабильность работы решений во многом зависит от сетевой инфраструктуры. Кроме того, in-memory computing — это, в первую очередь, корпоративная история. Для большинства обычных пользовательских сценариев достаточно мощностей диска или сервера. При этом обработка данных многих пользовательских приложений — например, WhatsApp или мобильных игр — идет на back-end с использованием решений in-memory computing.
CRN/RE: Каков сейчас спрос на решения in-memory computing, в каких отраслях технология наиболее востребована и почему? Какие есть самые типичные задачи применения технологии?
Н.И.: Технологии in-memory computing уже сейчас можно найти в ИТ-инфраструктурах компаний из сфер разработки ПО, электронной и розничной торговли, онлайн бизнес-сервисов, здравоохранения, государственных органов и прочих секторов. По опыту, технология наиболее востребована предприятиями в областях финансов, телекома и медицины — в число наших клиентов входят Сбербанк, Citi, RingCentral, Sony, Thompson Reuters.
Среди типовых задач, use cases, когда компании обращаются к in-memory computing — различная аналитика в реальном времени, оценка рыночных рисков, бизнес-прогнозирование, получение инсайтов об аудитории и ее поведении, back-end поддержка многопользовательских сервисов и игр, интеграция баз данных с приложениями, использующими большие объемы данных.
Для реального примера — посмотрим на кейс Сбербанка. Компания объявила тендер на поставку решения in-memory computing для миграции на архитектуру data grid и open-source технологии, чтобы эффективнее справляться с потоком обработки данных и обеспечить скорость и масштабируемость.
После оценки более десятка конкурентов Сбербанк выбрал решение GridGain — демо-версия продукта, который мы представили, на кластере из 10 серверов с общим объемом памяти в 1 терабайт показала миллиард бизнес-транзакций в секунду. Самый продвинутый диск сможет показать около
Еще один пример — компания e-Therapeutics, которая разрабатывает лекарственные средства для лечения биокомплексных болезней, одной из которых является рак. Исследования e-Theurapeutics нуждаются в сотнях тысяч анализов по множеству параметров и гипотез — и лишь in-memory computing позволяет справляться с вычислительной нагрузкой, на которую раньше уходили недели, за несколько часов или минут.
CRN/RE: Какую долю рынка решений для обработки данных на сегодняшний день занимают технологии in-memory computing?
Н.И.: Оценить долю рынка сейчас непросто, так как технология достаточно новая. Однако приведу данные двух исследований. Аналитики из IDC полагают, что к 2019 году рынок big data вырастет на 50% до 187 миллиардов долларов. При этом, по оценке экспертов из Markets and Markets, рынок решений in-memory computing будет расти на 33% в год и к 2020 году достигнет отметки в 23,15 миллиарда долларов. Сопоставив эти данные, можно примерно представить себе объемы индустрии.
CRN/RE: Какие компании занимаются развитием in-memory computing? В какой форме происходит сотрудничество между ними, есть ли обмен экспертизой?
Н.И.: Помимо GridGain Systems, разработки в этой области ведут компании SAP, Oracle, IBM, Microsoft и ряд других, включая стартапы. По мере роста спроса на решения in-memory computing растет и потребность в обмене опытом и технологическом сотрудничестве между разработчиками.
Именно поэтому в 2017 году мы уже в третий раз проведем In-Memory Computing Summit — это единственное мероприятие индустрии, которое охватывает весь спектр технологий и решений в сфере переноса вычислений в оперативную память компьютера. Мероприятие, которое уже зарекомендовало себя как площадка для совместной работы поставщиков решений, руководителей бизнеса, IT-директоров, разработчиков и лидеров мнений, пройдет в США с 24 по 25 октября.
Кроме того, в следующем году аналогичное мероприятие впервые пройдет в Европе. Саммит в Амстердаме запланирован на
Наконец, ранее в этом году мы объявили о запуске сайта In-Memory Computing Planet (IMCPlanet.org). Портал объединяет профильные блоги и сообщения о мероприятиях индустрии in-memory computing по всему миру. Внести вклад в развитие портала может любой поставщик решений, пользователь, эксперт, ведущий специализированный блог, или организатор мероприятия.
CRN/RE: Ваши продукты, на сегодняшний день, пользуются спросом, в основном, за рубежом. Какова ваша стратегия на российском рынке? В чем вы видите отличие российского рынка решений для обработки big data от американского или европейского?
Н.И.: Долгое время мы не имели особых планов на российский рынок. Около пяти лет назад мы вели переговоры с представителями нефтяной промышленности, однако интереса к технологии они не проявили. «Это же не Америка», — говорили многие.
Сейчас ситуация изменилась. После сделки со Сбербанком спрос со стороны российских компаний резко вырос — и теперь Россия стала для нас одним из приоритетных рынков. Что интересно — запросы есть и от тех компаний, которые раньше нам отказывали.
CRN/RE: Стоит ли ждать появления альтернативного решения или иной прорывной технологии, которая сможет обрабатывать данные еще быстрее?
Н.И.: По сути, в современных компьютерах нет другого варианта хранения и обработки данных, чем диск или память. Чтобы появилась альтернатива, нужно кардинально менять архитектуру компьютеров. Поэтому ряд аналитиков, включая специалистов из Gartner, полагают, что именно in-memory computing будет определять темпы развития индустрии в ближайшие десятилетия.
Источник: CRN/RE