17 января 2019 г.
Нарастающий вал информации
Неуклонно растущие объемы данных, новые источники, порождающие невиданные ранее объемы (в первую очередь — сети Интернета вещей), всё большее использование искусственного интеллекта и машинного обучения для обработки и анализирования данных — вот лишь некоторые из факторов, вызвавших к жизни сам термин «большие данные» и ведущих к дальнейшему развитию технологий их обработки.
С учетом этих трендов был дан прогноз, что расходы на решения для больших данных и бизнес-аналитики в 2018 году составят 166 млрд долл., на 11,7% больше, чем год назад, и будут продолжать расти, демонстрируя среднегодовой темп роста (в сложных процентах, CAGR) 11,9%, достигнув 260 млрд долл. в 2022 году.
Этот рост подпитывают всё новые стартапы в сфере технологий Big Data, подталкивая и давних игроков рынка поддерживать высокие темпы разработки и обновления своих продуктов в этой области.
CRN/США выбрал десять самых заметных новых продуктов на арене Big Data, предложенных вендорами в прошлом году.
Streaming Ledger (Data Artisans)
Программное решение Streaming Ledger, предложенное компанией Data Artisans, дает возможность обрабатывать сериализуемые ACID-транзакции, использующие потоковые данные. До настоящего времени было трудно применять принципы ACID («атомарность, непротиворечивость, изолированность, долговечность»), гарантирующие целостность данных в распределенных транзакциях, для потоковой обработки данных. Компонент Streaming Ledger, включенный в River Edition платформы Data Artisans, делает возможными сериализуемые транзакции между несколькими таблицами и строками и потоками данных.
Magnitude Gateway (Magnitude Software)
Доступ к данным, разбросанным по множеству локаций, для текущей и аналитической обработки — одна из самых больших проблем в сфере больших данных.
Magnitude Gateway, разработанный компанией Magnitude Software, — это универсальная платформа, которая обеспечивает мгновенный доступ к операционным и аналитическим данным, где бы они ни находились. ПО обеспечивает поддержку почти 100 источников данных благодаря использованию универсальных драйверов, которые подключаются к реляционным базам данных, системам больших данных, SaaS-приложениям и базам данных NoSQL-типа.
Бизнес-пользователи получают доступ сразу к нескольким источникам данных, используя встроенные в Magnitude Gateway функции самообслуживания, а независимые поставщики ПО (ISV) могут использовать Magnitude Gateway для разработки своих решений бизнес-аналитики и интеграции источников данных, чтобы быстрее выйти на рынок, используя готовые функции доступа.
Periscope Data Engine
Компания Periscope Data, наблюдавшая быстрый рост продаж своей флагманской платформы аналитики, в ноябре выпустила Data Engine, который расширил ее портфель предложений с охватом технологий загрузки и обработки данных.
Сбор, преобразование и форматирование данных перед их использованием для целей бизнес-анализа представляет собой сложную задачу, отнимающую много времени. Компания заявляет, что ее новый Data Engine позволяет устранить самые трудные процессы ETL (извлечения, преобразования и загрузки), помогая быстрее осуществить загрузку данных в информационные системы и ускорить выполнение запросов для любых типов рабочих нагрузок независимо от параллелизма, объема данных или сложности запросов.
Компания отмечает, что ее новая технология — лишь первый этап создаваемой ею обширной системы интеграции хранилищ аналитики следующего поколения. Data Engine позволяет осуществлять ввод и обработку данных в облачных системах Snowflake Computing и AWS Redshift. В ближайшие месяцы компания планирует добавить ряд опций хранения и обработки в свою систему Data Engine.
В апреле компания Splunk, разработчик ПО обработки и анализа машинных данных, представила Industrial Asset Intelligence — свой первый продукт, специально предназначенный для сбора и анализа данных Интернета вещей.
Splunk IAI нацелен на применение в сфере промышленного IoT, включая производственную, транспортную и нефтегазовую отрасли, а также энергетику и коммунальное хозяйство.
Splunk IAI имеет целью «перебросить мостик» между эксплуатационной технологией и традиционными ИТ, включая бизнес-аналитику. Это ПО предоставляет средства для сбора, мониторинга и анализирования — в реальном времени — машинных данных IIoT, генерируемых промышленными контроллерами, датчиками и приложениями эксплуатационного обслуживания.
SQream DB v3.0
Компания SQream выпустила новый релиз своего хранилища и базы данных SQream DB с GPU-ускорителями, в котором удвоена скорость загрузки данных по сравнению с предыдущими версиями, а запросы выполняются в 15 раз быстрее. База данных SQream предназначена для обработки и анализирования громадных массивов данных размером в терабайты и даже петабайты.
Другие расширения в версии 3.0 включают динамическое управление рабочими нагрузками для приоритизации рабочих потоков ресурсов и высокооптимизированный коннектор Spark. Компания предлагает теперь свою базу данных в виде образа контейнера Docker для упрощения развертывания и обновления.
Tableau Prep
Недавние исследования показали, что профессиональные аналитики данных тратят до 80% своего времени на подготовку данных и лишь 20% на собственно анализ. Разработчик ПО аналитики Tableau Software стремится сократить время на подготовку данных, предлагая новый продукт Tableau Prep, который облегчит повседневные задачи объединения, формирования и очистки данных для последующего анализа.
Новый продукт, по-прежнему ориентированный на визуализацию данных, включает функционал, который автоматизирует сложные задачи подготовки данных, такие как объединение, сводки и агрегация. Tableau Prep предоставляет также интеллектуальные алгоритмы «нечеткой группировки», автоматизирующие повторяющиеся задачи, такие как группировка по произношению или очистка по пунктуации.
Tableau Prep интегрирован со всем рабочим процессом анализа данных Tableau и предлагается в рамках ее подписки Creator. Текущие пользователи Tableau Desktop могут использовать Tableau Prep бесплатно в течение двух лет.
Teradata Vantage
В октябре компания Teradata, один из самых авторитетных вендоров хранилищ данных и бизнес-аналитики, объявила о начале поставок своей платформы аналитики следующего поколения, Teradata Vantage.
Vantage представляет собой платформу «всеобъемлющего анализа данных» и включает Teradata SQL Engine, ядром которого служит Teradata Database, которая может обрабатывать ряд задач ретроспективной (descriptive), прогнозной и предписывающей аналитики, требующих интегрированных данных.
Vantage включает также механизм машинного обучения для разработки функций ML и процессора графов для обработки рабочих нагрузок графового анализа. Еще одним ключевым компонентом служит недавно представленная 4D Analytics, которая может обрабатывать данные местоположения, временные ряды и данные времени из сетей Интернета вещей.
TimescaleDB 1.0
TimescaleDB — это база данных временных рядов с открытым исходным кодом, способная обрабатывать громадные объемы машинно-генерируемых данных, осуществлять ввод миллионов точек данных в секунду, масштабироваться до десятков терабайт данных и таблиц с сотнями миллиардов строк, а также обрабатывать сложные запросы быстрее, чем другие базы данных того же типа.
В TimescaleDB встроена полная поддержка SQL, и она поставляется как расширение Postgres, что позволяет ей работать с инструментарием Postgres и другими элементами этой экосистемы. Более ранняя версия TimescaleDB, выпущенная в апреле 2017 года, превысила 1 миллион загрузок.
Yellowbrick Data
Стартап Yellowbrick Data, работавший в закрытом режиме с момента создания в 2014 году, вышел на рынок с устройством флеш-хранилища и аналитики данных, которое «на несколько порядков» меньше и производительнее, чем имеющиеся системы, заверяет компания.
Стартап разработал системную архитектуру, построенную на основе флеш-памяти и программного обеспечения, специально предназначенного для обработки запросов к такой памяти. В устройстве интегрированы ЦП, ресурсы хранения и управление сетью, а данные переносятся в процессор непосредственно из флеш-памяти. Благодаря модульной конструкции система может масштабироваться для обработки петабайтов данных путем добавления узлов аналитики.
Система включает в себя аналитическую базу данных, предназначенную для флеш-памяти, способна осуществлять ввод и обработку больших объемов данных и обрабатывать смешанные рабочие нагрузки оперативных запросов, больших пакетных запросов, отчетности, процессов ETL (извлечения, преобразования и загрузки) и вставок через ODBC.
Компания заявляет, что ее система работает в 140 раз быстрее, чем обычные хранилища данных при выполнении таких задач, как анализ в ритейле, рекламном бизнесе и финансовом трейдинге, анализ безопасности и обнаружение мошенничества, обработка электронных медицинских карт и др.
Yellowfin Signals и Stories
В октябре австралийская компания Yellowfin, разработчик ПО бизнес-анализа из Мельбурна, выпустила два новых аналитических продукта, Signals и Stories, которые помогают бизнес-пользователям быстрее обнаруживать, понимать и использовать деловые возможности.
Процессор аналитики Yellowfin Signals обеспечивает автоматический анализ данных, анализируя временные срезы текущих, непрерывно поступающих бизнес-данных, чтобы выявить в них важные изменения — внезапные скачки или перемены трендов. Непрерывное обнаружение трендов и аномалий во временном ряде помогает распознавать критичные перемены в реальном времени и понимать, чем они вызываются.
Компонент Yellowfin Stories предназначен помочь бизнес-пользователям лучше понимать аналитические результаты; он создает «истории данных», помещая информацию в контекст, чтобы быстрее принимать более обоснованные решения. Встраивая в них отчеты реального времени из нескольких дашбордов BI, Stories создает «описания», которые формируют единое, общее понимание внутри организации, улучшая обмен знаниями и коллективное взаимодействие.
© 2019. The Channel Company LLC. Initially published on CRN.com, a The Channel Company website, at https://www.crn.com. Reprinted with permission.
Источник: Рик Уайтинг, CRN/США