25 декабря 2017 г.
По данным Gartner, к 2020 году более 20 миллиардов устройств будут подключены к «интернету вещей» (IoT). Согласно исследованию Cisco «Глобальный индекс облачных технологий: прогноз и методология на
Примеры анализа IoT-данных
Рассмотрим всего несколько сценариев, которые требуют быстрой обработки данных и информации в реальном времени для принятия решений:
- В отраслях от продуктов питания до логистики компании используют датчики для слежения за производством, оптимизации производственных процессов и мониторинга запасов;
- Беспилотные транспортные средства, используемые в логистике, будут производить и потреблять огромное количество данных для выбора оптимальных маршрутов и минимизации расхода топлива;
- В пассажирских перевозках сервисы для совместных поездок и водители такси используют приложения для передачи анонимизированной информации о путешествии, внося вклад во внедрение умного контроля над ситуацией на дорогах;
- Организации здравоохранения внедряют системы наблюдения за пациентами в стационаре на дому, а также мониторинг окружающей среды;
- Домашняя умная электроника — защитные устройства, термостаты, холодильники, роботы и садовые датчики.
В большинстве случаев анализ IoT-данных должен происходить в реальном или почти реальном времени для своевременных действий. Если аналитика не обрабатывается вовремя — например, чтобы предотвратить экстренную ситуацию с пациентом или порчу продуктов — тогда преимущества IoT сводятся к минимуму.
Гибридная транзакционная/аналитическая обработка в памяти для IoT
Инфраструктура, обеспечивающая скорость и масштаб, необходимые для IoT, может быть построена на гибридных транзакционных и аналитических решениях (HTAP), которые используют единое хранилище данных для транзакций и аналитики. До недавних пор использование HTAP в памяти было дорогостоящим. Пользователям также приходилось беспокоиться о том, как медленная обработка поисковых запросов повлияет на возможность обрабатывать транзакции в реальном времени. Однако сегодня, благодаря снижению стоимости памяти, решения HTAP в памяти становятся более доступными. Кроме того, аналитическая обработка, часто основанная на потоковой технологии, сняла много вопросов о влиянии аналитики на операции. Упрощенная архитектура решений HTAP также обеспечивает значительную экономию средств по сравнению с двумя параллельными решениями: одно для OLTP и одно для OLAP.
Существует три современных подхода к разработке IoT-платформ: собственная разработка, облачные решения и открытый исходный код.
Собственная разработка
Эти решения могут быть разработаны под задачу и хорошо работать в определенном сценарии. Их минус — высокие затраты и привязка к поставщику. Примеры — GE Predix, Bosch IoT Suite или PTC ThingWorx.
Облачные решения
Эти решения могут быть более экономически эффективными и простыми с точки зрения внедрения для некоторых IoT-приложений. Тем не менее, их отличают жесткие интерфейсы интеграции приложений и устройств и невозможность обеспечить аналитику в реальном времени. Поэтому они часто используются для IoT-приложений, менее требовательных к срокам. Примеры — AWS IoT и Azure IoT Suite.
Открытый исходный код
Эти решения более гибкие, поскольку исходный код может быть кастомизирован. Они также могут быть экономически эффективными и не приводят к привязке к поставщику. Некоторые из них предлагают in-memory функции, необходимые для приложений IoT в реальном времени. Примеры — стек SMACK (Apache® Kafka ™, Mesos ™, Akka ™, Cassandra ™ и Spark ™) и Apache® Ignite ™.
In-Memory платформы для IoT
Основные элементы, необходимые для in-memory решения HTAP для IoT-приложений:
- Data Grid в памяти для распределенного хранения и масштабирования данных;
- Computer Grid для высокопроизводительной параллельной обработки запросов;
- Потоковая обработка в памяти, позволяющая анализировать входящие данные в режиме реального времени;
- SQL Grid в памяти, которая обеспечивает возможности in-memory базы данных, включая поддержку SQL-связи через ODBC/JDBC, и способна обеспечить геопространственную поддержку для IoT-сценариев с использованием геолокации.
Эти взаимосвязанные модули могут сложиться в единую, легко управляемую прослойку, работающую в памяти для такого уровня скорости и масштабируемости, который необходим для обработки потока данных с IoT-устройств. Реализуя эти модули IoT-архитектуры на масштабируемой и высокопроизводительной вычислительной платформе в памяти, IoT-приложения могут управлять быстрой обработкой данных, требуемой для IoT-решений следующего поколения.
Источник: Никита Иванов, технический директор и основатель GridGain