Потоковая передача событий и Apache Kafka

Что такое потоковая передача событий?

Потоковая передача событий - это цифровой эквивалент центральной нервной системы человеческого тела. Это технологическая основа для «постоянно активного» мира, в котором предприятия все больше определяются и автоматизируются с помощью программного обеспечения и где пользователь программного обеспечения в большей степени является программным обеспечением.

С технической точки зрения, потоковая передача событий - это практика сбора данных в реальном времени из источников событий, таких как базы данных, датчики, мобильные устройства, облачные сервисы и программные приложения в форме потоков событий; долговременное хранение этих потоков событий для последующего извлечения; манипулирование, обработка и реагирование на потоки событий в реальном времени, а также ретроспективно; и маршрутизацию потоков событий к различным технологиям назначения по мере необходимости. Таким образом, потоковая передача событий обеспечивает непрерывный поток и интерпретацию данных, так что нужная информация находится в нужном месте в нужное время.

Для чего можно использовать потоковую передачу событий

Потоковая передача событий применяется в самых разных сценариях использования в самых разных отраслях и организациях. Его многочисленные примеры включают:

• Для обработки платежей и финансовых транзакций в режиме реального времени, например, на фондовых биржах, в банках и в страховых компаниях.
• Для отслеживания и мониторинга автомобилей, грузовиков, автопарков и грузов в режиме реального времени, например, в логистике и автомобильной промышленности.
• Для непрерывного сбора и анализа данных датчиков с устройств Интернета вещей или другого оборудования, например, на заводах и в ветряных парках.
• Для сбора и немедленного реагирования на взаимодействия и заказы клиентов, например, в розничной торговле, гостиничном и туристическом бизнесе, а также в мобильных приложениях.
• Для наблюдения за пациентами, находящимися в стационаре, и прогнозирования изменений их состояния, чтобы обеспечить своевременное лечение в экстренных случаях.
• Для подключения, хранения и предоставления доступа к данным, произведенным различными подразделениями компании.
• Служить основой для платформ данных, событийно-ориентированных архитектур и микросервисов.

Apache Kafka - это платформа для потоковой передачи событий

Kafka сочетает в себе три ключевые возможности, поэтому вы можете реализовать свои варианты использования для сквозной потоковой передачи событий с помощью единого проверенного решения:

• Публиковать (писать) и подписываться (читать) потоки событий, включая непрерывный импорт/экспорт ваших данных из других систем.
• Для длительного и надежного хранения потоков событий столько, сколько вы захотите.
• Для обработки потоков событий по мере их возникновения или ретроспективно.

И все эти функции предоставляются в распределенном, высокомасштабируемом, эластичном, отказоустойчивом и безопасном виде. Kafka можно развернуть на «голом железе», виртуальных машинах и контейнерах, как локально, так и в облаке. Вы можете выбирать между самоуправлением средами Kafka и использованием полностью управляемых сервисов, предлагаемых различными поставщиками.

---

Читайте также:

• Основы дизайна систем: задержка
• Основы дизайна систем: пропускная способность
• Основы дизайна систем: балансировка нагрузки