Как работает Kafka - в двух словах
Kafka - это распределенная система, состоящая из серверов и клиентов, которые обмениваются данными через высокопроизводительный сетевой протокол TCP. Его можно развернуть на аппаратном обеспечении, виртуальных машинах и контейнерах как в локальной, так и в облачной среде.
Серверы: Kafka работает как кластер из одного или нескольких серверов, которые могут охватывать несколько центров обработки данных или облачных регионов. Некоторые из этих серверов образуют уровень хранения, называемый брокерами. На других серверах работает Kafka Connect для непрерывного импорта и экспорта данных в виде потоков событий для интеграции Kafka с вашими существующими системами, такими как реляционные базы данных, а также с другими кластерами Kafka. Кластер Kafka обладает высокой масштабируемостью и отказоустойчивостью, чтобы позволить вам реализовать критически важные сценарии использования: в случае отказа одного из серверов другие серверы берут на себя их работу, чтобы обеспечить непрерывную работу без потери данных.
Клиенты: они позволяют писать распределенные приложения и микросервисы, которые считывают, записывают и обрабатывают потоки событий параллельным, масштабируемым и отказоустойчивым образом даже в случае сетевых проблем или сбоев машины. Kafka поставляется с некоторыми такими включенными клиентами, которые дополняются десятками клиентов, предоставляемых сообществом Kafka: доступны клиенты для Java и Scala, включая высокоуровневую библиотеку Kafka Streams, для Go, Python, C/C++ и многих других программных языков, а также REST API.
Читайте также:
- Основы дизайна систем: опрос, потоковая передача, сокеты
- Основы дизайна систем: обмен сообщениями и Pub-Sub
- Потоковая передача событий и Apache Kafka
Комментарии
Отправить комментарий