Kafka

KAFKA (F.) — Franz Kafka passe un peu partout pour le symbole même de la littérature d’avant garde. Son œuvre étant des plus énigmatiques, elle a donné lieu à une foule d’interprétations plus ou moins ingénieuses, qui ont toutes le défaut d’être extérieures… … Encyclopédie Universelle

Kafka — prop. n. Franz Kafka, a writer, b. 1883, d. 1924. Syn: Franz Kafka. [WordNet 1.5] … The Collaborative International Dictionary of English

Kafka — Drame historique de Steven Soderbergh, avec Jeremy Irons (Kafka), Theresa Russell (Gabriela), Joel Grey (Burgel), Ian Holm (Dr Murnau), Jeroen Krabbe (Bizzlebek), Armin Mueller Stahl (l inspecteur Grubach), Alec Guinness (le chef du personnel) … Dictionnaire mondial des Films

Kafka — (Franz) (1883 1924) écrivain tchèque de langue allemande. Il occupe d importantes fonctions dans une compagnie d assurances qu il devra quitter en 1917, atteint de tuberculose, dont il mourra. Il publie, dès 1908, de courts fragments (Description … Encyclopédie Universelle

Kafka — Kafka, Franz … Enciclopedia Universal

Kafka — Rare en France, le nom est d origine tchèque, et correspond au polonais kawka (= corneille, choucas). Il a été souvent porté par des Juifs askhénazes. Variante rare : Kaffka … Noms de famille

Kafka — Kȁfka, Franz (1883 1924) DEFINICIJA austrijski književnik, rođenjem praški Židov, u tri posmrtno objavljena nedovršena romana (Proces, Zamak, Amerika) i najpoznatijoj pripovijetki Preobražaj izražava viziju tjeskobe i otuđenja čovjeka; jedna od… … Hrvatski jezični portal

Kafka — [käf′kə] Franz [fränts] 1883 1924; Austrian Czech writer … English World dictionary

Kafka — Franz Kafka, um 1906 Franz Kafka (* 3. Juli 1883 in Prag, damals Österreich Ungarn; † 3. Juni 1924 in Kierling bei Klosterneuburg, Österreich; selten auch tschechisch František Kafka) war ein deutschsprachiger Schriftsteller, der au … Deutsch Wikipedia

Kafka — Franz Kafka Pour les articles homonymes, voir Kafka (homonymie). Franz Kafka … Wikipédia en Français

Kafka — Kạfka, 1) Bohumil, tschechischer Bildhauer, * Nová Paka (bei Jičin) 14. 2. 1878, ✝ Prag 24. 11. 1942; studierte u. a. 1898 1901 an der Akademie der bildenden Künste in Prag. 1904 08 hielt er sich in Paris auf. Seine Werke (v. a.… … Universal-Lexikon

Apache Kafka с примером на Java и Spring Boot

Сегодня я хочу рассказать об Apache Kafka в качестве брокера сообщений. С помощью Kafka мы попытаемся коммуницировать несколько Java Spring Boot приложений.

Начнем с самого простого: что такое Apache Kafka? На сайте википедии сказано что это фреймворк, реализующий программную шину с использованием потоковой обработки; программная платформа с открытым исходным кодом, разработанная Apache Software Foundation, написанная на Scala и Java. Согласен. Понятного мало. Особенно для тех, кто вообще не вкурсе что такое потоковая обработка, шина, брокеры сообщений и т.д.

Если Вы сталкивались с REST или SOAP, то знаете что сервисы могут обмениваться сообщениями. Например один сервис отвечает за авторизацию пользователей, а второй за обработку заказа. Под сервисом я имею в виду отдельное приложение (не важно на Java или другом языке программирования), которое имеет API при вызове которого получают определенный результат. Возможно Вы еще с таким явлением не сталкивались. Важно понять что современные приложения очень редко бывают автономны. Особенно большие веб проекты. Возьмем к примеру ваш любимый банк и его сайт, где Вы можете совершать платежи и другую банковскую активность.

Наверняка он общается со сторонними сервисами не только внутри банка но и по Интернету. Котировки для отображения курса валют могут быть на сайте регулятора. Веб приложению банка нужно сделать запрос чтобы получить актуальные данные на момент операции. В популярных банковских веб приложениях есть возможность заплатить коммуналку. Когда Вы совершаете платеж, приложение делает запрос на сервер коммунальной службы чтобы получить Вашу задолженность и потом перевести средства на нужный счет. После совершения платежа приложение обращается к сервису по отправке уведомлений или СМС, чтобы уведомить Вас о совершенной транзакции.

Пример выше является очень абстрактным но я хочу донести мысль, что приложения постоянно обмениваются информацией между собой. Нам это не видно за оболочкой веб браузера или мобильного приложение. Все происходит на сервере. Но автономных приложений в нашем современном мире почти не осталось.

Более того, не только веб сервера общаются между собой, но также и другие устройства генерируют события, которые сервера должны обрабатывать. Сейчас даже Ваш холодильник если он более-менее современный пытается куда-то отослать аналитику и статистику на сервер.

В тренде микросервисные приложения, где большой код разбивается на меньшие независимые веб сервисы, которые потом обмениваются информацией при необходимости. Если раньше Вы вызывали метод класса для определенной операции, то сейчас также вызывается API другого сервиса для вызова определенной функции или передачи данных.

Теперь, когда мы разобрались с микросервисами и коммуникацией между серверами, нетрудно понять что обмен сообщениями — задача не из простых. Нужно сформировать запрос, знать URL, получить разрешение чтобы вызывать сервис (как правило API защищен от несанкционированного доступа), отправить запрос, получить ответ, прочитать ответ. И это я только описал так называемый happy flow. Когда все идет хорошо. А ведь бывает и негативный сценарий. Что если сервис который мы вызываем не отвечает? Или у него поменялся ответ? Или что, если один сервис генерирует запросы быстрее чем другой может их обработать? Все эти вещи достаточно сложны и обсуждать их в текущей статье мы не будем. Мы рассмотрим только один кейс из недостатков синхронного общения, чтобы потом плавно перейти в преимущества асинхронного общения, которое возможно с помощью брокеров сообщений, коим является Kafka.

Допустим у Вас есть проект по продажи товаров. Пусть это будет интернет магазин обуви. Он очень большой и популярный. Проект настолько обширный что программный код разделен сразу на несколько подпроектов, чтобы разные команды могли с ним работать не мешая друг другу. Это что-то схожее с микросервисами. У Вас есть главный сервер который принимает заказы. Есть второй сервер, который отправляет СМС уведомления пользователю что его заказ принят. Достаточно простой сценарий: принимаем запрос о покупке, сохраняем заказ, делаем запрос на сервер уведомлений чтобы отправить СМС и возвращаем результат что покупка обработана. Сейчас предположим что оба наши сервера это Spring Boot приложения написанные на 11 java.

Когда мы «серфим» по веб ресурсам — нам очень важна скорость с которой страницы открываются. Согласитесь, очень неприятно ждать пока страница загрузится, пока все картинки станут четкими и тд. Когда наш пользователь в примере выше будет делать запрос чтобы оформить свой заказ, он наверняка захочет чтобы все прошло как можно быстрее. Если мы будем делать обычный синхронный запрос на сервер уведомлений, то в коде приложения нам нужно будет дождаться ответа что запрос прошел и только после этого возвращать пользователю результат.

А что если отправку уведомлений сделать асинхронной? Можно обрабатывать заказ и в это же время сделать запрос на СМС. Дальше не дожидаясь ответа можно продолжить выполнение кода. Таким образом обработка заказа пользователя будет ускорена за счет того, что не нужно ждать ответа от сервера уведомлений.

Вот как раз Apache Kafka может нам помочь с вышеописанным сценарием. Можно положить инструкцию по отправке уведомлений в брокер сообщения и потом уже приложение которое настроено на прослушку темы с сообщением сможет получить и обработать наши инструкции.

Нам не нужно беспокоится что сообщение будет потеряно и не обработано. Даже если сервер, который отвечает за отправку сообщений перегружен — он сможет приступить к обработке наших инструкций немного позже нашей отправки. Кафка гарантирует что сообщение не потеряется и будет доставлено.

Если заглянуть немного глубже за интерфейс Apache Kafka то можно увидеть, что это некая форма лог файла. Есть источник данных, который называется продюсер (producer). Это не тот продюсер, который снимает фильмы или раскручивает певцов.

В данном случае продюсером мы называем того, кто будет генерировать трафик. Producer записывает сообщения (messages) в так называемый топик (topic). Если угодно другой перевод — тема. Можно воспринимать топик как название файла на компьютере. Сообщения хранятся в лог файле определенный период, который можно настраивать. В отличие от других брокеров сообщений (таких как ActiveMQ), Кафка может хранить сообщение даже после его обработки. Таким образом этот инструмент иногда используют в качестве базы данных.

Подписчики (consumer), которые слушают определенную тему опрашивают ее на наличие новых сообщений и потом обрабатывают их по своему усмотрению. Причем в темы может быть много подписчиков и много продюсеров.

Мы пишем в файл сообщения и потом можем их прочитать. Этот файл мы можем программно начать читать не сначала, а с определенного места (offset), который тоже можно настраивать.

Мы не будем подробно останавливать наше внимание на репликации данных в Apache Kafka, настройке топиков, продюсеров, подписчиков и других девопс нюансах, которые также нужно знать и девелоперам. Все это усложнит и так непростую тему. Сейчас наша задача ознакомится с этим инструментом и попробовать выполнить простой пример, который и будет Вашей отправной точкой в более детальном изучении Apache Kafka.

Первое чта нам нужно — установить Apache Kafka на свой компьютер. Сделать это достаточно просто: переходим на официальный сайт и выполняем инструкции согласно своей операционной системе. На момент написания этой статьи дополнительно требуется установить ZooKeeper. Это специальный дополнительный сервис по обслуживанию несколько реплик брокера. Сейчас углубляться в эту тему пока не будем. Тем более что, разработчики Кафка обещают что скоро устанавливать зукипер будет не нужно.

После установки можете попробовать выполнить несколько упражнений, которые на официальном сайте по ссылке выше. Таким образом Вы сможете поработать с Кафка из коммандной строки.

Дальше, нам нужно — несколько Spring Boot приложений. Первое будет принимать наш REST запрос и отправлять сообщение в тему брокера. Второе приложение будет принимать сообщения и обрабатывать их. В нашем случае мы просто будем выводить сообщение в консоль.

Я генерирую Spring Boot приложения на сайте start.spring.io и добавляю зависимости для Kafka и Web:

Финальный pom.xml моего kafka-tutorial-producer и kafka-tutorial-producer одинаковый:

Если не знаете, что такое pom.xml файл — ознакомьтесь со статьей о Мавен.

Чтобы оба приложения можно было запустить одновременно нужно хотя бы одному поменять стандартный порт томкет с 8080 на любой другой. Делается это в application.properties файле. В данно случае я выбрал консумера и поменял ему порт на 8081: server.port=8081

Дальше пишем простой класс с методом produce, который будет ложить сообщения в Apache Kafka тему. Чтобы не изобретать велосипед мы воспользуемся классом KafkaTemplate, который идет со спринг кафка библиотекой. Это параметризированный класс, которому нужно задать тип ключа и значения, которое мы будем передавать. Можно конечно передавать строки, но также можно и сложные объекты, которые состоят из нескольких полей.

Предлагаю создать какой-то несложный класс Message.

Я не хотел просто по дефолту генерировать сообщения. Мы сейчас подлючим наш ProducerService в контроллер и будем вызывать его из метода контроллера. Сообщение мы будем передавать в запросе контроллер метода:

Код выше — просто REST контроллер. Для тех кто не в курсе — я настоятельно советую почитать: Spring REST с примером

В проперти файл application.properties нужно указать адрес и порт Apache Kafka и прописать класс сериализации для ключа и значения. Так как мы используем для ключа строку а для значения класс Message то в Kafka наш класс будет передан в виде JSON объекта. Можно конечно выбрать и другой формат сериализации. Главное чтобы подписчик использовал тот же формат десериализации. Иначе сообщение невозможно будет прочитать.

Не забываем также указать Spring Boot хост и порт Apache Kafka сервера. Так как мы все запустили у себя на компьютере,то нужно указать localhost и стандартный кафка порт, если Вы его конечно не поменяли: 9092.

В результате, мой файл application.properties продюсер сервиса выглядит следующим образом:

Дальше очередь сервиса подписчика.

Здесь все будет еще проще. Создаем аналогичный класс сообщений как и в сервисе продюсера. Дальше создаем класс ConsumerService и в нем метод consume. Чтобы метод начал слушать тему на него навешиваем аннотацию @KafkaListener, в которой указываем название темы и айди группы (group_id). Айди группы это идентификатор группы к которой принадлежит подписчик. Как я уже писал выше, у темы может быть несколько продюсеров и подписчиков одновременно. Их можно объединять в группы. Таким образом разные группы подписчиков могут парралельно обрабатывать тему с разных ее мест.

Наш класс подписчика имеет следующий вид:

Не забываем добавить десериализатор для ключа и значения в файл настроек:

Спринг ругался на то что пакет где находился мой класс Message не вызывает доверия. Поэтому пришлось добавить ему spring.kafka.consumer.properties.spring.json.trusted.packages=* чтобы он все пакеты пометил как трастед для json.

Я настройках сервиса консумера я намеренно не добавлял указания для порта и хоста. На самом деле, Spring Boot имеет дефолтные настройки для Кафка: localhost:9092. Если ему не передавать других настроек — он будет брать значения по умолчанию. В примере с продюсером я просто хотел продемонстрировать как эти параметры можно передать. Но в нашем случае spring.kafka.producer.bootstrap-servers=localhost:9092 можно было не писать.

На этом собственно разработка и закончена.

Не забываем запустить Apache Kafka сервер. Стартуем наши 2 приложения и пытаемся в Postman или браузере вызвать эндпоинт продюсера:

В консоли приложений Вы сможете увидеть что продюсер передал сообщение в Apache Kafka, а подписчик успешно его принял и обработал:

Это все, что я хотел показать на примере Spring Boot и брокера сообщений Apache Kafka. Как видите, настроить асинхронный обмен сообщениями между современными веб приложениями не так уж и сложно.

Я записал видео для этого туториала на английском языке. Приятного просмотра!

Введение в KafkaStreams в Java

В этой статье мы рассмотрим библиотеку KafkaStreams .

KafkaStreams разработан создателями Apache Kafka . Основная цель этого программного обеспечения — позволить программистам создавать эффективные потоковые приложения в реальном времени, которые могут работать как микросервисы.

KafkaStreams позволяет нам использовать темы Kafka, анализировать или преобразовывать данные и, возможно, отправлять их в другую тему Kafka.

Чтобы продемонстрировать KafkaStreams, мы создадим простое приложение, которое читает предложения из темы, подсчитывает вхождения слов и выводит количество слов на слово.

Важно отметить, что библиотека KafkaStreams не является реактивной и не поддерживает асинхронные операции и обработку обратного давления.

2. Зависимость от Maven

Чтобы начать писать логику обработки потока с использованием KafkaStreams, нам нужно добавить зависимость для kafka-streams и kafka-clients :

Нам также необходимо установить и запустить Apache Kafka, потому что мы будем использовать тему Kafka. Эта тема будет источником данных для нашей работы по потоковой передаче.

Мы можем скачать Kafka и другие необходимые зависимости с официального сайта.

3. Настройка ввода KafkaStreams

Первое, что мы сделаем, это определение входной темы Kafka.

Мы можем использовать загруженный нами инструмент Confluent — он содержит сервер Kafka. Он также содержит kafka-console-maker, который мы можем использовать для публикации сообщений в Kafka.

Для начала запустим наш кластер Kafka:

После запуска Kafka мы можем определить наш источник данных и имя нашего приложения, используя APPLICATION_ID_CONFIG :

Важнейшим параметром конфигурации является BOOTSTRAP_SERVER_CONFIG. Это URL-адрес нашего локального экземпляра Kafka, который мы только что запустили:

Затем нам нужно передать тип ключа и значение сообщений, которые будут использоваться из inputTopic:

Потоковая обработка часто выполняется с сохранением состояния. Когда мы хотим сохранить промежуточные результаты, нам нужно указать параметр STATE_DIR_CONFIG .

В нашем тесте мы используем локальную файловую систему:

4. Построение потоковой топологии

Определив тему ввода, мы можем создать топологию потоковой передачи — это определение того, как события должны обрабатываться и преобразовываться.

В нашем примере мы хотели бы реализовать счетчик слов. Для каждого предложения, отправляемого в inputTopic, мы хотим разбить его на слова и вычислить вхождение каждого слова.

Мы можем использовать экземпляр класса KStreamsBuilder, чтобы начать построение нашей топологии:

Чтобы реализовать подсчет слов, во-первых, нам нужно разделить значения с помощью регулярного выражения.

Метод split возвращает массив. Мы используем flatMapValues ​​(), чтобы сгладить его. В противном случае мы получили бы список массивов, и писать код с такой структурой было бы неудобно.

Наконец, мы агрегируем значения для каждого слова и вызываем функцию count (), которая будет вычислять количество вхождений определенного слова.

5. Обработка результатов

Мы уже подсчитали количество слов в наших входных сообщениях. Теперь напечатаем результаты на стандартном выходе с помощью метода foreach () :

При производстве часто такое задание потоковой передачи может публиковать вывод в другой теме Kafka.

Мы могли бы сделать это с помощью метода to ():

Класс Serde предоставляет нам предварительно сконфигурированные сериализаторы для типов Java, которые будут использоваться для сериализации объектов в массив байтов. Затем массив байтов будет отправлен в тему Kafka.

Мы используем String как ключ к нашей теме и Long как значение для фактического количества. Метод to () сохранит полученные данные в outputTopic .

6. Запуск задания KafkaStream.

До этого момента мы построили топологию, которая может быть выполнена. Однако работа еще не началась.

Нам нужно явно начать нашу работу, вызвав метод start () в экземпляре KafkaStreams :

Note that we are waiting 30 seconds for the job to finish. In a real-world scenario, that job would be running all the time, processing events from Kafka as they arrive.

We can test our job by publishing some events to our Kafka topic.

Let’s start a kafka-console-producer and manually send some events to our inputTopic:

This way, we published two events to Kafka. Our application will consume those events and will print the following output:

We can see that when the first message arrived, the word pony occurred only once. But when we sent the second message, the word pony happened for the second time printing: “word: pony -> 2″.

6. Conclusion

В этой статье обсуждается, как создать приложение для обработки основного потока, используя Apache Kafka в качестве источника данных и библиотеку KafkaStreams в качестве библиотеки потоковой обработки.

Все эти примеры и фрагменты кода можно найти в проекте GitHub — это проект Maven, поэтому его должно быть легко импортировать и запускать как есть.

Kafka — Confluent — Поддержка версий Java

Я смотрю Apache Kafka v2.0.0, и я не могу понять, какую версию java он поддерживает (OpenJDK или Oracle JDK новый жизненный цикл)? До сих пор я видел противоречивые документы. Например: на странице документации Apache Kafka говорится: Java 1.8, однако в своих примечаниях к выпуску для версии 2.0 я вижу исправления и улучшения ошибок, например:

[KAFKA-6855] — Kafka не запускается с Java 10 из-за ошибочного обнаружения Java-версии [KAFKA-5907] — Поддержка агрегацииJavadoc в Java 9

Документация Confluent v5.x говорит, что они не поддерживают 9 или 10

Java 1.9 и 1.10 в настоящее время не поддерживаются в платформе Confluent. Более поздние версии Confluent Platform будут поддерживать эти версии Java.

но их технический директор в ноябре 2017 года на этой странице говорит

«Теперь мы поддерживаем Java 9, ведущие, значительно более быстрые TLS и CRC32C-реализации»

Знание Oracle заняло другой жизненный цикл с их LTS OracleJDK, и они отбрасывают поддержку 1,8. Что такое решение Кафки с точки зрения поддержки Java? Я не могу понять это из документации. Что мне здесь не хватает?