So installieren Sie die Apache Kafka Distributed Streaming Platform auf Ubuntu

Apache Kafka ist eine verteilte Streaming-Plattform, die von der Apache Software Foundation entwickelt und in Java und Scala geschrieben wurde. Apache Kafka wurde ursprünglich von LinkedIn entwickelt und war 2011 Open Source.

Apache Kafka wird für den Aufbau einer Echtzeit-Streaming-Datenpipeline verwendet, die zuverlässig Daten zwischen System und Anwendungen übermittelt. Es bietet eine einheitliche, hochdurchsatzfähige und latenzarme Datenverarbeitung in Echtzeit.

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf Ubuntu 18.04 Schritt für Schritt installieren und konfigurieren. Dieses Handbuch behandelt die Installation und Konfiguration von Apache Kafka und Apache Zookeeper.

Voraussetzungen

  • Ubuntu 18.04.
  • Root-Rechte

Was werden wir tun?

  1. Java OpenJDK 8 installieren
  2. Apache Zookeeper installieren
  3. Apache Kafka herunterladen und konfigurieren
  4. Apache Kafka und Zookeeper als s-Dienst konfigurieren
  5. Prüfung

Schritt 1 – Java OpenJDK 8 installieren

Apache Kafka wurde in Java und Scala geschrieben, daher müssen wir Java auf dem Server installieren.

Bevor Sie Pakete installieren, aktualisieren Sie das Repository und aktualisieren Sie alle Pakete.

sudo apt update
sudo apt upgrade

Installieren Sie nun das Java OpenJDK 8 aus dem Ubuntu-Repository mit dem untenstehenden Befehl apt.

sudo apt install openjdk-8-jdk -y

Nachdem die Installation abgeschlossen ist, überprüfen Sie die installierte Java-Version.

java -version

Jetzt sehen Sie das Java OpenJDK 8, das auf Ubuntu 18.04 installiert ist.

Install Java

Schritt 2 – Apache Zookeeper installieren

Apache Kafka verwendet den Zookeeper für die Wahl des Controllers, die Clusterzugehörigkeit und die Themenkonfiguration. Zookeeper ist ein verteilter Konfigurations- und Synchronisationsdienst.

In diesem Schritt werden wir Zookeeper aus dem Ubuntu-Repository installieren.

Führen Sie den folgenden Befehl apt aus.

sudo apt install zookeeperd -y

Warten Sie, bis die Installation abgeschlossen ist.

Apache Zookeeper installieren

Schritt 3 – Herunterladen und Konfigurieren von Apache Kafka

In diesem Schritt werden wir den Apache Kafka mit den Binärdateien installieren, die von der Kafka-Website heruntergeladen werden können. Wir werden den Apache Kafka installieren und konfigurieren und ihn als Nicht-Root-Benutzer ausführen.

Füge einen neuen Benutzer namens’kafka‘ hinzu.

useradd -d /opt/kafka -s /bin/bash kafka
passwd kafka

Gehen Sie nun in das Verzeichnis’/opt‘ und laden Sie die Apache Kafka Binärdateien mit wget herunter.

cd /opt
wget http://www-eu.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

Erstellen Sie nun ein neues kafka-Verzeichnis.

mkdir -p /opt/kafka

Entpacken Sie die Datei kafka_*.tar.gz in das Verzeichnis’kafka‘ und wechseln Sie den Besitzer des Verzeichnisses auf den Benutzer und die Gruppe’kafka‘.

tar -xf kafka_2.11-2.0.0.tgz -C /opt/kafka --strip-components=1
sudo chown -R kafka:kafka /opt/kafka

Melden Sie sich nun beim Benutzer’kafka‘ an und bearbeiten Sie die Konfiguration der server.properties.

su - kafka
vim config/server.properties

Fügen Sie die folgende Konfiguration an das Ende der Zeile ein.

delete.topic.enable = true

Speichern und beenden.

Start Apache Kafka

Die Apache Kafka Konfiguration ist abgeschlossen.

Schritt 4 – Apache Kafka und Zookeeper als Dienste konfigurieren

In diesem Schritt konfigurieren wir den Apache Kafka als Dienst und die Zolldienstkonfiguration für den Tierpfleger.

Gehen Sie in das Verzeichnis’/lib/systemd/system‘ und erstellen Sie eine neue Servicedatei’zookeeper.service‘.

cd /lib/systemd/system/
vim zookeeper.service

Fügen Sie die untenstehende Konfiguration ein.

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Speichern und beenden.

Erstellen Sie nun die Apache Kafka Servicedatei ‚kafka.service‘.

vim kafka.service

Fügen Sie die untenstehende Konfiguration ein.

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties'
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Speichern und beenden.

Laden Sie die Systemmanager-Konfiguration neu.

systemctl daemon-reload

Starten Sie nun die Dienste Apache Zookeeper und Apache Kafka.

systemctl start zookeeper
systemctl enable zookeeper

systemctl start kafka
systemctl enable kafka

Start Zooarbeiter und Kafka

Der Apachen-Zoowächter und Kafka sind in Betrieb.

Zookeeper, der unter Port’2181′ und Kafka unter Port’9092′ läuft, überprüfen Sie es mit dem Befehl netstat unten.

netstat -plntu

Die Software überwacht ihre Standard-Ports.

Schritt 5 – Testen von Apache Kafka

Melden Sie sich beim Benutzer’kafka‘ an und gehen Sie in das Verzeichnis’bin/‘.

su - kafka
cd bin/

Erstellen Sie nun ein neues Thema namens’HakaseTesting‘ mit der ausführbaren Datei’kafka-topics.sh‘.

./kafka-topics.sh --create --zookeeper localhost:2181 \
--replication-factor 1 --partitions 1 \
--topic HakaseTesting

Und führen Sie die Datei ‚kafka-console-producer.sh‘ mit dem Thema’HakaseTesting‘ aus.

./kafka-console-producer.sh --broker-list localhost:9092 \
--topic HakaseTesting

Öffnen Sie nun ein neues Terminal und melden Sie sich am Server an, dann melden Sie sich beim Benutzer „kafka“ an.

Führen Sie ‚kafka-console-consumer-consumer.sh‘ für das Thema’HakaseTesting‘ aus.

./kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic HakaseTesting --from-beginning

Und wenn Sie eine Eingabe aus der Shell’kafka-console-producer.sh‘ vornehmen, erhalten Sie das gleiche Ergebnis auf der Shell’kafka-console-consumer-consumer.sh‘.

Testen von Apache Kafka

Die Installation und Konfiguration für Apache Kafka auf Ubuntu 18.04 wurde erfolgreich abgeschlossen.

Referenz

Das könnte Dich auch interessieren …