A Kafka beállítása: 4 lépés

2024 Szerző: John Day | [email protected]. Utoljára módosítva: 2024-01-30 09:41

Bevezetés:

Az Apache Kafka egy nyílt forráskódú, méretezhető és nagy teljesítményű üzenetküldő rendszer, amelyet az Apache Software Foundation fejlesztett ki Scala nyelven. Az Apache Kafka -t kifejezetten úgy tervezték, hogy egyetlen fürt szolgáljon központi adatgerincként egy nagy környezetben. Sokkal nagyobb áteresztőképességű, mint más üzenetközvetítő rendszerek, például az ActiveMQ és a RabbitMQ. Képes nagy mennyiségű valós idejű adat hatékony kezelésére. A Kafka telepíthető egyetlen Apache szerveren vagy elosztott fürtözött környezetben.

Jellemzők:

A Kafka általános jellemzői a következők:

Állandó üzenet a lemezen, amely állandó teljesítményt biztosít.

Nagy teljesítményű lemezszerkezetekkel, amelyek másodpercenként több százezer üzenetet támogatnak.

Az elosztott rendszer könnyen skálázható leállás nélkül.

Támogatja a több előfizetőt, és automatikusan kiegyensúlyozza a fogyasztókat hiba esetén.

Ez az oktatóanyag bemutatja az Apache Kafka telepítését és konfigurálását egy Ubuntu 16.04 kiszolgálón.

Követelmények

Ubuntu 16.04 szerver.

Nem root felhasználói fiók szuper felhasználói jogosultsággal beállítva a kiszolgálón.

1. lépés: Az első lépések és a Java telepítése

1) Győződjünk meg arról, hogy az Ubuntu 16.04 szerver teljesen naprakész

A szerver frissítéséhez a következő parancsokat kell futtatnia:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) A Java telepítése

Ellenőrizze, hogy a gépen van-e már telepített java, vagy van-e alapértelmezett java verziója a következő paranccsal:-

java -verzió

Még akkor is, ha van java, de alacsonyabb verziója, frissítenie kell.

A Java-t a következőképpen telepítheti:-

sudo apt-get install default-jdk

VAGY

Az Oracle JDK 8 telepítése a Webupd8 csapat PPA tárolójával lehetséges.

A tároló hozzáadásához futtassa a következő parancsot:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

2. lépés: Telepítse a Zookeeper programot

Mi a Zookeeper?

A Zookeeper egy központi szolgáltatás a konfigurációs információk karbantartásához, elnevezéshez, elosztott szinkronizáláshoz és csoportszolgáltatásokhoz. Mindezen típusú szolgáltatásokat valamilyen formában használják elosztott alkalmazások. Minden egyes végrehajtásukkor rengeteg munka folyik az elkerülhetetlen hibák és versenykörülmények kijavításán. Az ilyen jellegű szolgáltatások megvalósításának nehézségei miatt az alkalmazások kezdetben általában takarékoskodnak velük, ami miatt a változások jelenlétében törékennyé válnak és nehezen kezelhetők. Még akkor is, ha helyesen hajtják végre, e szolgáltatások különböző megvalósításai bonyolult kezelést eredményeznek az alkalmazások telepítésekor.

Az Apache Kafka telepítése előtt rendelkezésre kell állnia és futnia kell az állattartónak. A ZooKeeper egy nyílt forráskódú szolgáltatás a konfigurációs információk karbantartásához, elosztott szinkronizáláshoz, elnevezéshez és csoportszolgáltatások biztosításához.

1) Alapértelmezés szerint a Zookeeper csomag elérhető az Ubuntu alapértelmezett tárházában

Telepítheti a következő parancs futtatásával:-

sudo apt-get install zookeeperd

A telepítés befejezése után a rendszer automatikusan démonként indul el. Alapértelmezés szerint a Zookeeper a 2181 -es porton fog futni.

A következő parancs futtatásával tesztelheti:

netstat -ant | grep: 2181

A kimenetnek meg kell mutatnia, hogy a 2181 -es portot hallgatják.

3. lépés: Telepítse és indítsa el a Kafka szervert

Most, hogy a Java és a ZooKeeper telepítve van, ideje letölteni és kivonni a Kafkát az Apache webhelyéről.

1) A curl vagy a wget segítségével letöltheti a Kafkát: (Kafka 0.10.1.1 verzió)

Futtassa a következő parancsot a kafka beállítás letöltéséhez:-

curl -O

VAGY

wget

2) Hozzon létre egy könyvtárat a Kafka számára

Ezután hozzon létre egy könyvtárat a Kafka telepítéséhez:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Csomagolja ki a letöltött mappát

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Változtasd meg a felhasználónevedet a felhasználónevednek megfelelően

4) Indítsa el a kafka szervert

A következő lépés a Kafka szerver indítása, és elindíthatja a kafka-server-start.sh szkript futtatásával, amely az /opt/kafka/kafka_2.11-0.10.1.1/bin/ könyvtárban található, a következő paranccsal:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Ellenőrizze, hogy a Kafka szerver megfelelően működik -e

Most egy Kafka szerver fut és hallgat a 9092 -es porton.

Most ellenőrizhetjük a hallgatási portokat:

- Állatkert: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4. lépés: Tesztelje Kafka szerverét

Itt az ideje annak ellenőrzésére, hogy a Kafka szerver megfelelően működik -e.

1) Hozzon létre egy új témát

A Kafka teszteléséhez hozzon létre egy minta témát "tesztelés" néven az Apache Kafkában a következő paranccsal:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic tesztelés --zookeeper localhost: 2181-partíciók 1-replikációs tényező 1

2) Ellenőrizze, hogy a témát sikeresen létrehozta -e

Most kérje meg a Zookeeper -t, hogy sorolja fel az Apache Kafka elérhető témáit a következő parancs futtatásával:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Tegyen közzé üzenetet a létrehozott témával

echo "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-brókerlista localhost: 9092 --téma tesztelés

4) Fogadja el a létrehozott témáról szóló üzenetet

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-Bootstrap-server localhost: 9092 --téma tesztelés-kezdettől fogva

5) Fájl küldése a kafka használatával egy témán keresztül

kafka-console-producer.sh-brókerlista localhost: 9092-témakör tesztelés