Az Apache Kafka bemutatója az Apache Kafka alap- és haladó fogalmait tartalmazza. Ez az oktatóanyag kezdőknek és profiknak egyaránt készült.
Az Apache Kafka egy nyílt forráskódú adatfolyam-feldolgozó szoftverplatform, amely a valós idejű adattárolás kezelésére szolgál. Brókerként működik két fél, azaz feladó és fogadó között. Egy nap alatt több billió adateseményt képes kezelni.
Az Apache Kafka oktatóprogramja az összes koncepciót lefedi az architektúrától az alapvető koncepciókig.
Mi az Apache Kafka
Az Apache Kafka egy elosztott streamelési folyamaton alapuló szoftverplatform. Ez egy közzététel-előfizetés üzenetküldő rendszer, amely lehetővé teszi az alkalmazások, szerverek és processzorok közötti adatcserét is. Az Apache Kafkát eredetileg a LinkedIn , majd később az Apache Software Foundationnek adományozták. Jelenleg a karbantartója Összefolyó az Apache Software Foundation keretében. Az Apache Kafka megoldotta a küldő és a fogadó közötti adatkommunikáció letargikus problémáját.
Mi az az üzenetküldő rendszer
Az üzenetküldő rendszer egyszerű üzenetváltás két vagy több személy, eszköz stb. között. A közzététel-előfizetés üzenetküldő rendszer lehetővé teszi, hogy a feladó küldje/írja az üzenetet, a fogadó pedig elolvassa az üzenetet. Az Apache Kafkában a feladót a termelő aki üzeneteket tesz közzé, és a vevőt a fogyasztó aki előfizetéssel fogyasztja el azt az üzenetet.
Mi az a Streaming folyamat
A streaming folyamat az adatok feldolgozása párhuzamosan összekapcsolt rendszerekben. Ez a folyamat lehetővé teszi a különböző alkalmazások számára, hogy korlátozzák az adatok párhuzamos végrehajtását, ahol az egyik rekord végrehajtása anélkül történik, hogy megvárná az előző rekord kimenetét. Ezért az elosztott streaming platform lehetővé teszi a felhasználó számára, hogy leegyszerűsítse a streaming folyamat és a párhuzamos végrehajtás feladatát. Ezért a Kafka streaming platformja a következő kulcsfontosságú képességekkel rendelkezik:
- Amint a rekordfolyamok megjelennek, feldolgozza azokat.
- Hasonlóan működik, mint egy vállalati üzenetküldő rendszer, ahol rekordfolyamokat tesz közzé és előfizet.
- Hibatűrően, tartósan tárolja a rekordfolyamokat.
Az Apache Kafka megismeréséhez és megértéséhez az aspiránsoknak ismerniük kell a következő négy alapvető API-t:
Producer API: Ez az API lehetővé teszi/engedélyezi egy alkalmazás számára rekordfolyamok közzétételét egy vagy több témakörben. (a későbbi részben lesz szó)
Fogyasztói API: Ez az API lehetővé teszi az alkalmazások számára, hogy előfizessenek egy vagy több témára, és feldolgozzák a hozzájuk készített rekordok folyamát.
Streams API: Ez az API lehetővé teszi az alkalmazások számára, hogy hatékonyan alakítsák át a bemeneti adatfolyamokat kimeneti adatfolyamokká. Lehetővé teszi, hogy egy alkalmazás adatfolyam-feldolgozóként működjön, amely egy vagy több témakörből származó bemeneti adatfolyamot fogyaszt, és kimeneti adatfolyamot állít elő egy vagy több kimeneti témakörhöz.
Csatlakozó API: Ez az API végrehajtja az újrafelhasználható gyártói és fogyasztói API-kat a meglévő adatrendszerekkel vagy alkalmazásokkal.
Miért Apache Kafka
Az Apache Kafka egy olyan szoftverplatform, amelynek a következő okai vannak, amelyek a legjobban leírják az Apache Kafka szükségességét.
- Az Apache Kafka több millió adat vagy üzenet kezelésére képes másodpercenként.
- Az Apache Kafka közvetítőként működik a forrásrendszer és a célrendszer között. Így a forrásrendszer (gyártó) adatai az Apache Kafkához kerülnek, ahol szétválasztja az adatokat, a célrendszer (fogyasztó) pedig a Kafkától származó adatokat fogyasztja.
- Az Apache Kafka rendkívül nagy teljesítményű, vagyis nagyon alacsony, 10 ms alatti késleltetési értékkel rendelkezik, ami azt bizonyítja, hogy egy jól járatos szoftver.
- Az Apache Kafka rugalmas architektúrája megoldotta az adatmegosztás szokatlan bonyodalmait.
- Az olyan szervezetek, mint a NETFLIX, UBER, Walmart stb. és több ezer ilyen cég használja az Apache Kafkát.
- Az Apache Kafka képes fenntartani a hibatűrést. A hibatűrés azt jelenti, hogy a fogyasztó néha sikeresen felveszi a gyártó által továbbított üzenetet. A fogyasztó azonban nem tudja feldolgozni az üzenetet a háttéradatbázis meghibásodása vagy a fogyasztói kódban lévő hiba miatt. Ilyen helyzetben a fogyasztó nem tudja újra elfogyasztani az üzenetet. Következésképpen az Apache Kafka az adatok újrafeldolgozásával megoldotta a problémát.
- A Kafka tanulása jó bevételi forrás. Így azok tanulhatnak, akik a jövőben az IT szektorban szeretnék jövedelmüket növelni.
Előfeltétel
Az aspiránsoknak rendelkezniük kell alapvető Java programozási ismeretekkel, és némi Linux-parancsokkal.
Közönség
Ez az Apache Kafka utazás kezdőknek, fejlesztőknek és új dolgokat tanulni vágyóknak készült.
Problémák
Biztosítjuk, hogy ebben az Apache Kafka oktatóanyagban nem talál problémát. De ha bármilyen hiba van, kérjük, adja meg a problémát egy kapcsolatfelvételi űrlapon.