#

kafka

  • LinkedIn 定制 Kafka,互聯(lián)網(wǎng)大廠是如何每天處理 7 萬億條消息

    Apache Kafka 是 LinkedIn 基礎(chǔ)設(shè)施的核心組件,最初是作為內(nèi)部流式處理平臺而誕生的,后來被開源出來,并得到了外部的廣泛采用。雖然有很多公司和項目在使用 Kafka,但他們的數(shù)據(jù)規(guī)模

    作者:wx5d6cccb1cb158
    2020-07-11 16:22:41
  • STORM配置TOPOLOGY問題

    最初的錯誤:DynamicBrokersReader [ERROR] Node /brokers/ids/0 does not exist設(shè)

    作者:kkksww
    2020-07-10 02:08:12
  • spark+kafka+redis統(tǒng)計網(wǎng)站訪問者IP

    *目的是為了防采集。需要對網(wǎng)站的日志信息,進(jìn)行一個實時的IP訪問監(jiān)控。1、kafka版本是最新的0.10.0.02、spark版本是1.613、下載對應(yīng)的spark-streaming-kafka-a

    作者:leizhu900516
    2020-07-09 11:40:17
  • Kafka不停機(jī),如何無感知遷移ZooKeeper集群?

    Kafka 在 Yelp 的應(yīng)用十分廣泛,Yelp 每天通過各種集群發(fā)送數(shù)十億條消息,在這背后,Kafka 使用 Zookeeper 完成各種分布式協(xié)調(diào)任務(wù)。因為Yelp 非常依賴 Kafka,那么問

    作者:UMUTech
    2020-07-09 00:18:54
  • Kafka冪等性原理及實現(xiàn)剖析

    1.概述 最近和一些同學(xué)交流的時候反饋說,在面試Kafka時,被問到Kafka組件組成部分、API使用、Consumer和Producer原理及作用等問題都能詳細(xì)作答。但是,問到一個平時不注意的問題,

    作者:Java_老男孩
    2020-07-08 18:42:19
  • kafka集群安裝及管理(二)

    一、broker的遷移1.查看zookeeper和kafka啟動情況[root@slave1 ~]# pssh -h hostlist -i 

    作者:一語成讖灬
    2020-07-08 09:59:07
  • Flume+Kafka整合

    Flume+Kafka整合  一、準(zhǔn)備工作準(zhǔn)備5臺內(nèi)網(wǎng)服務(wù)器創(chuàng)建Zookeeper和Kafka集群服務(wù)器地址:192.168.2.240192.168.2.241192.168.2

    作者:四京
    2020-07-07 23:07:20
  • 實戰(zhàn) Elastic Stack - ELK 部署與配置

    實戰(zhàn) Elastic Stack - ELK 部署與配置 系統(tǒng)環(huán)境:CentOS Linux release 7.5.1804 (Core) 服務(wù)器數(shù)量:8 臺 相關(guān)軟件及版本 jdk-8u18

    作者:OptimusSnow
    2020-07-07 16:48:28
  • SparkStreaming性能調(diào)優(yōu)大全!

    SparkStreaming性能調(diào)優(yōu)大全!一、日志已滿: spark.executor.logs.rolling.maxSize 下面三個日志rolling參數(shù)記得設(shè)置: 

    作者:moviebat
    2020-07-07 13:14:40
  • Kafka 的 Lag 計算誤區(qū)及正確實現(xiàn)

    前言 消息堆積是消息中間件的一大特色,消息中間件的流量削峰、冗余存儲等功能正是得益于消息中間件的消息堆積能力。然而消息堆積其實是一把亦正亦邪的雙刃劍,如果應(yīng)用場合不恰當(dāng)反而會對上下游的業(yè)務(wù)造成不必要的

    作者:Java_老男孩
    2020-07-07 12:16:12