#

kafka

  • 太平洋保險(xiǎn)家園大數(shù)據(jù)項(xiàng)目DSG應(yīng)用(30多個(gè)Oracle等實(shí)時(shí)同步到KAFKA)

    太平洋保險(xiǎn)集團(tuán)“家園項(xiàng)目”大數(shù)據(jù)平臺(tái)DSG應(yīng)用(oracle&kafka) 項(xiàng)目背景根據(jù)太平洋保險(xiǎn)集團(tuán)的IT建設(shè)規(guī)劃,在2017年年底,需要完成“一個(gè)太保,共同的家園”項(xiàng)目(簡(jiǎn)稱家園項(xiàng)目)

    作者:gulibin
    2020-07-25 14:20:14
  • 安裝kafka并設(shè)置通過(guò)外網(wǎng)ip訪問(wèn)

    1、kafka 安裝 安裝JDK tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local ln -sv jdk1.8

    作者:會(huì)說(shuō)話的魚(yú)
    2020-07-25 04:53:43
  • kafka為什么那個(gè)快?

    kafka是一個(gè)高吞吐速度的消息中間件,可以部署在廉價(jià)的主機(jī)上。速度快的原因有兩個(gè):1.從寫(xiě)數(shù)據(jù)方面:寫(xiě)入的數(shù)據(jù)按順序?qū)懭氲酱疟P(pán);memory mapped files磁盤(pán)讀寫(xiě)的快慢取決于你怎么使用它

    作者:hagretd
    2020-07-25 03:32:28
  • 基于binlog的離線分析平臺(tái)的一些初步實(shí)踐

    基于binlog的離線分析平臺(tái)的一些初步實(shí)踐?參考文檔:?http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6

    作者:我的二狗呢
    2020-07-24 17:49:47
  • filebeat+kafka+ELK5.4安裝與部署

    用ELK打造強(qiáng)大的日志分析平臺(tái),具體拓?fù)浣Y(jié)構(gòu)如下:在這里我們將進(jìn)行kafka+filebeat+ELK5.4的部署各軟件版本jdk-8u131-linux-i586.tar.gz filebeat-5

    作者:jackjiaxiong
    2020-07-24 11:08:54
  • Kafka性能調(diào)優(yōu)

      Kafka的配置詳盡、復(fù)雜,想要進(jìn)行全面的性能調(diào)優(yōu)需要掌握大量信息,這里只記錄一下我在日常工作使用中走過(guò)的坑和經(jīng)驗(yàn)來(lái)對(duì)kafka集群進(jìn)行優(yōu)化常用的幾點(diǎn)。1.JVM的優(yōu)化  ja

    作者:Jx戰(zhàn)壕
    2020-07-24 09:49:49
  • Kafka 消息序列化和反序列化(下)

    有序列化就會(huì)有反序列化,反序列化的操作是在Kafka Consumer中完成的,使用起來(lái)只需要配置一下key.deserializer和value.deseriaizer。對(duì)應(yīng)上面自定義的Compan

    作者:Java_老男孩
    2020-07-23 22:05:36
  • kafka作為流式處理的上一層,為什么吞吐量那么大?

    Kafka為什么速度快、吞吐量大 Kafka是大數(shù)據(jù)領(lǐng)域無(wú)處不在的消息中間件,目前廣泛使用在企業(yè)內(nèi)部的實(shí)時(shí)數(shù)據(jù)管道,并幫助企業(yè)構(gòu)建自己的流計(jì)算應(yīng)用程序。Kafka雖然是基于磁盤(pán)做的數(shù)據(jù)存儲(chǔ),但卻具有高

    作者:Stitch_x
    2020-07-23 20:24:02
  • 【問(wèn)題】Failed to send producer request with correlation id 2 to broker 0 with

    部署Flume在Window環(huán)境中,Kafka部署在Linux上,從Flume發(fā)送事件到Kafka始終有一下錯(cuò)誤,經(jīng)過(guò)長(zhǎng)時(shí)間在網(wǎng)上搜索終于把問(wèn)題解決,解決辦法1:修改kafka中配置項(xiàng),#advert

    作者:巧克力黒
    2020-07-22 22:06:45
  • Kafka 常用命令

    1、啟動(dòng):nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &2、刪除

    作者:javawelcome
    2020-07-22 21:26:23