太平洋保險(xiǎn)集團(tuán)“家園項(xiàng)目”大數(shù)據(jù)平臺(tái)DSG應(yīng)用(oracle&kafka) 項(xiàng)目背景根據(jù)太平洋保險(xiǎn)集團(tuán)的IT建設(shè)規(guī)劃,在2017年年底,需要完成“一個(gè)太保,共同的家園”項(xiàng)目(簡(jiǎn)稱家園項(xiàng)目)
1、kafka 安裝 安裝JDK tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local ln -sv jdk1.8
kafka是一個(gè)高吞吐速度的消息中間件,可以部署在廉價(jià)的主機(jī)上。速度快的原因有兩個(gè):1.從寫(xiě)數(shù)據(jù)方面:寫(xiě)入的數(shù)據(jù)按順序?qū)懭氲酱疟P(pán);memory mapped files磁盤(pán)讀寫(xiě)的快慢取決于你怎么使用它
基于binlog的離線分析平臺(tái)的一些初步實(shí)踐?參考文檔:?http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6
用ELK打造強(qiáng)大的日志分析平臺(tái),具體拓?fù)浣Y(jié)構(gòu)如下:在這里我們將進(jìn)行kafka+filebeat+ELK5.4的部署各軟件版本jdk-8u131-linux-i586.tar.gz filebeat-5
Kafka的配置詳盡、復(fù)雜,想要進(jìn)行全面的性能調(diào)優(yōu)需要掌握大量信息,這里只記錄一下我在日常工作使用中走過(guò)的坑和經(jīng)驗(yàn)來(lái)對(duì)kafka集群進(jìn)行優(yōu)化常用的幾點(diǎn)。1.JVM的優(yōu)化 ja
有序列化就會(huì)有反序列化,反序列化的操作是在Kafka Consumer中完成的,使用起來(lái)只需要配置一下key.deserializer和value.deseriaizer。對(duì)應(yīng)上面自定義的Compan
Kafka為什么速度快、吞吐量大 Kafka是大數(shù)據(jù)領(lǐng)域無(wú)處不在的消息中間件,目前廣泛使用在企業(yè)內(nèi)部的實(shí)時(shí)數(shù)據(jù)管道,并幫助企業(yè)構(gòu)建自己的流計(jì)算應(yīng)用程序。Kafka雖然是基于磁盤(pán)做的數(shù)據(jù)存儲(chǔ),但卻具有高
部署Flume在Window環(huán)境中,Kafka部署在Linux上,從Flume發(fā)送事件到Kafka始終有一下錯(cuò)誤,經(jīng)過(guò)長(zhǎng)時(shí)間在網(wǎng)上搜索終于把問(wèn)題解決,解決辦法1:修改kafka中配置項(xiàng),#advert
1、啟動(dòng):nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &2、刪除