溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

SpringBoot2 整合 ClickHouse數(shù)據(jù)庫案例解析

發(fā)布時間:2020-08-23 04:04:04 來源:腳本之家 閱讀:773 作者:知了一笑 欄目:編程語言

一、ClickHouse簡介

1、基礎(chǔ)簡介

Yandex開源的數(shù)據(jù)分析的數(shù)據(jù)庫,名字叫做ClickHouse,適合流式或批次入庫的時序數(shù)據(jù)。ClickHouse不應(yīng)該被用作通用數(shù)據(jù)庫,而是作為超高性能的海量數(shù)據(jù)快速查詢的分布式實時處理平臺,在數(shù)據(jù)匯總查詢方面(如GROUP BY),ClickHouse的查詢速度非???。

2、數(shù)據(jù)分析能力

OLAP場景特征

  • · 大多數(shù)是讀請求
  • · 數(shù)據(jù)總是以相當大的批(> 1000 rows)進行寫入
  • · 不修改已添加的數(shù)據(jù)
  • · 每次查詢都從數(shù)據(jù)庫中讀取大量的行,但是同時又僅需要少量的列
  • · 寬表,即每個表包含著大量的列
  • · 較少的查詢(通常每臺服務(wù)器每秒數(shù)百個查詢或更少)
  • · 對于簡單查詢,允許延遲大約50毫秒
  • · 列中的數(shù)據(jù)相對較?。?數(shù)字和短字符串(例如,每個URL 60個字節(jié))
  • · 處理單個查詢時需要高吞吐量(每個服務(wù)器每秒高達數(shù)十億行)
  • · 事務(wù)不是必須的
  • · 對數(shù)據(jù)一致性要求低
  • · 每一個查詢除了一個大表外都很小
  • · 查詢結(jié)果明顯小于源數(shù)據(jù),換句話說,數(shù)據(jù)被過濾或聚合后能夠被盛放在單臺服務(wù)器的內(nèi)存中

列式數(shù)據(jù)存儲

(1)、行式數(shù)據(jù)

SpringBoot2 整合 ClickHouse數(shù)據(jù)庫案例解析

(2)、列式數(shù)據(jù)

SpringBoot2 整合 ClickHouse數(shù)據(jù)庫案例解析

(3)、對比分析

分析類查詢,通常只需要讀取表的一小部分列。在列式數(shù)據(jù)庫中可以只讀取需要的數(shù)據(jù)。數(shù)據(jù)總是打包成批量讀取的,所以壓縮是非常容易的。同時數(shù)據(jù)按列分別存儲這也更容易壓縮。這進一步降低了I/O的體積。由于I/O的降低,這將幫助更多的數(shù)據(jù)被系統(tǒng)緩存。

二、整合SpringBoot框架

該案例基于:Druid連接池和mybatis進行整合。Druid 1.1.10 版本 SQL Parser對clickhouse的開始提供支持。

1、核心依賴

<dependency>
  <groupId>ru.yandex.clickhouse</groupId>
  <artifactId>clickhouse-jdbc</artifactId>
  <version>0.1.53</version>
</dependency>

2、配屬數(shù)據(jù)源

spring:
 datasource:
  type: com.alibaba.druid.pool.DruidDataSource
  click:
   driverClassName: ru.yandex.clickhouse.ClickHouseDriver
   url: jdbc:clickhouse://127.0.0.1:8123/default
   initialSize: 10
   maxActive: 100
   minIdle: 10
   maxWait: 6000

3、Druid連接池配置

@Configuration
public class DruidConfig {
  @Resource
  private JdbcParamConfig jdbcParamConfig ;
  @Bean
  public DataSource dataSource() {
    DruidDataSource datasource = new DruidDataSource();
    datasource.setUrl(jdbcParamConfig.getUrl());
    datasource.setDriverClassName(jdbcParamConfig.getDriverClassName());
    datasource.setInitialSize(jdbcParamConfig.getInitialSize());
    datasource.setMinIdle(jdbcParamConfig.getMinIdle());
    datasource.setMaxActive(jdbcParamConfig.getMaxActive());
    datasource.setMaxWait(jdbcParamConfig.getMaxWait());
    return datasource;
  }
}

4、參數(shù)配置類

@Component
@ConfigurationProperties(prefix = "spring.datasource.click")
public class JdbcParamConfig {
  private String driverClassName ;
  private String url ;
  private Integer initialSize ;
  private Integer maxActive ;
  private Integer minIdle ;
  private Integer maxWait ;
  // 省略 GET 和 SET
}

這樣整合代碼就完成了。

三、操作案例演示

1、Mapper接口

public interface UserInfoMapper {
  // 寫入數(shù)據(jù)
  void saveData (UserInfo userInfo) ;
  // ID 查詢
  UserInfo selectById (@Param("id") Integer id) ;
  // 查詢?nèi)?  List<UserInfo> selectList () ;
}

這里就演示簡單的三個接口。

2、Mapper.xml文件

<mapper namespace="com.click.house.mapper.UserInfoMapper">
  <resultMap id="BaseResultMap" type="com.click.house.entity.UserInfo">
    <id column="id" jdbcType="INTEGER" property="id" />
    <result column="user_name" jdbcType="VARCHAR" property="userName" />
    <result column="pass_word" jdbcType="VARCHAR" property="passWord" />
    <result column="phone" jdbcType="VARCHAR" property="phone" />
    <result column="email" jdbcType="VARCHAR" property="email" />
    <result column="create_day" jdbcType="VARCHAR" property="createDay" />
  </resultMap>
  <sql id="Base_Column_List">
    id,user_name,pass_word,phone,email,create_day
  </sql>
  <insert id="saveData" parameterType="com.click.house.entity.UserInfo" >
    INSERT INTO cs_user_info
    (id,user_name,pass_word,phone,email,create_day)
    VALUES
    (#{id,jdbcType=INTEGER},#{userName,jdbcType=VARCHAR},#{passWord,jdbcType=VARCHAR},
    #{phone,jdbcType=VARCHAR},#{email,jdbcType=VARCHAR},#{createDay,jdbcType=VARCHAR})
  </insert>
  <select id="selectById" parameterType="java.lang.Integer" resultMap="BaseResultMap">
    select
    <include refid="Base_Column_List" />
    from cs_user_info
    where id = #{id,jdbcType=INTEGER}
  </select>
  <select id="selectList" resultMap="BaseResultMap" >
    select
    <include refid="Base_Column_List" />
    from cs_user_info
  </select>
</mapper>

這里 create_day 是以字符串的方式在轉(zhuǎn)換,這里需要注意下。

3、控制層接口

@RestController
@RequestMapping("/user")
public class UserInfoController {
  @Resource
  private UserInfoService userInfoService ;
  @RequestMapping("/saveData")
  public String saveData (){
    UserInfo userInfo = new UserInfo () ;
    userInfo.setId(4);
    userInfo.setUserName("winter");
    userInfo.setPassWord("567");
    userInfo.setPhone("13977776789");
    userInfo.setEmail("winter");
    userInfo.setCreateDay("2020-02-20");
    userInfoService.saveData(userInfo);
    return "sus";
  }
  @RequestMapping("/selectById")
  public UserInfo selectById () {
    return userInfoService.selectById(1) ;
  }
  @RequestMapping("/selectList")
  public List<UserInfo> selectList () {
    return userInfoService.selectList() ;
  }
}

四、源代碼地址

GitHub·地址

https://github.com/cicadasmile/middle-ware-parent

GitEE·地址

https://gitee.com/cicadasmile/middle-ware-parent

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。

向AI問一下細節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI