如何部署使用Intel開源的對象存儲測試套件CosBench

如何部署使用Intel開源的對象存儲測試套件CosBench，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

1.引言

我最近一直使用Ceph的對象存儲，測試方法也是五花八門，有自己用Python寫過測試腳本，也有用C++寫過。覺得既然S3是一個標準的、通用的對象存儲服務(wù)，應(yīng)該有一個測試套件來進行測試。后來在社區(qū)中看到大家采用Intel的開源軟件Cosbench進行測試，于是我也進行了部署及使用。

2.部署過程

2.1 機器準備 我使用了七臺機器，host1~host7 角色： host1：兼任controller driver host2~6 drvier

2.2 安裝包部署 將Cosbench安裝包分別解壓到各自的記錄，安裝包可以在如下地址下載： Cosbench說明

2.3 基本信息配置

• Controller配置 在 install-folder/conf中找到controller.conf配置文件，將內(nèi)容修改如下：

[controller]
drivers = 7
log_level = INFO
log_file = log/system.log
archive_dir = archive

[driver1]
name = driver1
url = http://*.11:18088/driver

[driver2]
name = driver2
url = http://*.12:18088/driver

[driver3]
name = driver3
url = http://*.13:18088/driver

[driver4]
name = driver4
url = http://*.14:18088/driver

[driver5]
name = driver5
url = http://*.15:18088/driver

[driver6]
name = driver6
url = http://*.16:18088/driver

[driver7]
name = driver7
url = http://*.17:18088/driver

• driver配置
  在各機器的 /install-folder/conf/中找到drvier.conf，并配置內(nèi)容如下：

[driver]
name=hostip:18088
url=http://hostip:18088/driver

2.4 進程啟動
在host1中，啟動腳本start-all.sh 在host2~7中，啟動腳本start-driver.sh

2.5 界面展示

##3 Cosbench使用 Cosbench的使用核心在于測試的配置文件編寫，工具根據(jù)配置文件對整體集群進行讀寫測試。此處上一個配置文件示例：

<?xml version="1.0" encoding="UTF-8" ?>
<workload name="s3-sample" description="sample benchmark for s3">

  <storage type="s3" config="accesskey= ;secretkey= ;proxyhost=;proxyport=;endpoint=" />

  <workflow>

    <workstage name="init">
      <work type="init" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
    </workstage>

    <workstage name="prepare">
      <work type="prepare" workers="7" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,10);sizes=c(500)KB" />
    </workstage>

    <workstage name="main">
      <work name="main" workers="8" runtime="30">
     <!--   <operation type="read" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(1,10)" />-->
        <operation type="write" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(500)KB" />  
      </work>
    </workstage>

    <workstage name="cleanup">
      <work type="cleanup" workers="1" config="cprefix=s3testqwer;containers=r(1,2);objects=r(1,20)" />
    </workstage>

    <workstage name="dispose">
      <work type="dispose" workers="1" config="cprefix=s3testqwer;containers=r(1,2)" />
    </workstage>

  </workflow>

</workload>

3.1 寫測試 此處我針對寫測試進行一個簡單的說明 在main階段配置wokrer 數(shù)量，控制輸入壓力， runtime控制程序運行時間，在operation的SIZE處設(shè)置文件大小。

<workstage name="main">
      <work name="main" workers="200" runtime="100">
        <operation type="write" ratio="100" config="cprefix=s3testqwer;containers=u(1,2);objects=u(11,20);sizes=c(500)KB" />  
      </work>
    </workstage>

3.2 寫結(jié)果

在配置文件的endpoint屬性中配置時，請寫Http://ip:port的方式，不過不標明http，他會默認采用https的方式，我之前沒有配置Http時，日志報錯如下：

2016-02-24 11:51:34,005 [INFO] [Log4jLogManager] - will append log to file /home/xuwenping/cosbench/cosbench/0.4.2.c3/log/mission/M2116744222.log
2016-02-24 11:51:34,225 [INFO] [NoneStorage] - performing PUT at /s3testqwer1
2016-02-24 11:51:38,436 [WARN] [S3Storage] - below exception encountered when creating bucket s3testqwer1: Unable to execute HTTP request: Connection to https://ip refused
2016-02-24 11:51:38,442 [INFO] [NoneStorage] - performing PUT at /s3testqwer2
2016-02-24 11:51:42,650 [WARN] [S3Storage] - below exception encountered when creating bucket s3testqwer2: Unable to execute HTTP request: Connection to https://ip refused

日志中寫道，連接https://...... 時被拒絕。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。