.net hbase怎么使用

這篇文章主要介紹“.net hbase怎么使用”，在日常操作中，相信很多人在.net hbase怎么使用問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”.net hbase怎么使用”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

一、開篇

1.背景

在大數(shù)據(jù)時代，HBase 數(shù)據(jù)庫是個繞不開的熱門話題。由于其使用 Java 作為主要開發(fā)語言，并且依賴大量的 Java 組件（如 Hadoop、zooKeep），使得其他技術(shù)棧想要有一個對應(yīng)的 hbase 客戶端變得有一定難度。在 .net 的世界中，一直缺乏能夠直接訪問 hbase 的客戶端。

2.歷程

Apache Thrift 作為社區(qū)內(nèi)比較有名的支持多語言的 Api 服務(wù)，可以解決跨語言訪問 HBase 數(shù)據(jù)庫的痛點。在以往的文章中業(yè)也介紹過 C#如何使用 thrift 訪問 hbase，但在真正的生產(chǎn)環(huán)境中，該方式的訪問效率和原生 Java 客戶端比起來真著實讓人心灰意冷。此外，thrift 也要求服務(wù)端和客戶端版本一致。

Protocol Buffers HBase 提供基于 Protocol 的數(shù)據(jù)訪問，這以一種相對高效緊湊的數(shù)據(jù)交換規(guī)則?；诖耍覀兡軌蛟斐鰧儆?.net 的 hbase 客戶端。

這是一個造輪子的過程，中間雖有著許多難點就不再贅述。下面直接介紹該項目的使用。

二、HBaseNet 使用

1.HBase 數(shù)據(jù)庫準備

作為項目使用演示，我們就不討論如何搭建 HBase 集群了，一切以簡單便捷為前提，直接使用別人構(gòu)建好的 docker 鏡像就可以輕松獲取 HBase 數(shù)據(jù)庫的使用。

在 dockerhub 中搜索 hbase 或者命令行：docker search hbase。結(jié)果中找到dajobe/hbase，將其 pull 到本地就行?？梢园凑兆髡呓坛踢M行部署。其核心操作也就幾個簡單命令，現(xiàn)作一簡單摘抄：

docker pull dajobe/hbase # 拉取鏡像到本地
mkdir data # 創(chuàng)建名為data的目錄
id=$(docker run --name=hbase-docker -h hbase-docker -d -v $PWD/data:/data dajobe/hbase) #將hbase-docker設(shè)置為主機名運行，并將docker容器id賦值給id

命令行docker inspect hbase-docker|grep IPAddress查看 hbase 主機地址：

"SecondaryIPAddresses": null,
"IPAddress": "172.17.0.2",
        "IPAddress": "172.17.0.2",

可以看到我的在 172.17.0.2 上，我們可以直接瀏覽器訪問http://172.17.0.2:16010/，看到habse的主頁說明部署成功。此外，最好將本地物理機的hosts修改以作映射，文件中添加一行172.17.0.2 hbase-docker即可。

2.HBaseNet 簡單演示

演示項目創(chuàng)建

首先創(chuàng)建控制臺項目dotnet new console -o HBaseNetTest，然后添加 HBaseNet 客戶端 nuget dotnet add package HBaseNet --version 0.1.0-rc2-final。

使用 AdminClient 創(chuàng)建 HBase 表

直接在主函數(shù)中寫下如下代碼:

static async Task Main(string[] args)
{
    // 注意在hosts中添加地址映射
    var ZkQuorum = "hbase-docker";
    var admin = await new AdminClient(ZkQuorum).Build();
    if (admin == null) return;
    var table = "products";
    var cols = new[] { new ColumnFamily("info") };//名為info的列簇
    var create = new CreateTableCall(table, cols)
    {
        SplitKeys = new[] { "8" }// 預(yù)分區(qū)
    };
    //簡單判斷表是否存在
    var tables = await admin.ListTableNames(new ListTableNamesCall { Regex = table });
    if (true != tables?.Any())
    {
        //使用高級客戶端創(chuàng)建products表
        var createResult = await admin.CreateTable(create);
        Console.WriteLine($"創(chuàng)建表{table}的結(jié)果:{createResult}.");
    }
    else
    {
        Console.WriteLine($"表{table}已經(jīng)存在");
    }
}

運行后控制臺輸出創(chuàng)建表products的結(jié)果:True.。我們再查看主頁http://hbase-docker:16010/，找到Tables，可以看到 products 表已經(jīng)被創(chuàng)建：

default	products	ENABLED	2	0	0	0	0	0	0	0	'products', {NAME => 'info', VERSIONS => '3', DATA_BLOCK_ENCODING => 'FAST_DIFF', BLOCKCACHE => 'False', METADATA => {'TTl' => '2147483647'}}

使用 StandardClient 進行數(shù)據(jù)的寫入和查詢

var client = await new StandardClient(ZkQuorum).Build();
if (client == null) return;
var rowKey = "123";
var values = new Dictionary<string, IDictionary<string, byte[]>>
{
    {
        "info", new Dictionary<string, byte[]>
        {
            {"key", "value".ToUtf8Bytes()}
        }
    }
};
//放入一條數(shù)據(jù)
var rs = await client.Put(new MutateCall(table, rowKey, values));
Console.WriteLine($"放入數(shù)據(jù)key:{rowKey},結(jié)果:{rs.HasProcessed}");
// 根據(jù)rowkey獲取一條數(shù)據(jù)
var getResult = await client.Get(new GetCall(table, rowKey));
Console.WriteLine($"獲取數(shù)據(jù)結(jié)果key:{rowKey}");
// 使用scanner進行數(shù)據(jù)掃描
var sc = new ScanCall(table, "1", "")
{
    NumberOfRows = 1000
};
using var scanner = client.Scan(sc);
var scanResults = new List<Result>();
while (scanner.CanContinueNext)
{
    var per = await scanner.Next();
    if (true != per?.Any()) continue;
    scanResults.AddRange(per);
}
Console.WriteLine($"掃描數(shù)據(jù)共返回結(jié)果:{scanResults.Count}行");

控制臺輸出:

放入數(shù)據(jù)key:123,結(jié)果:True
獲取數(shù)據(jù)結(jié)果key:123
掃描數(shù)據(jù)共返回結(jié)果:1行

日志配置

為了方便友好，建議還是開啟日志進行使用。這里就以使用Serilog為例，添加以下 nuget 包：

dotnet add package Serilog --version 2.10.0-dev-01226
dotnet add package Serilog.Sinks.Console --version 4.0.0-dev-00839
dotnet add package Microsoft.Extensions.DependencyInjection --version 5.0.0-preview.7.20364.11

在主函數(shù)最上面添加:

Log.Logger = new LoggerConfiguration()
    .Enrich.FromLogContext()
    .MinimumLevel.Debug()
    .WriteTo.Console(
        outputTemplate: "[{Timestamp:yyyy-MM-dd HH:mm:ss} {Level:u3}] {Message:lj}{NewLine}{Exception}")
    .CreateLogger();
HBaseConfig.Instance.ServiceProvider = new ServiceCollection()
    .AddLogging(cfg => cfg.AddSerilog(Log.Logger))
    .BuildServiceProvider();

到此，關(guān)于“.net hbase怎么使用”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>