溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Apache Hawq-使用中遇到的問題和解決方法

發(fā)布時間:2020-07-07 11:51:08 來源:網(wǎng)絡(luò) 閱讀:932 作者:Lynn_Yuan 欄目:大數(shù)據(jù)

\df 查看函數(shù)列表
\df+ 查看自定義函數(shù)

\dc 查看轉(zhuǎn)換
\dc+

\l 查看數(shù)據(jù)庫列表

\d table 查看表信息
\d+ table 查看表詳細(xì)信息

select * from information_schema.schemata;
  1. HAWQ空值問題:
    HAWQ導(dǎo)入數(shù)據(jù)時,默認(rèn)情況下空值必須使用"\N"來表示

2.hawq load導(dǎo)入csv數(shù)據(jù)時,數(shù)據(jù)文件200G,啟用一個gpfdist節(jié)點,花費時間1個小時40分鐘,報錯。
原因可能是內(nèi)存不足。

drop table t1;
create table t1(id int, mac varchar(20), year int) 
with (appendonly=true,orientation=parquet,compresstype=snappy, bucketnum=18)
distributed by(mac)
PARTITION BY RANGE (year)
( START (2001)INCLUSIVE END (2003)EXCLUSIVE EVERY (1),
  DEFAULT PARTITION extra );
```

ALTER TABLE t1 SPLIT DEFAULT PARTITION
START (2003) INCLUSIVE
END (2004) EXCLUSIVE
INTO (PARTITION y2003, default partition);

報錯:

NOTICE: exchanged partition "extra" of relation "t1" with relation "pg_temp_689110"
NOTICE: dropped partition "extra" for relation "t1"
ERROR: bucketnum requires a numeric value

解決方法: 去掉指定的bucketnum

set default_hash_table_bucket_number=9;
drop table t1;
create table t1(id int, mac varchar(20), year int)
with (appendonly=true,orientation=parquet,compresstype=snappy)
distributed by(mac)
PARTITION BY RANGE (year)
( START (2001)INCLUSIVE END (2003)EXCLUSIVE EVERY (1),
DEFAULT PARTITION extra );

ALTER TABLE t1 SPLIT DEFAULT PARTITION
START (2003) INCLUSIVE
END (2004) EXCLUSIVE
INTO (PARTITION y2003, default partition);
set default_hash_table_bucket_number=18;

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI