前面
一篇文章
寫到如何通過(guò)gp_segment_id來(lái)判斷表的DK值設(shè)置有數(shù)據(jù)，下面是通過(guò)查看占用空間的量來(lái)檢查分配不平衡的表，并重新調(diào)整著DK值。我的一臺(tái)greenplum機(jī)器，其中的一個(gè)節(jié)點(diǎn)的數(shù)據(jù)量比其它的節(jié)點(diǎn)多很多，說(shuō)明數(shù)據(jù)分布的不平衡，如下所示：
以sdw16為例:
$du -sh /gpdata{1,2}/data/gp*
347G??? /gpdata1/data/gp30
412G??? /gpdata1/data/gp62
357G??? /gpdata1/data/gp63
336G??? /gpdata2/data/gp31
338G??? /gpdata2/data/gp94
343G??? /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk? '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出單文件超過(guò)200MB的,且統(tǒng)計(jì)了超過(guò)1GB的文件出現(xiàn)的次數(shù)(因?yàn)镻G設(shè)置單文件大小不超過(guò)1GB,超過(guò)1GB的文件,會(huì)分成xxx.1,xxx.2的形式存在)。腳本里面的最后一列就是文件名，也即pg_class里面的relfilenode。gp_distribution_policy里面存儲(chǔ)的是DK值的策略分布，pg_attribute里面存放著表的具體列的信息。下面的SQL就是找出文件所對(duì)應(yīng)的表以及DK的定義。
$du -sh /gpdata{1,2}/data/gp*
347G??? /gpdata1/data/gp30
412G??? /gpdata1/data/gp62
357G??? /gpdata1/data/gp63
336G??? /gpdata2/data/gp31
338G??? /gpdata2/data/gp94
343G??? /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk? '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出單文件超過(guò)200MB的,且統(tǒng)計(jì)了超過(guò)1GB的文件出現(xiàn)的次數(shù)(因?yàn)镻G設(shè)置單文件大小不超過(guò)1GB,超過(guò)1GB的文件,會(huì)分成xxx.1,xxx.2的形式存在)。腳本里面的最后一列就是文件名，也即pg_class里面的relfilenode。gp_distribution_policy里面存儲(chǔ)的是DK值的策略分布，pg_attribute里面存放著表的具體列的信息。下面的SQL就是找出文件所對(duì)應(yīng)的表以及DK的定義。
select
a.oid,a.relname,b.nspname,c.attrnums,d.attname
from
pg_class a
inner
join
pg_namespace b
on
a.relnamespace
=
b.oid
inner
join
gp_distribution_policy c
on
a.oid
=
c.localoid
inner
join
pg_attribute d
on
a.oid
=
d.attrelid
where
a.relfilenode
=
[
filename
]
and
d.attnum
=any
(c.attrnums)
接著，查看表的數(shù)據(jù)大致的情況，重新設(shè)置DK值；然后通過(guò)gp_segment_id分布的情況進(jìn)行檢驗(yàn)，最終vacuum full+analyze，把該表調(diào)整到最佳狀態(tài)。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
