如何使用日志審計(jì)查看MaxCompute執(zhí)行過(guò)哪些操作

這篇文章主要為大家展示了“如何使用日志審計(jì)查看MaxCompute執(zhí)行過(guò)哪些操作”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何使用日志審計(jì)查看MaxCompute執(zhí)行過(guò)哪些操作”這篇文章吧。

背景

在很多的數(shù)據(jù)開發(fā)場(chǎng)景下，我們需要記錄每個(gè)子賬戶都做了什么，在哪個(gè)項(xiàng)目執(zhí)行了具體的操作，出問(wèn)題了需要審計(jì)是誰(shuí)干的，什么時(shí)間，怎么操作的。例如，有人惡意刪除數(shù)據(jù)、有人將數(shù)據(jù)下載下來(lái)、誰(shuí)上傳的資源、有人給沒(méi)有權(quán)限的人添加了權(quán)限、 等等。這些動(dòng)作需要管理、跟蹤。本文通過(guò)如何在ActionTrail控制臺(tái)進(jìn)行搜索來(lái)跟蹤我們?cè)贛axCompute中執(zhí)行的動(dòng)作。

日志審計(jì)和Informattion_Schema（元數(shù)據(jù)）對(duì)比

1.日志審計(jì)記錄的是用戶的各項(xiàng)操作行為
2.日志審計(jì)記錄的是當(dāng)前賬號(hào)下的所有項(xiàng)目，Informattion_Schema記錄的是當(dāng)前project
3.如果我們要查看用戶的行為信息可以去日志審計(jì)查看，如果查詢一些靜態(tài)信息可以去元數(shù)據(jù)查看比如：表的擁有者，資源的擁有者
4.Informattion_Schema中的TASKS_HISTORY表可以記錄已完成的作業(yè)歷史，但是沒(méi)有對(duì)應(yīng)的事件名稱不方便查找。比如查找刪除表，我們可以直接去ActionTrail直接搜索DropTable 就可以查到
5.MaxCompute記錄用戶的各項(xiàng)操作行為是實(shí)時(shí)投遞到ActionTrail中的，操作記錄會(huì)在10分鐘內(nèi)被操作審計(jì)追蹤并記錄。操作記錄保存的是180天的記錄，目前ActionTrail支持搜索，如果需要對(duì)日志進(jìn)行更精確的分析和保存更長(zhǎng)的時(shí)間，可以投遞到oss上或這個(gè)sls上同步到MaxCompute進(jìn)行分析
6.如果我們要統(tǒng)計(jì)一天當(dāng)中耗費(fèi)最高的作業(yè)可以去Informattion_Schema中的task_histoy表中查看

--統(tǒng)計(jì)一天耗費(fèi)cu最大的前十個(gè)任務(wù)信息select * from information_Schema.TASKS_HISTORY where   ds = 20200812 order by cost_cpu limit 10;--統(tǒng)計(jì)一天每個(gè)用戶使用的cuselect owner_name,SUM(cost_cpu) from information_Schema.TASKS_HISTORY where   ds = 20200814 group by owner_id,owner_name;

如何使用ActionTrail進(jìn)行搜索

我們列舉幾個(gè)簡(jiǎn)單的場(chǎng)景進(jìn)行搜索
首先登錄到ActionTrail控制臺(tái)的歷史事件查詢頁(yè)面選擇要查看的地域。

如上圖 事件類型：所有類型，時(shí)間：選擇對(duì)應(yīng)的時(shí)間 產(chǎn)品類型：MaxCompute

查看子賬號(hào)做過(guò)什么
用戶名：子賬號(hào)的名字
查看當(dāng)前任務(wù)是被誰(shuí)殺掉的
事件名稱：jobChange 資源名稱：instanceId(具體的任務(wù)id)
查看表做過(guò)什么操作
資源名稱：表名字
查看表被誰(shuí)讀取過(guò)
事件名稱：ReadTableData 資源名稱：表名字
查看表被誰(shuí)刪除：
事件名稱：DropTable 資源名稱：表名字
查看表被誰(shuí)下載過(guò)
事件名稱：DownloadTable（直接使用tunnel download 表名下載） InstanceTunnel（通過(guò)instanceuid 下載）資源名稱：表名字
查看表什么時(shí)間上傳的數(shù)據(jù)
事件名稱：UploadTable（包括數(shù)據(jù)集成）資源名稱：表名字
查看函數(shù)創(chuàng)建
事件名稱：CreateFunction 資源名稱：函數(shù)名字
查看資源創(chuàng)建事件
事件名稱：CreateResource 資源名稱：資源名字
查看創(chuàng)建角色
事件名稱：CreateRole 資源名稱：角色名稱
查看授權(quán)事件
事件名稱：GrantRole 資源名稱：角色名稱

其中source_ip字段：通過(guò)客戶端或者sdk執(zhí)行的是本機(jī)IP。通過(guò)DataWorks執(zhí)行的不是本機(jī)IP
correlation_id字段：對(duì)應(yīng)的instanceid,我們可以到對(duì)應(yīng)的項(xiàng)目執(zhí)行 wait instanceid查看任務(wù)的執(zhí)行具體情況

以上是“如何使用日志審計(jì)查看MaxCompute執(zhí)行過(guò)哪些操作”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！