溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
采用filebeat收集日志，日志文件頻繁rotate，造成filebeat占用文件不釋放，只要filebeat保持著被刪除文件Open狀態(tài)，操作系統(tǒng)就不釋放磁盤空間，導致可用磁盤空間逐漸減小。如下監(jiān)控圖，殺掉filebeat進程之后，磁盤占用陡然下降。
使用lsof命令查看filebeat保持著的文件資源，可以發(fā)現(xiàn)許多被filebeat占用空間的失效文件（deleted）文件。
deleted狀態(tài)的文件沒有釋放，始終占據(jù)磁盤空間
解決辦法：
查看filebeat配置文件位置： /etc/filebeat/filebeat.yml
在配置文件中添加close_timeout： 5m，保證每隔5分鐘file handler被關(guān)閉，不管是否遇到EOF符號。
需要注意的是，該close_timeout參數(shù)在Filebeat沒有處理到文件末尾而文件被刪除的情況下，會導致數(shù)據(jù)丟失。
filebeat.prospectors:
- type: log
paths:
- /opt/apps/ecm/service/storm/1.0.1/package/apache-storm-1.0.1/logs/workers-artifacts/xyz*/*/worker.log
tail_files: false
force_close_files: true
close_timeout: 5m
processors:
- add_cloud_metadata: ~
output.logstash:
hosts: ["10.10.10.10:6667"]
loadbalance: true
worker: 1
-----------------------------------------------------------------
close_rename，close_removed，close_eof，close_inactive等配置型對于（deteled）狀態(tài)處理均無效（已測試驗證）
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機網(wǎng)站二維碼
