filebeat如何處理mysql日志文件過大

Filebeat 是一個(gè)輕量級(jí)的日志收集工具，用于將各種來源的日志轉(zhuǎn)發(fā)到 Elasticsearch 或其他輸出

1. 配置 Filebeat：

在 Filebeat 的配置文件（通常為 filebeat.yml）中，您需要設(shè)置 input 部分以指定 MySQL 日志文件的路徑。例如：

filebeat.inputs:
- type: log
  paths:
    - /var/log/mysql/mysql-slow.log

2. 使用日志旋轉(zhuǎn)：

對(duì)于 MySQL，您可以使用日志旋轉(zhuǎn)功能來管理日志文件的大小。這意味著當(dāng)日志文件達(dá)到特定大小時(shí)，MySQL 會(huì)自動(dòng)創(chuàng)建一個(gè)新的日志文件并關(guān)閉舊的日志文件。您可以在 MySQL 配置文件（通常為 my.cnf 或 my.ini）中設(shè)置日志旋轉(zhuǎn)參數(shù)。例如：

[mysqld]
slow_query_log=1
slow_query_log_file=/var/log/mysql/mysql-slow.log
long_query_time=1
log_slow_rate_limit=1000
log_slow_verbosity=query_plan,innodb

# Log rotation settings
log_bin=mysql-bin
max_binlog_size=100M
binlog_expire_logs_seconds=86400

這里，我們?cè)O(shè)置了 max_binlog_size 為 100MB，當(dāng)日志文件達(dá)到這個(gè)大小時(shí)，MySQL 會(huì)自動(dòng)創(chuàng)建一個(gè)新的日志文件。binlog_expire_logs_seconds 設(shè)置了日志文件的保留時(shí)間，這里設(shè)置為 86400 秒（1 天）。

3. 清理舊日志文件：

您可以使用操作系統(tǒng)的定時(shí)任務(wù)（如 cron）來定期刪除或壓縮舊的日志文件。例如，您可以創(chuàng)建一個(gè)名為 cleanup_logs.sh 的腳本，內(nèi)容如下：

#!/bin/bash
find /var/log/mysql/ -name "mysql-slow.*" -mtime +7 -exec gzip {} \;

這個(gè)腳本會(huì)查找 /var/log/mysql/ 目錄下所有名為 mysql-slow.* 的文件，如果它們的修改時(shí)間超過 7 天，就會(huì)將它們壓縮為 .gz 格式。然后，您可以在 crontab 中添加一個(gè)定時(shí)任務(wù)來運(yùn)行此腳本：

0 0 * * * /path/to/cleanup_logs.sh

這將每天凌晨 0 點(diǎn)運(yùn)行腳本。

通過上述方法，您可以有效地處理 MySQL 日志文件過大的問題，確保 Filebeat 能夠正常收集和傳輸日志。