shell腳本 mysql-binlog分析
2021-12-13 17:50:10

一.簡介

介紹
分析binlog工具，現(xiàn)有功能：

1. 基于業(yè)務(wù)表分析統(tǒng)計各個表的dml的次數(shù)。
2. 各個業(yè)務(wù)表的最后訪問時間。
3. 各dml總的次數(shù)。
4. 該binlog的事務(wù)總數(shù)。
5. 基于業(yè)務(wù)表的binlog to sql。
6. 其他功能敬請期待。

二.使用

適用：centos6+
語言：中文
注意：請先寫一個腳本來啟動java等程序

1.下載
git clone https://gitee.com/mo-shan/analysis_binlog
cd analysis_binlog

2.更改路徑，將這里的mysqlbinlog_path改成mysqlbinlog工具的絕對路徑,否則可能會因版本太低導(dǎo)致錯誤
sed -i 's#^mysqlbinlog=.*#mysqlbinlog="/mysqlbinlog_path"#g' bin/analysis_binlog

將這里的analysis_binlog_path改成analysis_binlog的家目錄的絕對路徑
sed -i 's#^work_dir=.*#work_dir="/analysis_binlog_path"#g' bin/analysis_binlog

為analysis_binlog配置環(huán)境變量(選做)
chmod +x bin/analysis_binlog
echo "export PATH=$(pwd)/bin:${PATH}" >> ${HOME}/.bashrc

3.查看幫助
bash analysis_binlog -h

使用測試-1

1.統(tǒng)計業(yè)務(wù)表的dml情況
根據(jù)需求執(zhí)行

• -bfile: 指定binlog文件, 支持多個文件并行分析, 多個文件用逗號相隔, 需要并行分析時請結(jié)合-w參數(shù)使用
• -w : 指定并行數(shù), 當(dāng)需要分析多個binlog文件時該參數(shù)有效, 默認(rèn)是1
• -t : 指定顯示結(jié)果的格式/內(nèi)容, 供選選項有”detail|simple”. 當(dāng)指定detail的時候結(jié)果較為詳細, 會打印詳細的分析過程, 消耗時間也不直觀, simple只做了統(tǒng)計工作
• -s : 指定排序規(guī)則, 供選選項有”insert|update|delete”. 默認(rèn)會把統(tǒng)計結(jié)果做一個排序, 按照表的維度統(tǒng)計出insert update delete的次數(shù), 并按照次數(shù)大小排序(默認(rèn)insert)

注: 其他參數(shù)使用請參見幫助手冊 bash analysis_binlog -h

2.配置了環(huán)境變量使用
analysis_binlog -bfile=/data/mysql/binlog/3306/mysql-bin.000798,/data/mysql/binlog/3306/mysql-bin.000799 -w=2 -t=simple -s=update

未配置環(huán)境變量使用
bash bin/analysis_binlog -bfile=/data/mysql/binlog/3306/mysql-bin.000798,/data/mysql/binlog/3306/mysql-bin.000799 -w=2 -t=simple -s=update

3.結(jié)果查詢
分析完畢會在analysis_binlog家目錄下的res目錄下保存一個[binlog_file_name.res]文件，使用文本工具打開即可, 建議使用cat, tail, more, 如下結(jié)果展示, 會按照表的維度做個統(tǒng)計, 然后按照update的次數(shù)排序, Last Time表示該表的最后一次操作
cat mysql-bin.000798.res

使用測試-2

1.binlog to sql
根據(jù)需求執(zhí)行

• —binlog2sql : 表示將binlog分析成sql。
• -sw : 表示將結(jié)果按照業(yè)務(wù)表的維度保存，如果是file則將所有分析結(jié)果都保存在一個文件。
• —start-datetime : 開始時間。具體使用請參照mysqlbinlog工具的—start-datetime參數(shù)的使用
• —stop-datetime : 結(jié)束時間。具體使用，請參照mysqlbinlog工具的—stop-datetime參數(shù)的使用
• —start-position : 開始的pos值。具體使用，請參照mysqlbinlog工具的—start-position參數(shù)的使用
• —stop-position : 結(jié)束的pos值。具體使用，請參照mysqlbinlog工具的—stop-position參數(shù)的使用

注: 其他參數(shù)使用請參見幫助手冊 bash analysis_binlog -h

2.執(zhí)行
bash bin/analysis_binlog -bfile=/data/mysql/binlog/3306/mysql-bin.000808 --binlog2sql -sw=table --start-datetime="2019-04-21 9:27:10" --stop-datetime="2019-04-22 10:00:00" --start-postion=1510151 --stop-position=1512137

3.結(jié)果查詢
分析完畢會在analysis_binlog家目錄下的res目錄下保存一個[binlog_file_name_to_sql.res]文件，使用文本工具打開即可, 如果【—save-way=table】，則會在res目錄下創(chuàng)建【table】目錄，該目錄下會出現(xiàn)binlog_file_db.table.res的文件，這些文件就是保存了這個該binlog分析出來的sql語句, 如下結(jié)果展示
cat res/mysql-bin.000808_to_sql.res |more

提示

v_1.1版本引入新參數(shù)—record-type or -rt

該參數(shù)表示以什么方式統(tǒng)計，可選的方式是兩種，一是統(tǒng)計sql的個數(shù)，二統(tǒng)計事務(wù)的個數(shù)，默認(rèn)是統(tǒng)計sql的個數(shù)。

如：某表有十行記錄，現(xiàn)在執(zhí)行delete from t; 如果binlog是row格式，這時候記錄到binlog會是十個delete語句，但是是一個事務(wù)。這時候這個參數(shù)就起作用了。用戶可以按照需求并參考使用手冊使用該參數(shù)。但是需要注意的是如果一個事務(wù)里面存在多種dml，比如begin;insert into t select 1;update t2 set c=c+1;commit;對于這樣的事務(wù)，會將該事務(wù)記到t2的update操作，不會記錄到t的insert操作。