干貨|可視化分析 web 訪問日志

內(nèi)容目錄

• Python 基礎
• 使用模塊介紹
• 可視化組件 echarts 介紹
• Web 訪問日志
• 代碼解讀

  講師：KK

多語言混搭開發(fā)工程師，多年 PHP、Python 項目開發(fā)經(jīng)驗，曾就職 360、綠盟科技，7年工作經(jīng)驗。擅長于 Web 安全開發(fā)、性能優(yōu)化、分布式應用開發(fā)&設計等多方面，51Reboot 金牌講師。

Python 基礎

• 數(shù)值、字符串、列表、字典、文件的使用
• with 關鍵字使用
• 函數(shù)、lambda 函數(shù)、sorted
• 時間類型轉(zhuǎn)化

時間類型轉(zhuǎn)化

統(tǒng)計 list 中每個元素出現(xiàn)的次數(shù)

languages = ['python', 'java', 'python', 'c', 'c++', 'go', 'c#', 'c++', 'lisp', 'c', 'javascript', 'java', 'python', 'matlab', 'python', 'go', 'java']

常用模塊

• os/os.path 系統(tǒng)/文件路徑操作

  • os.mkdir/os.rmdir/os.unlink/os.listdir

  • os.path.join/os.path.abspath/os.path.dirname/os.path.exists

• argparse 命令行參數(shù)解析

  • add_argument(short_name, full_name, type, desc, default, help, choices, nargs, action)

• shutil 文件/文件夾操作

  • shutil.copy2/shutil.copytree/shutil.rmtree

• logging 日志記錄

  • logging.basicConfig(level, format, filename, filemode)

  • https://www.jianshu.com/p/4a801f61ecda

• jinja2 模板引擎，用于根據(jù)模板生成文件

  • 使用步驟(3步走)

                * 創(chuàng)建加載器
                * 獲取模板
                * 渲染

• 模板語言

  • 打印變量
  • 流程控制（條件、循環(huán)）
  • 過濾器
  • 模板繼承
• geoip2 用于 maxmind 二進制庫 mmdb 查詢
  • 打開文件
  • 獲取 ip 信息(國家、城市、地理位置等)
  • 關閉文件

可視化組件 echarts 介紹

• 項目地址：http://echarts.baidu.com/echarts2/
• 項目介紹：可視化JS組件
• 目前主要版本：2.0 & 3.0
• 使用步驟（3 + 3）：http://echarts.baidu.com/echarts2/doc/start.html
• 常用圖形
  • 餅狀圖
  • 曲線圖
  • 柱狀圖
  • 儀表盤
  • 地圖
  • K 線圖
  • …

Web 訪問日志

• Web 訪問日志是 web 服務器記錄的網(wǎng)站被訪問的過程日志
• 日志屬性
  • 什么時候
  • 什么人
  • 通過什么工具
  • 以什么方式
  • 訪問了什么資源
  • 結(jié)果是什么（狀態(tài)/返回數(shù)據(jù)大?。?/li>
• 每天的點擊量、總點擊數(shù)量
  • 每天的日志行數(shù)、日志的總行數(shù)（每天的日志行數(shù)之和）
• 每天的瀏覽者數(shù)量、總瀏覽者數(shù)量
  • 每天的不重復的 IP 的數(shù)量
  • 總的不重復的 IP 數(shù)量（每天不重復的 IP 數(shù)量之和？？？）
• 發(fā)生錯誤的請求有多少次，狀態(tài)碼分布情況
  • 每種狀態(tài)碼出現(xiàn)的次數(shù)
• 每天流量大小
  • 每天的日志中每行流量之和
  • 總的流量之和（每天流量之和）
• 訪問地域分布
  • 根據(jù) IP 獲取地理位置
• 發(fā)生訪問次數(shù)最多 TOP N IP 列表

• 通用日志的格式
  

• 組合日志格式
  • 127.0.0.1 - - [14/May/2017:12:51:13 +0800] "GET /index.html HTTP/1.1" 200 4286 "http://127.0.0.1/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36“

遠程主機 IP - - 請求時間 時區(qū) 方法 資源 協(xié)議 狀態(tài)碼 發(fā)送字節(jié) referer 字符 瀏覽器信息

一些重點代碼的解讀

• 程序入口
  

• 主程序
  

• 每天統(tǒng)計項
  

• 總統(tǒng)計項
  

• 模板頁面（顯示內(nèi)容）
  

• 模板頁面（echart）
  

• 模板頁面（控制流程）
  

更多項目代碼分享結(jié)束后資料一并分享給大家。

獲取資料