python實現(xiàn)tail -f 功能的示例

小編給大家分享一下python實現(xiàn)tail -f 功能的示例，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

tailf與tail -f類似：當文件不增長時并不訪問文件
tail -f：只跟蹤文件內(nèi)容
tail -F：文件內(nèi)容與文件名都跟蹤

這篇文章最初是因為reboot的群里，有人去面試，筆試題有這個題，不知道怎么做，什么思路，就發(fā)群里大家討論

我想了一下，簡單說一下我的想法吧，當然，也有很好用的pyinotify模塊專門監(jiān)聽文件變化，不過我更想介紹的，是解決的思路，畢竟作為面試官，還是想看到一下解決問題的思路,而且我覺得這一題的難點不在于監(jiān)控文件增量，而在于怎么打印最后面10行

希望大家讀這篇文章前，對python基礎、處理文件和常用模塊有一個簡單的了解，知道下面幾個名詞是啥

open('a.txt')
file.seek
file.tell
time.sleep()

下面思路限于我個人知識，免不了有錯誤和考慮不周的，希望大家有更好的方法提出來，我隨時優(yōu)化代碼,題目的感覺沒啥太多的坑，下面讓天真爛漫的蝸牛教大家用python的思路

怎么用python實現(xiàn)

其實思路也不難啦

• 打開這個文件，指針移到最后

• 每隔一秒就嘗試readline一下，有內(nèi)容就打印出來，沒內(nèi)容就sleep

• 大概就是這么個意思

監(jiān)聽文件

思路如下：

• 用open打開文件

• 用seek文件指針，給大爺把跳到文件最后面

• while True進行循環(huán)
  

持續(xù)不停的readline，如果能讀到內(nèi)容，打印出來即可

代碼呼之欲出

with open('test.txt') as f:
  f.seek(0,2)
  while True:
    last_pos = f.tell()
    line = f.readline()
    if line:
      print line

代碼說明

• seek第二個參數(shù)2，意思就是從文件結尾處開始seek，更標準的寫法使用os模塊下面的SEEK_END，可讀性更好

• 只寫出了簡單的邏輯，代碼簡單粗暴，如果這個題目是10分的話，最多也就拿4分吧,不能再多了

優(yōu)化點

• print有缺陷，每次都是新的一行，換成sys.stdout.write(line)更和諧

• 文件名傳參，不能寫死

• 直接打印可以當成默認行為，具體要做什么，可以寫成函數(shù)處理，這樣我們就可以把新行做其他處理，比如展示在瀏覽器里

• 加上容錯處理，比如文件不存在會報錯

• while True一直都文件，比較耗性能，每讀一次，間隔一秒比較靠譜

• 調(diào)用time.sleep(1)

• 用類來組織代碼

實例代碼如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self):
    try:
      with open(self.file_name) as f:
        f.seek(0,2)
        while True:
          line = f.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,e:
      print '打開文件失敗，囧，看看文件是不是不存在，或者權限有問題'
      print e

使用方法:

# 使用默認的sys.stdout.write打印到屏幕
py_tail = Tail('test.txt')
py_tail.follow()
# 自己定義處理函數(shù)
def test_tail(line):
  print 'xx'+line+'xx'
py_tail1 = Tail('test.txt', test_tail)
py_tail1.follow()

咦 等等，tail -f 默認還會打印最后10行，這個好像才是這個題目的難點所在，眾所周知，python里讀文件指針，只能移動到固定位置，不能判斷是哪一行，囧，先實現(xiàn)簡單的，逐漸加強吧

默認打印最后10行

現(xiàn)在這個代碼，大概能拿6分啦，我們還有一個功能沒做，那就是打印最后n行，默認是10行，現(xiàn)在把這個功能加上，加一個函數(shù)就行啦

文件小的時候

我們知道，readlines可以獲取所有內(nèi)容，并且分行，代碼呼之欲出，獲取list最后10行很簡單有么有,切片妥妥的

# 演示代碼，說明核心邏輯，完整代碼在下面
last_lines = f.readlines()[-10:]
for line in last_lines:
  self.callback(line)

此時代碼變成這樣了

import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self,n=10):
    try:
      with open(self.file_name) as f:
        self._file = f
        self.showLastLine(n)
        self._file.seek(0,2)
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
    except Exception,e:
      print '打開文件失敗，囧，看看文件是不是不存在，或者權限有問題'
      print e
  def showLastLine(self, n):
    last_lines = self._file.readlines()[-10:]
    for line in last_lines:
      self.callback(line)

更進一步：大的日志怎么辦

此時代碼有7分時很隨意啦，但是如果文件特別大呢，特別是日志文件，很容易幾個G，我們只需要最后幾行，全部讀出來內(nèi)存受不了，所以我們要繼續(xù)優(yōu)化showLastLine函數(shù)，我覺得這才是這題的難點所在

大概的思路如下

我先估計日志一行大概是100個字符，注意，我只是估計一個大概，多了也沒關系，我們只是需要一個初始值，后面會修正

我要讀十行，所以一開始就seek到離結尾1000的位置seek(-1000,2)，把最后1000個字符讀出來，然后有一個判斷

如果這1000個字符長度大于文件長度，不用管了 屬于級別1的情況，直接read然后split

如果1000個字符里面的換行符大于10，說明1000個字符里，大于10行，那也好辦，處理思路類似級別1，直接split取后面十個

問題就在于 如果小于10怎么處理

比如1000個里，只有四個換行符，說明一行大概是1000/4=250個字符，我們還缺6行，所以我們再讀250*5=1500，一共有2500的大概比較靠譜，然后在對2500個字符進行相同的邏輯判斷，直到讀出的字符里，換行符大于10，讀取結束

邏輯清晰以后，代碼就呼之欲出啦

加上注釋的版本

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self,n=10):
    try:
      # 打開文件
      with open(self.file_name) as f:
        self._file = f
        self._file.seek(0,2)
        # 存儲文件的字符長度
        self.file_length = self._file.tell()
        # 打印最后10行
        self.showLastLine(n)
        # 持續(xù)讀文件 打印增量
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,e:
      print '打開文件失敗，囧，看看文件是不是不存在，或者權限有問題'
      print e
  def showLastLine(self, n):
    # 一行大概100個吧 這個數(shù)改成1或者1000都行
    len_line = 100
    # n默認是10，也可以follow的參數(shù)傳進來
    read_len = len_line*n
    # 用last_lines存儲最后要處理的內(nèi)容
    while True:
      # 如果要讀取的1000個字符，大于之前存儲的文件長度
      # 讀完文件，直接break
      if read_len>self.file_length:
        self._file.seek(0)
        last_lines = self._file.read().split('\n')[-n:]
        break
      # 先讀1000個 然后判斷1000個字符里換行符的數(shù)量
      self._file.seek(-read_len, 2)
      last_words = self._file.read(read_len)
      # count是換行符的數(shù)量
      count = last_words.count('\n')
      if count>=n:
        # 換行符數(shù)量大于10 很好處理，直接讀取
        last_lines = last_words.split('\n')[-n:]
        break
      # 換行符不夠10個
      else:
        # break
        #不夠十行
        # 如果一個換行符也沒有，那么我們就認為一行大概是100個
        if count==0:
          len_perline = read_len
        # 如果有4個換行符，我們認為每行大概有250個字符
        else:
          len_perline = read_len/count
        # 要讀取的長度變?yōu)?500，繼續(xù)重新判斷
        read_len = len_perline * n
    for line in last_lines:
      self.callback(line+'\n')
if __name__ == '__main__':
  py_tail = Tail('test.txt')
  py_tail.follow(20)

效果如下，終于可以打印最后幾行了，大家可以試一下，無論日志每行只有1個，還是每行有300個字符，都是可以打印最后10行的

能做到這個地步，一般的面試官就直接被你搞定了，這個代碼大概8分吧，如果還想再進一步，還有一些可以優(yōu)化的地方，代碼放github上了，有興趣的可以拿去研究

待優(yōu)化：留給大家作為擴展

• 如果你tail -f的過程中，日志被備份清空或者切割了，怎么處理

• 其實很簡單，你維護一個指針位置，如果下次循環(huán)發(fā)現(xiàn)文件指針位置變了，從最新的指針位置開始讀就行

• 具體每種錯誤的類型

我這里只是簡單的try 可以寫個函數(shù)，把文件不存在，文件沒權限這些報錯信息分開

性能小優(yōu)化，比如我第一次讀了1000，只有4行，我大概估計每行250個字符，總體需要2500行，下次沒必要直接讀2500個，而是讀1500行和之前1000行拼起來即可

最后大殺器 如果寫出來這個，基本面試官會直接

打死你

import os
def tail(file_name):
  os.system('tail -f '+file_name)
tail('log.log')

以上是“python實現(xiàn)tail -f 功能的示例”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！