如何使用python批量轉(zhuǎn)換文件編碼為UTF-8

這篇文章將為大家詳細(xì)講解有關(guān)如何使用python批量轉(zhuǎn)換文件編碼為UTF-8，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

由于這兩天換了IDE，在導(dǎo)入以前的工程的時候發(fā)現(xiàn)了一個大問題，由于以前腦殘的我不知道改編碼方式，導(dǎo)致出現(xiàn)了大量的GBK，這就很難受，要是一個兩個還好說，可是這么多要是一個一個的改我會覺得現(xiàn)在的我比以前還腦殘，于是乎，我就想用python批量的修改一下，然后就產(chǎn)生了這篇文章，其中好多不足的地方還請大佬指導(dǎo)

本來一開始的思路還是比較清晰，覺得也比較簡單，天真的認(rèn)為用GBK的方式讀取出文件內(nèi)容，然后UTF8寫入就好了，可是在實際的操作中我發(fā)現(xiàn)我就是太天真了，出現(xiàn)了大量的問題，比如說：

怎么查看文件的編碼方式

好吧我承認(rèn)就出現(xiàn)了這一個問題。

那么遇到問題我們該怎么辦呢，沒錯，Google，果然功夫不負(fù)會Google人，我看到了一個函數(shù)，就是chardet.detect()函數(shù)，當(dāng)然要導(dǎo)入chardet模塊，也就是pip，如果是Anaconda的環(huán)境當(dāng)我沒說，pip了不要打我。言歸正傳，這個函數(shù)是干嘛用的呢？

這個函數(shù)會返回一個含有三個鍵值對的字典類型

• ‘encoding': 編碼方式

• ‘confidence': 檢測的正確率

• ‘language' : 語言

是不是看到encoding后眼前一亮，這樣取出encoding的值然后比較不知道是啥了，然后我就在一邊感嘆python的強大的第三方庫的支持一邊開始了對這個函數(shù)的測試，先建兩個txt，然后臉滾鍵盤，保存的時候一個是UTF-8，一個是GBK，值得竹注意的是讀取方式應(yīng)該是二進制，也就是'rb'，接著就是興致勃勃地Ctrl Shift F10，出現(xiàn)了驚人的一幕：

{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

看看，看看這美麗的單引號，然后直接和”utf-8”比較不就結(jié)束了，萬萬沒想到，他竟然是False，我還以為我看錯了，就瘋狂Ctrl F5，等待奇跡的出現(xiàn)，功夫不負(fù)有心人，果然，奇跡沒有出現(xiàn)，于是我type了一下，嗯，果然是str類型的，又試了下和”utf-8”比較不就結(jié)束了，沒錯，結(jié)果是True，你們聽我解釋，我昨天做的時候真不是這樣的，不管了，寫都寫了，按昨天的思路來吧，大家湊活看吧（不要打我），現(xiàn)在我們假設(shè)他是False，并且類型是NoneType，并且轉(zhuǎn)為str后是None，你們要相信我昨天真的是這樣的！

好了就這樣吧，那既然是無法比較怎么辦呢，沒錯，拿出一開始臉滾鍵盤的那兩個測試文件來，用他們呢讀取出的字典的值作比較不就好了（一說到這我就莫名的心痛），然后我們在想一下是把文件編碼改為UTF-8，所以本來就是UTF-8的我們就不用管他，我都臉滾鍵盤的建測試文件了我還在意這些細(xì)節(jié)干嘛，不說了，難受，效果圖也不貼了，直接上代碼你們自己看吧。。。

# coding utf-8
import os
import chardet


# 獲得所有java文件的路徑,傳入根目錄路徑
def find_all_file(path: str) -> str:
  for root, dirs, files in os.walk(path):
    for f in files:
      if f.endswith('.java'):
        fullname = os.path.join(root, f)
        yield fullname
      pass
    pass
  pass


# 判斷是不是utf-8編碼方式
def judge_coding(path: str) -> dict:
  with open('utf.txt', 'rb') as f:  # 刪除就行
    utf = chardet.detect(f.read()) # 同上

  with open(path, 'rb') as f:
    c = chardet.detect(f.read())

  if c != utf:            # 改為 c != 'utf-8'
    return c


# 修改文件編碼方式
def change_to_utf_file(path: str):
  for i in find_all_file(path):
    c = judge_coding(i)
    if c:
      change(i, c['encoding'])
      print("{} 編碼方式已從{}改為 utf-8".format(i, c['encoding']))


def change(path: str, coding: str):
  with open(path, 'r', encoding=coding) as f:
    text = f.read()

  with open(path, 'w', encoding='utf-8') as f:
    f.write(text)


# 查看所有文件編碼方式
def check(path: str):
  for i in find_all_file(path):
    with open(i, 'rb') as f:
      print(chardet.detect(f.read())['encoding'], ': ', i)


def main():
  my_path = 'C:\\WorkSpace'
  change_to_utf_file(my_path)
  # check(my_path)


if __name__ == '__main__':
  main()

關(guān)于“如何使用python批量轉(zhuǎn)換文件編碼為UTF-8”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。