Python中使用不同編碼讀寫txt文件詳解

 　　這篇文章主要介紹了Python中使用不同編碼讀寫txt文件詳解,本文給出不同編碼下的讀寫文件代碼方法,需要的朋友可以參考下

　　代碼如下:

　　import os

　　import codecs

　　filenames=os.listdir(os.getcwd())

　　out=file("name.txt","w")

　　for filename in filenames:

　　out.write(filename.decode("gb2312").encode("utf-8"))

　　out.close()

　　將執行文件的當前目錄及文件名寫入到name.txt文件中，以utf-8格式保存

　　如果采用ANSI編碼保存，用如下代碼寫入即可：

　　 代碼如下:

　　out.write(filename)

　　打開文件並寫入

　　引用codecs模塊，對該模塊目前不了解。在此記錄下方法，有空掌握該模塊功能及用法。

　　代碼如下:

　　import codecs

　　file=codecs.open("lol.txt","w","utf-8")

　　file.write(u"我")

　　file.close()

　　讀取ANSI編碼的文本文件和utf-8編碼的文件

　　讀取ANSI編碼文件

　　建立一個文件test.txt，文件格式用ANSI，內容為:

　　代碼如下:

　　abc中文

　　用python來讀取

　　代碼如下:

　　# coding=gbk

　　print open("Test.txt").read()

　　結果：abc中文

　　讀取utf-8編碼文件(無BOM)

　　把文件格式改成UTF-8：

　　代碼如下:

　　結果：abc涓 枃

　　顯然，這裡需要解碼：

　　代碼如下:

　　# -*- coding: utf-8 -*-

　　import codecs

　　print open("Test.txt").read().decode("utf-8")

　　結果：abc中文

　　讀取utf-8編碼文件(有BOM)

　　某些軟件在保存一個以UTF-8編碼的文件時，默認會在文件開始的地方插入三個不可見的字符(0xEF 0xBB 0xBF，即BOM)。在有些軟件可以控制是否插入BOM。如果在有BOM的情況下，在讀取時需要自己去掉這些字符，python中的codecs module定義了這個常量：

　　代碼如下:

　　# -*- coding: utf-8 -*-

　　import codecs

　　data = open("Test.txt").read()

　　if data[:3] == codecs.BOM_UTF8:

　　data = data[3:]

　　print data.decode("utf-8")

　　結果：abc中文

　　在看下面的例子：

　　代碼如下:

　　# -*- coding: utf-8 -*-

　　data = open("name_utf8.txt").read()

　　u=data.decode("utf-8")

　　print u[1:]

　　打開utf-8格式的文件並讀取utf-8字符串後，解碼變成unicode對象。但是會把附加的三個字符同樣進行轉換，變成一個unicode字符。該字符不能被打印。所以為了正常顯示，采用u[1:]的方式，過濾到第一個字符。

　　注意：在處理unicode中文字符串的時候，必須首先對它調用encode函數，轉換成其它編碼輸出。

　　設置python默認編碼

　　代碼如下:

　　import sys

　　reload(sys)

　　sys.setdefaultencoding("utf-8")

　　print sys.getdefaultencoding()

　　今天碰到了 python 編碼問題, 報錯信息如下

　　代碼如下:

　　Traceback (most recent call last):

　　File "ntpath.pyc", line 108, in join

　　UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

　　顯然是當前的編碼為ascii, 無法解析0xa1(十進制為161, 超過上限128). 進入python console後, 發現默認編碼確實是 ascii, 驗證過程為:

　　在python2.6中無法調用sys.setdefaultencoding()函數來修改默認編碼，因為python在啟動的時候會調用site.py文件，在這個文件中設置完默認編碼後會刪除sys的setdefaultencoding方法。不能再被調用了. 在確定sys已經導入的情況下, 可以reload sys這個模塊之後, 再 sys.setdefaultencoding('utf8')

　　代碼如下:

　　import sys

　　reload(sys)

　　sys.setdefaultencoding("utf-8")

　　print sys.getdefaultencoding()

　　確實有效, 根據 limodou 講解, site.py 是 python 解釋器啟動後, 默認加載的一個腳本. 如果使用 python -S 啟動的話, 將不會自動加載 site.py.

　　上面寫的挺啰嗦的.

　　==================================

　　如何永久地將默認編碼設置為utf-8呢? 有2種方法:

　　==================================

　　第一個方法<不推薦>: 編輯site.py, 修改setencoding()函數, 強制設置為 utf-8

　　第二個方法<推薦>: 增加一個名為 sitecustomize.py, 推薦存放的路徑為 site-packages 目錄下

　　sitecustomize.py 是在 site.py 被import 執行的, 因為 sys.setdefaultencoding() 是在 site.py 的最後刪除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

　    代碼如下:

　　import sys

　　sys.setdefaultencoding('utf-8')

　　既然 sitecustomize.py 能被自動加載, 所以除了設置編碼外, 也可以設置一些其他的東西

　　字符串的編碼

　　代碼如下:

　　s1='中文'

　　像上面那樣直接輸入的字符串是按照代碼文件的編碼來處理的，如果是unicode編碼，有以下三種方式：

　　代碼如下:

　　1 s1 = u'中文'

　　2 s2 = unicode('中文','gbk')

　　3 s3 = s1.decode('gbk')

　　unicode是一個內置函數，第二個參數指示源字符串的編碼格式。

　　decode是任何字符串具有的方法，將字符串轉換成unicode格式，參數指示源字符串的編碼格式。

　　encode也是任何字符串具有的方法，將字符串轉換成參數指定的格式。