當 Django 專案需要匯出大量資料為 CSV 時,一次性在記憶體生成完整檔案極易導致 OOM(Out of Memory)或被 Gunicorn/uWSGI 判定為超時而強制終止進程。本文深入解析如何結合 Python 生成器與 Django StreamingHttpResponse 實現真正的串流式下載,並完整解決 Excel 開啟 CSV 時的中文亂碼問題。
傳統 HttpResponse 需在記憶體完整構建回應內容,資料量大時會撐爆記憶體。StreamingHttpResponse 接受一個迭代器(生成器),逐塊產出內容,邊產生邊傳輸,記憶體佔用恆定極低。同時繞過 Web 容器的回應超時限制,是大檔案匯出的標準解法。
為相容 Excel 的 UTF-8 with BOM 格式,需自訂寫入器:
from __future__ import absolute_import
import csv
import codecs
import cStringIO
class Echo(object):
"""偽檔案物件,write() 直接回傳值供生成器 yield"""
def write(self, value):
return value
class UnicodeWriter:
"""支援指定編碼的 CSV 寫入器,內部使用隊列暫存"""
def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
self.queue = cStringIO.StringIO()
self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
self.stream = f
self.encoder = codecs.getincrementalencoder(encoding)()
def writerow(self, row):
self.writer.writerow([handle_column(s) for s in row])
data = self.queue.getvalue()
data = data.decode("utf-8")
data = self.encoder.encode(data)
value = self.stream.write(data)
self.queue.truncate(0)
return value
def writerows(self, rows):
for row in rows:
self.writerow(row)
from django.views.generic import View
from django.http.response import StreamingHttpResponse
class ExampleView(View):
headers = ['一些', '表頭']
def get(self, request):
result = [['第一行', '數據1'], ['第二行', '數據2']]
echoer = Echo()
writer = UnicodeWriter(echoer)
def csv_iterator():
yield codecs.BOM_UTF8 # 關鍵:Excel 識別 UTF-8 需 BOM
yield writer.writerow(self.headers)
for column in result:
yield writer.writerow(column)
response = StreamingHttpResponse(
(row for row in csv_iterator()),
content_type="text/csv;charset=utf-8"
)
response['Content-Disposition'] = 'attachment;filename="example.csv"'
return response
csv_iterator 使用 yield 而非 return,使回應成為可迭代物件。write() 直接回傳,配合 UnicodeWriter 內部隊列實現編碼轉換管線。attachment 觸發瀏覽器下載而非預覽。result 應替換為資料庫查詢的 iterator() 避免一次性載入所有物件。select_related()/prefetch_related() 減少查詢次數。