萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Django 串流回應生成大型 CSV 完整解析:解決記憶體溢出與中文編碼亂碼

當 Django 專案需要匯出大量資料為 CSV 時,一次性在記憶體生成完整檔案極易導致 OOM(Out of Memory)或被 Gunicorn/uWSGI 判定為超時而強制終止進程。本文深入解析如何結合 Python 生成器與 Django StreamingHttpResponse 實現真正的串流式下載,並完整解決 Excel 開啟 CSV 時的中文亂碼問題。

為什麼需要 StreamingHttpResponse?

傳統 HttpResponse 需在記憶體完整構建回應內容,資料量大時會撐爆記憶體。StreamingHttpResponse 接受一個迭代器(生成器),逐塊產出內容,邊產生邊傳輸,記憶體佔用恆定極低。同時繞過 Web 容器的回應超時限制,是大檔案匯出的標準解法。

核心實作:UnicodeWriter 與 Echo 類別

為相容 Excel 的 UTF-8 with BOM 格式,需自訂寫入器:

from __future__ import absolute_import
import csv
import codecs
import cStringIO

class Echo(object):
    """偽檔案物件,write() 直接回傳值供生成器 yield"""
    def write(self, value):
        return value

class UnicodeWriter:
    """支援指定編碼的 CSV 寫入器,內部使用隊列暫存"""
    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([handle_column(s) for s in row])
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        data = self.encoder.encode(data)
        value = self.stream.write(data)
        self.queue.truncate(0)
        return value

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

View 實作:生成器逐行 yield

from django.views.generic import View
from django.http.response import StreamingHttpResponse

class ExampleView(View):
    headers = ['一些', '表頭']

    def get(self, request):
        result = [['第一行', '數據1'], ['第二行', '數據2']]
        echoer = Echo()
        writer = UnicodeWriter(echoer)

        def csv_iterator():
            yield codecs.BOM_UTF8  # 關鍵:Excel 識別 UTF-8 需 BOM
            yield writer.writerow(self.headers)
            for column in result:
                yield writer.writerow(column)

        response = StreamingHttpResponse(
            (row for row in csv_iterator()),
            content_type="text/csv;charset=utf-8"
        )
        response['Content-Disposition'] = 'attachment;filename="example.csv"'
        return response

關鍵細節總結

  1. BOM_UTF8:必須在最開頭 yield,否則 Excel 會以預設編碼(如 Big5/GBK)讀取導致亂碼。
  2. 生成器函式:csv_iterator 使用 yield 而非 return,使回應成為可迭代物件。
  3. Echo 類別:實現 write() 直接回傳,配合 UnicodeWriter 內部隊列實現編碼轉換管線。
  4. Content-Disposition:設定 attachment 觸發瀏覽器下載而非預覽。

實務建議

  • 實際專案中 result 應替換為資料庫查詢的 iterator() 避免一次性載入所有物件。
  • 若資料來源極大,考慮搭配 select_related()/prefetch_related() 減少查詢次數。
  • 生產環境建議加入錯誤處理與日誌記錄,確保串流中斷時能正確清理資源。
copyright © 萬盛學電腦網 all rights reserved