萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網頁製作 >> HTML 腳本教學

Python 讀取 JSON 並批量導入 MongoDB:pymongo 實戰指南

場景:JSON 文件 → MongoDB 文檔

典型結構:{"results": {"course": {...}, "lecture": [...]}},需將課程與講座關聯存儲。

完整實現代碼

import json
from pymongo import MongoClient
from bson.objectid import ObjectId

# 1. 連接 MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client['mydatabase']
courses = db['course']
lectures = db['lecture']

# 2. 讀取 JSON
with open('data/14.json', 'r', encoding='utf-8') as f:
    data = json.load(f)

course_data = data['results']['course']
lectures_data = data['results']['lecture']

# 3. 插入課程,獲取 _id
course_id = courses.insert_one(course_data).inserted_id
print(f"Course inserted: {course_id}")

# 4. 批量插入講座,關聯 course_id
lecture_docs = []
for lec in lectures_data:
    lec['course_id'] = course_id
    lecture_docs.append(lec)

lecture_ids = lectures.insert_many(lecture_docs).inserted_ids
print(f"Inserted {len(lecture_ids)} lectures")

# 5. 反向更新課程文檔,存儲講座 ID 列表
courses.update_one(
    {'_id': course_id},
    {'$set': {'lectures.lecture_id_list': lecture_ids}}
)
print("Relation established.")

關鍵點解析

  • insert_one() 返回 InsertOneResult,.inserted_id 為新文檔 ObjectId
  • insert_many() 批量寫入,返回 InsertManyResult,.inserted_ids 為 ID 列表
  • update_one() + $set 原子更新嵌套字段
  • 使用 with open(...) 確保文件關閉
  • 異常處理:包裹 try/except 捕獲 PyMongoError, JSONDecodeError

性能優化建議

  • 大數據量用 insert_many(ordered=False) 非有序寫入,提升吞吐
  • 創建索引:lectures.create_index('course_id')
  • 生產環境啟用寫入關注(w=majority)保證持久化
copyright © 萬盛學電腦網 all rights reserved