萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 圖片指紋相似搜尋:dHash 算法實作與資料庫索引

感知雜湊 簡介

傳統雜湊 (MD5/SHA) 對輸入極敏感,單位元組變化導致完全不同輸出。**感知雜湊** 根據圖像視覺內容生成指紋,相似圖片產生相似雜湊 (漢明距離小),適用於去重、版權偵測、內容審核。

dHash (差值雜湊) 原理

  1. 縮放至固定大小 (如 9x8 = 72 像素)。
  2. 轉灰階。
  3. 計算相鄰像素差值:左像素 > 右像素 → 1,否則 0。
  4. 得到 64-bit 指紋 (8x8 差值)。
  5. 比較兩指紋漢明距離:距離越小越相似。

依賴安裝


pip install pillow imagehash numpy

建立指紋資料庫 (index.py)


import argparse
import shelve
from PIL import Image
import imagehash
from pathlib import Path

def build_index(dataset_path, db_path):
    db = shelve.open(db_path, writeback=True)
    image_paths = list(Path(dataset_path).rglob('*.[jp][pn]g'))
    
    print(f"處理 {len(image_paths)} 張圖片...")
    for i, path in enumerate(image_paths):
        try:
            with Image.open(path) as img:
                # 計算 dHash
                hash_val = imagehash.dhash(img)
                # 儲存:hash(str) -> 路徑列表
                key = str(hash_val)
                if key not in db:
                    db[key] = []
                db[key].append(str(path))
        except Exception as e:
            print(f"跳過 {path}: {e}")
        
        if (i+1) % 100 == 0:
            print(f"  已處理 {i+1}/{len(image_paths)}")
    
    db.sync()
    db.close()
    print(f"索引建立完成,共 {len(db)} 個唯一指紋")

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('-d', '--dataset', required=True, help='圖片資料集路徑')
    parser.add_argument('-s', '--shelve', required=True, help='輸出資料庫路徑')
    args = parser.parse_args()
    build_index(args.dataset, args.shelve)

相似搜尋


def search_similar(query_image_path, db_path, threshold=10):
    """搜尋漢明距離 <= threshold 的圖片"""
    db = shelve.open(db_path, flag='r')
    with Image.open(query_image_path) as img:
        query_hash = imagehash.dhash(img)
    
    results = []
    for hash_str, paths in db.items():
        db_hash = imagehash.hex_to_hash(hash_str)
        distance = query_hash - db_hash  # imagehash 重載運算子
        if distance <= threshold:
            for p in paths:
                results.append((distance, p))
    
    db.close()
    return sorted(results)

# 使用
results = search_similar('test.jpg', 'index.db', threshold=15)
for dist, path in results[:10]:
    print(f"距離 {dist:2d}: {path}")

效能優化:VP-Tree / BK-Tree

線性掃描資料庫隨資料增長極慢。度量空間索引結構:

  • VP-Tree (Vantage Point Tree):遞歸分割度量空間,查詢 O(log n)。
  • BK-Tree (Burkhard-Keller Tree):專為離散度量空間 (如漢明距離) 設計。

# 使用 pybktree (pip install pybktree)
from pybktree import BKTree

def build_bktree(db_path):
    db = shelve.open(db_path, flag='r')
    tree = BKTree(imagehash.hex_to_hash, list(db.keys()))
    db.close()
    return tree

tree = build_bktree('index.db')
query_hash = imagehash.dhash(Image.open('query.jpg'))
# 查詢距離 <= 10
matches = tree.find(query_hash, 10)
for dist, hash_str in matches:
    print(f"距離 {dist}: {db[hash_str]}")

實戰案例:約會網站色情圖片攔截

文中所述真實案例:建立違規圖片指紋庫,用戶上傳頭像時即時比對,阻擋 80%+ 違規上傳。關鍵點:

  • 指紋庫持續更新 (人工審核 + 自動掃描)。
  • 上傳關鍵路徑同步檢查 (<100ms)。
  • 結合感知雜湊 + 內容審核 API 雙重保險。

擴展:其他感知雜湊算法

算法特點適用場景
aHash (平均雜湊)最簡單,縮放 8x8 比較均值縮圖識別、極簡場景
pHash (感知雜湊)DCT 頻域,抗縮放/壓縮/旋轉版權保護、視頻幀檢索
dHash (差值雜湊)梯度資訊,速度快、精度好通用相似搜尋、去重
wHash (小波雜湊)小波變換,多尺度特徵複雜紋理、醫學影像

imagehash 庫支援全部:imagehash.average_hash、phash、dhash、whash。

copyright © 萬盛學電腦網 all rights reserved