萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

C++ strtok 字符串分割完全指南:正確用法、線程安全替代與現代寫法

標準庫 strtok 簽名

char* strtok(char* str, const char* delim);
// 首次調用:str 指向待分割字符串,返回第一個 token
// 後續調用:str 為 NULL,返回下一個 token,直到返回 NULL

經典用法 (C 風格)

char str[] = "A string\tof ,,tokens\nand some more tokens";
const char* delim = " ,\t\n";
char* token = strtok(str, delim);
while (token) {
    puts(token);
    token = strtok(nullptr, delim);
}

輸出:A string of tokens and some more tokens

四大核心限制 (必須知曉)

限制影響對策
破壞原字符串在分隔符位置寫入 \0傳入副本 strdup/std::string.c_str() 不可修改
非線程安全內部靜態狀態,多線程並發調用會互相干擾用 strtok_r (POSIX) / strtok_s (C11/MSVC) / C++ 方案
僅支援單字節分隔符集合無法分割多字符分隔符 (如 "::")手寫解析或用 std::regex
連續分隔符自動合併無法保留空字段需自定義分割邏輯

線程安全版本

POSIX strtok_r (Linux/macOS/MinGW)

char *saveptr;
char *token = strtok_r(str, delim, &saveptr);
while (token) { /* ... */ token = strtok_r(nullptr, delim, &saveptr); }

C11 Annex K strtok_s (MSVC / 部分 libc)

char *context;
char *token = strtok_s(str, delim, &context);
while (token) { /* ... */ token = strtok_s(nullptr, delim, &context); }

現代 C++ 推薦替代方案

1. std::string_view + 手寫分割 (C++17, 零拷貝、高性能)

std::vector<std::string_view> split(std::string_view s, std::string_view delim) {
    std::vector<std::string_view> res;
    size_t pos = 0;
    while (true) {
        size_t next = s.find_first_of(delim, pos);
        res.emplace_back(s.substr(pos, next - pos));
        if (next == std::string_view::npos) break;
        pos = next + 1;
    }
    return res;
}

2. std::istringstream + std::getline (簡單、可讀)

std::vector<std::string> split(const std::string& s, char delim) {
    std::vector<std::string> res;
    std::istringstream iss(s);
    std::string token;
    while (std::getline(iss, token, delim)) res.push_back(token);
    return res;
}

3. Boost.Tokenizer / range-v3 / std::ranges::split (C++23)

// C++23
#include 
auto parts = std::views::split(str, ',') | std::views::transform([](auto&& r) {
    return std::string_view(&*r.begin(), std::ranges::distance(r));
});

性能基準參考 (分割 1MB 字符串,10 萬次)

方法耗時 (ms)分配次數
strtok (原地修改)~1200
strtok_r~1300
string_view 手寫~900 (視圖)
istringstream~450N
regex~1200N

最佳實踐建議

  • 高性能熱路徑:string_view 手寫分割或 strtok_r (需修改副本)。
  • 通用業務邏輯:std::getline + stringstream 可讀性最好。
  • 複雜分隔符 (正則/多字符):std::regex 或 re2。
  • 嚴禁在多線程共享緩衝區上直接調用 strtok。
copyright © 萬盛學電腦網 all rights reserved