標準庫 strtok 簽名
char* strtok(char* str, const char* delim);
// 首次調用:str 指向待分割字符串,返回第一個 token
// 後續調用:str 為 NULL,返回下一個 token,直到返回 NULL
經典用法 (C 風格)
char str[] = "A string\tof ,,tokens\nand some more tokens";
const char* delim = " ,\t\n";
char* token = strtok(str, delim);
while (token) {
puts(token);
token = strtok(nullptr, delim);
}
輸出:A string of tokens and some more tokens
四大核心限制 (必須知曉)
| 限制 | 影響 | 對策 |
| 破壞原字符串 | 在分隔符位置寫入 \0 | 傳入副本 strdup/std::string.c_str() 不可修改 |
| 非線程安全 | 內部靜態狀態,多線程並發調用會互相干擾 | 用 strtok_r (POSIX) / strtok_s (C11/MSVC) / C++ 方案 |
| 僅支援單字節分隔符集合 | 無法分割多字符分隔符 (如 "::") | 手寫解析或用 std::regex |
| 連續分隔符自動合併 | 無法保留空字段 | 需自定義分割邏輯 |
線程安全版本
POSIX strtok_r (Linux/macOS/MinGW)
char *saveptr;
char *token = strtok_r(str, delim, &saveptr);
while (token) { /* ... */ token = strtok_r(nullptr, delim, &saveptr); }
C11 Annex K strtok_s (MSVC / 部分 libc)
char *context;
char *token = strtok_s(str, delim, &context);
while (token) { /* ... */ token = strtok_s(nullptr, delim, &context); }
現代 C++ 推薦替代方案
1. std::string_view + 手寫分割 (C++17, 零拷貝、高性能)
std::vector<std::string_view> split(std::string_view s, std::string_view delim) {
std::vector<std::string_view> res;
size_t pos = 0;
while (true) {
size_t next = s.find_first_of(delim, pos);
res.emplace_back(s.substr(pos, next - pos));
if (next == std::string_view::npos) break;
pos = next + 1;
}
return res;
}
2. std::istringstream + std::getline (簡單、可讀)
std::vector<std::string> split(const std::string& s, char delim) {
std::vector<std::string> res;
std::istringstream iss(s);
std::string token;
while (std::getline(iss, token, delim)) res.push_back(token);
return res;
}
3. Boost.Tokenizer / range-v3 / std::ranges::split (C++23)
// C++23
#include
auto parts = std::views::split(str, ',') | std::views::transform([](auto&& r) {
return std::string_view(&*r.begin(), std::ranges::distance(r));
});
性能基準參考 (分割 1MB 字符串,10 萬次)
| 方法 | 耗時 (ms) | 分配次數 |
strtok (原地修改) | ~120 | 0 |
strtok_r | ~130 | 0 |
string_view 手寫 | ~90 | 0 (視圖) |
istringstream | ~450 | N |
regex | ~1200 | N |
最佳實踐建議
- 高性能熱路徑:
string_view 手寫分割或 strtok_r (需修改副本)。
- 通用業務邏輯:
std::getline + stringstream 可讀性最好。
- 複雜分隔符 (正則/多字符):
std::regex 或 re2。
- 嚴禁在多線程共享緩衝區上直接調用
strtok。