進行資訊採集時,常需模擬 POST 請求抓取分頁資料。但 ASP.NET GridView 分頁按鈕不帶 page=2 這類明顯參數,URL 也不變,該如何構造 POST?HttpWatch 這款整合在 IE 中的 HTTP 分析神器,能讓所有隱藏參數無所遁形。
HttpWatch 可詳細記錄每個 HTTP/HTTPS 往返的 Cookies、標頭、查詢字串、POST 資料、回應內容,支援導出 XML/CSV 報表,是爬蟲開發、介面逆向、效能調優的利器。
https://61.240.36.105/colorring/ringshop.jsp 分頁參數
關鍵參數赤裸裸呈現:
$FORMNAME=colorring_ringlist
$parameters=colorring_ringlist!{page}!225!20!4489!{start}!{end}
其中 {page} 為頁碼,{start}/{end} 為資料範圍計算式。構造 POST 字串即可:
string appendStr = @"https://61.240.36.105/colorring/ringshop.jsp?$FORMNAME=colorring_ringlist&$parameters=colorring_ringlist!" + num + "!225!20!4489!" + ((num-1)*20) + "!" + (((num-1)*20)+20);

HttpWatch 讓「看不見的參數」變成「看得見的程式碼」,是資料採集工程師的必備神器。