[操作疑難] 請問如何download html資料?[嘗試中]

本帖最後由 newbiepcboy 於 2016-10-30 17:21 編輯

[嘗試中]

我想係 (例如, table data)
down D 資料, 然後入去自己database
我試過用java jsoup,但D資料 係行jquery,  ...
newbiepcboy 發表於 2016-10-30 14:55

偷人地Data?

TOP

我想係 (例如, table data)
down D 資料, 然後入去自己database
我試過用java jsoup,但D資料 係行jquery,  ...
newbiepcboy 發表於 2016-10-30 14:55



    行 Ajax 即係你可以自己扮 Client POST 去拎

基本上用 command line tool cURL 做到嘅話, Application 都一定會做到
  1. curl 'http://data.28hse.com/webservice' -H 'Origin: http://data.28hse.com' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36' -H 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' -H 'Accept: */*' -H 'Cache-Control: max-age=0' -H 'X-Requested-With: XMLHttpRequest' -H 'Connection: keep-alive' -H 'Referer: http://data.28hse.com/' --data 'cmd=get_stats&type=5&years=1' --compressed
複製代碼
如果你用 window 機就自己睇下點用 cURL,如果覺得太難就用番啲 GUI tools - 例如 Postman

試咗點樣拎之後,分析番佢個 Data , 再寫 Application 都未遲

(最好當然係得到網站負責人同意,你先好咁樣 Grab 佢啲 Data 先)

TOP

回覆 3# hihihi123hk


    ty chingl, 我google 左幾日都冇你講E幾句有用

TOP

回覆 2# 7h1r733n

TOP

frontend data 簡單用cURL 囉JSON
backend render 既data,用cURL 囉完,再用dom parser

TOP

要 Grab data,  識吾識 Fiddler ?
吾識 ? 要打羅柚...快D去DOWNLOAD玩下啦

TOP

Python, beautifulsoup, request

TOP