網路爬蟲 on IT 空間

[Python爬蟲實例] 591 房屋交易 -「新建案」搜尋與房屋詳情

jia@jiatool.com (Jia) — Sat, 30 Nov 2024 20:40:00 +0800

前言

很久之前有寫一篇「 591 租屋網 - 搜尋房屋與房屋詳情」，是針對 591 內的租屋網站進行資料抓取。

不過後來網站有改版，那時的程式寫法就失效了。
最近有再嘗試，雖然有找出發請求的網址，但發現回傳資料有透過 AES 之類的加密方式加密過的，要解開的話還要從它的 JS 程式中尋找 KEY 值，因為太麻煩，我就沒有繼續研究了。

如果有需求的讀者，可以參考這篇文章： AWS 雲端 591 租屋爬蟲架構，他有針對新版的去做修正，而且還加入資料儲存、mail 通知、定時換 IP 等等機制。

今天，改來試試爬取 591 房屋交易網站的「新建案」"搜尋建案" 與 "取得房屋詳情"，說明如何發出請求、取得回傳數據資料。

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

安裝

1
2


pip install requests
pip install beautifulsoup4

搜尋建案

在 591 房屋交易網站的「新建案」主頁，我們先直接按搜尋，它會跳到另一個頁面。

在這個搜尋頁面，上方可以選擇不同的搜尋條件，下方則是房屋搜尋結果列表。

591 新建案搜尋頁面

請求路徑與參數

進到「 591 新建案」的搜尋頁面後，打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中找找看哪個是搜尋建案結果的請求。

稍微尋找後，可以確定是 https://newhouse.591.com.tw/home/housing/list-search 這個請求。

591 新建案搜尋 API 網址

591 新建案 API 回傳結果預覽

另外，我們可以透過帶入不同的搜尋參數值，來達到對結果做不同的篩選。

篩選條件參數

當我們選擇不同條件後，觀察剛剛的請求，會發現它在網址後方帶入不同的參數 (parameters 或稱 query string)，剛好對應我們選擇的條件。

例如：https://newhouse.591.com.tw/home/housing/list-search?page=1&device=pc&device_id=qdmsxxxxxxxrjy2&sectionid=251,253&total_price=3&regionid=17 後面這段 page=1&device=pc&device_id=qdmsxxxxxxxrjy2&sectionid=251,253&total_price=3&regionid=17。

以下我將其全部羅列出來，但 "按地區" 和 "按捷運" 有太多種類，就不一一呈現，可以自己選擇後再從 開發人員工具 查看。

* 以下某些選項在網頁上是可以多選的，則參數的數值用逗號 , 隔開即可。如 tag=1,4,5 代表 "特色" 勾選 近捷運、重劃區、近公園。

按地區

縣市	regionid
台北市	1
新北市	3
桃園市	6
台中市	8
台南市	15
高雄市	17

如果要更細分 "地區"、"生活圈" 的話，要再加上 sectionid、shop_id 參數，如下：

代表意思	參數
台北市	`regionid=1`
台北市 > 內湖區	`regionid=1&sectionid=10`
台北市 > 內湖區 > 內湖科技園區	`regionid=1&sectionid=10&shop_id=164`
高雄市 > 楠梓區	`regionid=17&sectionid=251`
高雄市 > 楠梓區 > 高雄大學特區	`regionid=17&sectionid=251&shop_id=385`
高雄市 > 鳳山區 > 衛武營生活圈	`regionid=17&sectionid=268&shop_id=290`

按捷運

要多加 search_type 代表按捷運篩選。

捷運	city
台北捷運	1
高雄捷運	2
新北捷運	3
桃園捷運	4
台中捷運	5

同樣如果要更細分 "路線"、"站點" 的話，要再加上 subway_line、subway_id 參數，如下：

代表意思	參數
台北捷運	`search_type=1&city=1`
台北捷運 > 淡水信義線	`search_type=1&subway_line=2&city=1`
台北捷運 > 淡水信義線 > 新北投	`search_type=1&subway_line=2&subway_id=4198&city=1`
高雄捷運 > 高雄紅線 > 凱旋	`search_type=1&city=2&subway_line=1&subway_id=4333`
台北捷運 > 高雄輕軌 > 五權國小	`search_type=1&city=2&subway_line=3&subway_id=66388`

單價

單價	unit_price
50萬/坪以下	1
50-70萬/坪	2
70-80萬/坪	3
80-100萬/坪	4
100-120萬/坪	5
120萬/坪以上	6

* 如果要自訂單價金額範圍，改用 unit_price_min 和 unit_price_max 參數(例如 "10-30萬/坪" 要用 unit_price_min=10&unit_price_max=30)。

總價

總價	total_price
1500萬以下	1
1500-2000萬	2
2000-3000萬	3
3000-4000萬	4
4000-6000萬	5
6000萬以上	6

* 如果要自訂總價金額範圍，改用 total_price_min 和 total_price_max 參數(例如 "500-1000萬" 要用 total_price_min=500&total_price_max=1000)。

* 要注意的是 "單價" 與 "總價" 好像會隨著不同的縣市，而代表不同的範圍。例如高雄市 unit_price=1 是代表 "15萬/坪以下"。

格局

格局	room
一房	1
二房	2
三房	3
四房	4
五房及以上	5

型態

型態	shape
住宅大樓	3
電梯公寓	7
華廈	10
別墅	1
透天	2
商辦大樓	8
廠辦	11
其他	9

狀態

狀態	build_type
預售屋	1
新成屋	2
預推案	4

用途

用途	purpose
住家用	1
住商用	2
商業用	3
工商用	4
工業用	5
其他	6

特色

特色	tag
近捷運	1
明星學區	2
重劃區	4
充電設備	piles
近公園	5
景觀宅	6
創意空間	8
制震宅	10
低首付	12
超值好房	100
優選建案	101
地上權	13

排序

也可以透過帶入排序參數 sort，來對搜尋結果建案作排序。

不過我發現有時候加入排序，搜尋結果好像怪怪的 (直接操作網頁也是)

排序	sort
默認排序	(無)
金額排序從小到大	1
金額排序從大到小	2
瀏覽人數從多到少	5
瀏覽人數從少到多	6
開案時間從新到舊	9
開案時間從舊到新	10

換頁

試著在瀏覽器繼續往下滾動，它會持續載入新資料，觀察請求 開發人員工具 > Network 新載入的網址變化：

https://newhouse.591.com.tw/home/housing/list-search?page=2&device=pc&device_id=qdmsxxxxxxxxxrjy2&regionid=1

https://newhouse.591.com.tw/home/housing/list-search?page=3&device=pc&device_id=qdmsxxxxxxxxxrjy2&regionid=1

會發現它是透過網址後的 page 參數，來切換不同頁數，並且每頁有 20 筆資料(建案)。

頁數	page
第一頁	1
第二頁	2
第三頁	3
第 X 頁	X

* 當然要它的 "總頁數" 有達到你指定的頁數才會有資料，至於怎麼知道 "總頁數"？可以從回傳資料裡找到，下面我們接著來看~

回傳資料

回傳資料主要有 bluekai_data 和 data 欄位。

仔細觀察可以發現 bluekai_data 可能是我們設定的篩選條件，但實際測試又不太一樣，反正不重要，我們不用理它。

而 data 欄位包含建案基本資料(items) 與總頁數(total_page)、當前頁數(page)、總筆數(total)、當頁筆數(per_page) 等等資訊，上一節說的 "總頁數" 就可以從這邊取得。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


{
"status": 1,
"data": {
"total": 1040,
"online_total": 241,
"per_page": 20,
"page": 2,
"total_page": 52,
"show_surround": 0,
"items": [ "建案基本資料..." ]
},
"bluekai_data": {
"region_id": "1",
"section_id": "",
"sale_price": 0,
"rental_price": 0,
"unit_price_per_ping": "",
"room": "",
"shape": "",
"mrt_city": "",
"mrt_line": "",
"tag": 0,
"type": "newhouse",
"kind": "",
"page": "newhouse_list"
}
}

而這邊取到的「建案基本資料」，會有像是 "名稱"、"地址"、"總價"、"單價"、"坪數"、"電話"、"特色"、"圖片"……等等資訊，如果還需要進一步的詳細資訊，就要參考下一節的「取得建案詳情」。

以下是我擷取其中一筆範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66


{
"hid": 121254,
"build_name": "太平洋之森",
"regionid": 1,
"sectionid": 1,
"region": "台北市",
"section": "中正區",
"addr_number": "XX路一段123號",
"status": 2,
"community_id": 35980,
"build_type": 2,
"build_type_val": 2,
"updatetime": "2024-10-01",
"address": "台北市中正區XX路一段123號",
"address_new": "中正區 XX路一段123號",
"is_full": 0,
"is_full_720": 0,
"is_full_sky": 0,
"cover": "https:\/\/img2.591.com.tw\/house\/2020\/03\/15\/158426288485027607.jpg!400x300.s2.jpg",
"tag": [
"近捷運",
"低公設",
"景觀宅",
"制震宅"
],
"purpose_str": "住家用",
"build_article": 0,
"sale_status": 3,
"is_upscale": 0,
"active_rank": {
"region": 0,
"section": 0
},
"service_time": {
"service_time_start": "10:00",
"service_time_end": "18:00",
"is_service_time": 0,
"service_time": "10:00-18:00"
},
"open_sell_year_month": "",
"shop_id": 80,
"shop_name": "古亭生活圈",
"is_competitor_status": 1,
"call_num": "688",
"phone": "0986-000-000",
"phone_ext": "21230",
"area": "3~4坪",
"room": "三房(45坪),四房(50、66坪)",
"price_unit_test": "110~120",
"total_price_test": "4388~6000",
"price": "110~120",
"price_unit": "萬\/坪",
"is_video": 0,
"im_status": 1,
"im_reply_avg_time": 86400,
"im_question": {
"entry_id": 27,
"question_id": 59,
"question": "我對這個建案感興趣，可以介紹一下嗎?"
},
"ad_sort": 0,
"expired_ad_sort": 0,
"tel_num": "688",
"is_vip": 0,
"is_article": 0
}

完整回覆資料範例： newhouse591_search.json (搜尋建案) | GitHub

* 如果看到類似 \u53f0\u5317\u5e02 的編碼，可以透過 Unicode 轉換即可。

範例程式

使用 Python 撰寫 "搜尋建案" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45


def search(self, filter_params=None, sort_param=None, want_page=1):
""" 搜尋新建案

 :param filter_params: 篩選參數
 :param sort_params: 排序參數
 :param want_page: 想要抓幾頁
 :return total_count: requests 建案總數
 :return house_list: requests 搜尋結果建案資料清單
 """
total_count = 0
house_list = []
page = 0
# 搜尋建案
url = 'https://newhouse.591.com.tw/home/housing/list-search'
params = 'device=pc&device_id=1234567890'
# 篩選參數
if filter_params:
params += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
# 排序參數
if sort_param:
params += ''.join([f'&{key}={value}' for key, value, in sort_param.items()])
self.headers['referer'] = urllib.parse.quote(f'https://newhouse.591.com.tw/list?{params}')
while page < want_page:
page += 1
params = f'page={page}&{params}'
print(f"Get 建案資料: {url}")
r = requests.get(url, params=params, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
data = r.json()
total_count = data['data']['total']
house_list.extend(data['data']['items'])
# 判斷是否為最後一頁
if page >= data['data']['total_page']:
break
time.sleep(random.uniform(2, 6)) # 隨機 delay 一段時間
return total_count, house_list

取得建案詳情

當上一步從搜尋結果找一個建案點進去後，會跳到此建案的頁面，呈現關於此建案的詳細資訊。
網址會類似這樣：https://newhouse.591.com.tw/135743?roster_type=1

有關建案的詳細資訊又可以包含「建案資料」、「周邊機能」、「實價登錄」 (其他的各位有需要可以自己試試)，以下會再分別介紹這三個請求 API。

591 新建案 > 建案頁面

請求路徑與參數

接下來我們分別從對應的頁面，一樣透過瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中可以找到請求這些資料的路徑與參數。

「建案資料」
url: https://bff.591.com.tw/v1/housing/detail-info?id={house_id}&is_auth=0

591 新建案 > 建案詳情

「周邊機能」
url: https://bff-newhouse.591.com.tw/v1/detail/surrounding?id={house_id}&is_auth=0

591 新建案 > 周邊機能

「實價登錄」
url: https://bff-market.591.com.tw/v1/price/list?community_id={community_id}&split_park=1&page=1&page_size=20&_source=0

591 新建案 > 實價登錄頁面

* 比較要注意的是，「實價登錄」網址使用的參數是 "community_id" (而不是 house_id)，所以程式裡面我還有先透過 BeautifulSoup，從網頁中找出 "community_id"。

回傳資料

回傳資料大致上也是與網頁上的一樣，關於此房屋的詳細資訊，你可以挑出需要的欄位來儲存，或進一步判斷執行其他動作。

建案資料 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59


{
"status": 1,
"msg": "請求成功",
"data": {
"hid": 135743,
"regionid": 1,
"sectionid": 3,
"region": "台北市",
"section": "中山區",
"addr_number": "xxxxxxxx",
"address": "台北市中山區xxxxxxxx",
"build_name": "xxxx美術館",
"price_unit": { ... },
"price_total": { ... },
"price": { ... },
"build_type_name": "預售屋",
"is_upscale": 0,
"status": 2,
"is_online": 1,
"layout": [ ... ],
"purpose_name": "住宅大樓",
"purpose_other_name": "住商用",
"deal_time": { ... },
"decorate": "標準配備",
"reception_address": "台北市中山區xxxxxxxx",
"park_price": { ... },
"base_area": { ... },
"build_area": { ... },
"terrace": { ... },
"ratio": "35.38%",
"jbrate": "41.9%",
"park_ratio": "1:0.81",
"park_planning": "平面式62個",
"park_piles": "有充電設備（含預留）",
"park_style": "暫無",
"manage_cost": { ... },
"structural_engine": "RC鋼筋混凝土結構",
"land_division": "商二特",
"households": "1幢，1棟，73戶住家，4戶店面",
"floor": "地上15層，地下4層",
"sell_time": { ... },
"down_pay": "25%",
"lend_rate": "75%",
"project_pay": "",
"direction_rule": "朝南",
"manage_committee": 0,
"build_intro": "依現場為主",
"facility": [ ... ],
"remark": "台北市有一座美術館即將誕生，純粹靜謐與藝術優雅...",
"room_rule": { ... },
"fav_num": 224,
"share_num": 377,
"meta": { ... },
"transportation": [ ... ],
"surrounding": [ ... ],
"building_design": [ ... ],
...其他
}
}

周邊機能 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


{
"status": 1,
"msg": "success",
"data": {
"housing": {
"hid": 135743,
"build_name": "xxxx美術館",
"address": "台北市中山區xxxxxxxx",
"map": { ... }
},
"facility": {
"traffic": { ... },
"education": {
"distance": 2,
"items": [
{
"id": 278987,
"name": "私立新生幼兒園",
"distance": 180,
"lat": 25.0596716,
"lng": 121.5280426,
"sub_type": "child"
},
{
"id": 103,
"name": "臺北市中山區吉林國民小學",
"distance": 447,
"lat": 25.05416379999999,
"lng": 121.5292245,
"sub_type": "grade"
},
...
],
"count": {
"grade": 5,
"middle": 5,
"child": 1,
"university": 1
}
},
"life": { ... },
"other": { ... },
"disgust": { ... }
}
}
}

實價登錄 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62


{
"status": 1,
"data": {
"items": [
{
"id": 6584759,
"date": "113-06-11",
"trans_date": "2024-06-11",
"month": "113-06",
"address": "台北中山區xxxxxxxx",
"layout": "3房",
"layout_v2": "3房2廳",
"room_search": 3,
"build_area": "43.30坪",
"build_area_v": { ... },
"building_area": { ... },
"building_total_price": { ... },
"real_park_area": { ... },
"unit_price": { ... },
"src_unit_price": { ... },
"total_price": "4,777萬",
"total_price_v": "4,777",
"price_tips": "",
"context": "",
"is_special": 0,
"has_park": "1",
"unit_has_park": "0",
"shift_floor": "5樓",
"total_floor": "15樓",
"build_purpose_str": "住宅",
"real_park_total_price": "395",
"real_park_total_price_v": { ... },
"community": { ... },
"trans_rep_year": "113年",
"tag": [ "低樓層", "平面車位" ],
"park_type_str": "平面車位",
"match_type": 0,
"tips": "",
"park_count": 1,
"history_trans_count": 1,
"is_new_tag": 0,
"assoc_type": 0,
"business_circle_id": 0,
"build_date": "",
"original_shift_floor": "5",
"original_total_floor": 15
},
...
],
"per_page": 20,
"page": 2,
"total_page": 2,
"total": 30,
"has_sale_ctrl": 1,
"region_id": 1,
"meta": { ... },
"trans_rep_years": [ ... ],
"address_condition": [ ... ],
"special_num": 30,
"community_park": { ... }
}
}

各個完整回覆資料範例：
newhouse591_build_detail.json (建案資料) | GitHub
newhouse591_build_surrounding.json (周邊機能) | GitHub
newhouse591_build_price.json (實價登錄) | GitHub

* 如果看到類似 \u53f0\u5317\u5e02 的編碼，可以透過 Unicode 轉換即可。

範例程式

使用 Python 撰寫 "取得建案詳情" (包含建案資料、周邊機能、實價登錄) 的寫法如下，完整程式碼請至文末參考：

* 請求的 headers 內有 deviceid 參數，原本以為可以不用給，但後來發現不給會導致取不到 “房屋詳情 > 周邊機能”，不過好像可以給隨意值就行 (可以在完整程式碼內查看)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69


def get_newhouse_detail(self, house_id):
""" 取得建案詳情 (建案資料+周邊機能+實價登錄)

 :param house_id: 建案 ID
 :return house_detail: requests 建案詳細資料
 """
house_detail = {}
# 建案資料
url = f'https://bff.591.com.tw/v1/housing/detail-info?id={house_id}&is_auth=0'
self.headers['referer'] = 'https://newhouse.591.com.tw/'
print(f"Get 建案資料: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
data = r.json()
house_detail['detail'] = data['data']
time.sleep(random.uniform(1, 3)) # 隨機 delay 一段時間
# 周邊機能
url = f'https://bff-newhouse.591.com.tw/v1/detail/surrounding?id={house_id}&is_auth=0'
# https://bff-newhouse.591.com.tw/v1/detail/surrounding?id=120137&is_auth=0
self.headers['referer'] = 'https://newhouse.591.com.tw/'
print(f"Get 周邊機能: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
data = r.json()
house_detail['surrounding'] = data['data']
time.sleep(random.uniform(1, 3)) # 隨機 delay 一段時間
# 實價登錄
# 要先取得 community_id
url = f'https://newhouse.591.com.tw/{house_id}?roster_type=1'
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
soup = BeautifulSoup(r.text, 'html.parser')
canonical_href = soup.select_one('section.market a.status-table')['href']
community_id = canonical_href.split("/control/")[-1].split("?")[0]
# 抓取實價登錄清單
price_list = []
page = 0
while page < 99:
page += 1
url = f'https://bff-market.591.com.tw/v1/price/list?community_id={community_id}&split_park=1&page={page}&page_size=20&_source=0'
# https://bff-market.591.com.tw/v1/price/list?community_id=5935592&split_park=1&page=2&page_size=20&_source=0
self.headers['referer'] = 'https://market.591.com.tw/'
print(f"Get 實價登錄: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
data = r.json()
price_list.extend(data['data']['items'])
# 判斷是否為最後一頁
if page >= data['data']['total_page']:
break
time.sleep(random.uniform(2, 5)) # 隨機 delay 一段時間
house_detail['price'] = price_list
return house_detail

完整程式碼

我將以上兩種請求整合起來到 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： newhouse591_spider.py | GitHub

結語

這次我們改練習爬取 591 房屋交易網站的「新建案」，分別取得 "搜尋建案" 與 "建案詳情 (建案資料、周邊機能、實價登錄)" 的資訊。

如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料，歡迎查看 Python網路爬蟲實例，或追蹤 FB 粉專『 IT空間』~ 🔔

失敗不是終點，而是一個學習和成長的機會。
Failure is not the end, it’s an opportunity to learn and grow.

[Python爬蟲實例] Anue 鉅亨網：爬取最新財經新聞

jia@jiatool.com (Jia) — Sat, 23 Mar 2024 20:40:00 +0800

前言

好久沒有更新 Python網路爬蟲實例系列文章了，今天換來看財經與投資的相關新聞。

「Anue 鉅亨網」提供國內外財經相關資訊，我們來透過 Python 網路爬蟲抓取即時頭條新聞，掌握最新消息。

圖片來源：Anue鉅亨網 - 即時頭條新聞

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

流程說明

找找新聞如何被載入

首先進入 Anue 鉅亨網的即時新聞列表網頁，來觀察看看其新聞列表載入方式。

可以試著將滾輪往下滾，網頁會一直往下，它新聞也會被一直載入進來，推測應該是採用動態載入的方式。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到 "Network" > "Fetch/XHR"，往下滾動新聞頁面，會尋找到有個 headline?page=2&limit=30... 的請求，並且點開後在 "Preview" 分頁查看，就會發現裡面包含新聞的相關資料。

那就沒錯了，這就是我們想要抓取的部分！💪

請求 "Preview" 分頁，找到我們想要的資料

請求方式與參數

切換回 "Headers" 分頁，看一下此資料請求的方式與網址。
使用 GET 請求方式，網址類似 https://api.cnyes.com/media/api/v1/newslist/category/headline?page=2&limit=30&isCategoryHeadline=1&startAt=1710295609&endAt=1711159609。

請求 "Headers" 分頁

我們先來觀察網址後方的參數代表甚麼意思。

page=2&limit=30&isCategoryHeadline=1&startAt=1710295609&endAt=1711159609

page 和 limit 很明顯就是代表「頁數」跟「一頁幾則新聞」。
(如果不太懂這兩個參數，可以回去看看我之前寫的文章： (圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式 )

isCategoryHeadline 可以代入 0 或 1，差別是回傳資料的 coverSrc 欄位裡面有沒有包含新聞封面圖片。

而 startAt 和 endAt 是新聞範圍的時間 (以時間戳格式)，並且有限定指定的時間只能兩年內。

新聞時間範圍有限定兩年內

這些參數就算不代入，也會有預設值，所以以下程式範例只使用到 page 和 limit 參數來示範教學。

回傳內容

可以將網址貼到瀏覽器的網址欄位中，查看回傳的資料。

請求回傳資料

items 裡欄位代表意思如下表：

欄位	代表意思
`total`	全部新聞總數
`per_page`	一頁新聞數
`current_page`	當前頁數
`last_page`	最後頁數
`prev_page_url`	前一頁網址
`next_page_url`	下一頁網址
`from`	此頁新聞第一筆
`to`	此頁新聞最後一筆
`data`	各新聞資訊

而 items 裡的 data 新聞資訊，有包含新聞標題、內文、關鍵字、發布時間、分類……等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160


{
"items": {
"total": 1007,
"per_page": 30,
"current_page": 1,
"last_page": 34,
"next_page_url": "/media/api/v1/newslist/category/headline?limit=30&page=2",
"prev_page_url": null,
"from": 1,
"to": 30,
"data": [
{
"newsId": 5501189,
"title": "OpenAI旗下Sora進軍好萊塢電影產業",
"content": "&lt;p&gt;市場週五 (22 日) 傳出，OpenAI 計劃進軍電影業，已安排下週與好萊塢工作室和人才機構舉行會議，鼓勵電影製作人和工作室在工作中使用人工智慧。他們已經向一些大牌演員和導演推廣了人工智慧影片製作軟體 Sora。&lt;/p&gt;\n\n&lt;p&gt;OpenAI 試圖電影業人員構建娛樂產業的合作夥伴關係、並鼓勵眾多製片公司將 OpenAI 的新款 AI 影音生成器融入它們的工作中。&lt;/p&gt;\n\n&lt;p&gt;OpenAI 向好萊塢推廣其文字生成影音 AI 服務 Sora，OpenAI CEO Altman 已經在奧斯卡電影節週末出席洛杉磯的多場派對。&lt;/p&gt;\n\n&lt;figure&gt;&lt;img alt=&quot;(圖片：翻攝smartprix)&quot; data-height=&quot;416&quot; data-mime=&quot;image/jpeg&quot; data-ratio=&quot;1.8269230769230769&quot; data-src-m=&quot;https://cimg.cnyes.cool/prod/news/5501189/m/961b1580a9294bfceeccfc6b86fec545.jpg&quot; data-width=&quot;760&quot; src=&quot;https://cimg.cnyes.cool/prod/news/5501189/l/961b1580a9294bfceeccfc6b86fec545.jpg&quot;&gt;\n&lt;figcaption&gt;OpenAI 旗下 Sora 進軍好萊塢，下周將開會 (圖：OpenAI)&lt;/figcaption&gt;\n&lt;/figure&gt;\n\n&lt;p&gt;Sora 是 Open AI 公司繼文本模型 ChatGPT、圖像模型 Dall-E 撼動了全世界之後，於今年 2 月 15 日發布的文生影像模型，可根據文字描述產生 60 秒的影像，這引發好萊塢巨大震撼。&lt;/p&gt;\n\n&lt;p&gt;電影攝影師、動畫師和電影製片對其生成的影音品質大感震驚。Sora 目前只能生成約一分鐘的影片，且缺乏對物理作用的了解，但還在持續學習，而其學習方式正是好萊塢和其他產業的最擔心之處&lt;/p&gt;\n\n&lt;p&gt;好萊塢導演暨製片人派瑞已率先發出警告。他在看過 Sora 影音後已「無限期」暫緩 8 億美元的工作室擴展計畫。&lt;/p&gt;\n\n&lt;p&gt;大華國際投顧阮蕙慈表示，對於投資人來說，Sora 的橫空出世絕對是要留意的重要產業趨勢之一，其影響性又遠大於其他現有的生成式 AI 相關應用。Sora 的誕生，意味著影像生成門檻大幅降低，不僅對廣告、影視、短視頻等相關行業引發巨大變革，而且對於算力、傳輸速度、儲存空間的需求更是現有好幾倍的成長。&lt;/p&gt;\n",
"hasCoverPhoto": 1,
"isIndex": 1,
"summary": "市場週五 (22 日) 傳出，OpenAI 計劃進軍電影業，已安排下週與好萊塢工作室和人才機構舉行會議，鼓勵電影製作人和工作室在工作中使用人工智慧。他們已經向一些大牌演員和導演推廣了人工智慧影片製作軟體 Sora。",
"isCategoryHeadline": 1,
"stock": [],
"video": "",
"payment": 0,
"feature": 0,
"otherProduct": [],
"source": null,
"isOutsource": 0,
"keyword": [
"Sora",
"OpenAI",
"ChatGPT",
"好萊塢"
],
"is24h": 1,
"publishAt": 1711137477,
"coverSrc": {
"xs": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xs/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 100,
"height": 56
},
"s": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/s/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 180,
"height": 101
},
"m": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/m/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 380,
"height": 214
},
"l": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/l/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 640,
"height": 360
},
"xl": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xl/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 960,
"height": 540
},
"xxl": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xl/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 960,
"height": 540
}
},
"abTesting": null,
"categoryId": 831,
"categoryName": "美股雷達",
"columnists": null,
"fundCategoryAbbr": [],
"etf": [],
"fbShare": 0,
"fbComment": 0,
"fbCommentPluginCount": 0
},
{
"newsId": 5501177,
"title": "傳蘋果放棄自研手錶Micro LED計畫 裁員數十位工程師",
"content": "&lt;p&gt;根據彭博周五 (22 日) 援引知情人士消息報導，蘋果正逐步結束自研智慧手錶 Micro LED 螢幕計畫，而且已經在重組該團隊並在亞洲和美國裁撤數十位工程師。報導指出，原因是該工作的成本太高、過程也太複雜，因此決定結束這項耗資龐大的研發計畫。&lt;/p&gt;\n\n&lt;p&gt;報導指出，結束手錶螢幕自研計畫的同時，蘋果先前也取消研發自駕汽車的工作。在這兩種情況下，蘋果至少給一些受影響的員工在公司找到其他職缺的機會，倘若內部轉職未果便會遭到資遣命運。&lt;/p&gt;\n\n&lt;p&gt;蘋果目前認為 OLED 是其智慧手錶的最佳解決方案，但知情人士說，該公司仍在考慮在未來的其他專案中使用 microLED。蘋果正在尋找潛在的新供應商和流程，讓該技術能應用在其設備中，儘管這不太可能很快實現。&lt;/p&gt;\n\n&lt;p&gt;對於上述報導，蘋果發言人拒絕置評請求。截稿前，蘋果 (AAPL-US) 周五盤中股價上漲 0.69%，每股暫報 172.56 美元。&lt;/p&gt;\n\n&lt;p&gt;自研計畫是蘋果推動更多內部技術設計的更廣泛努力的一部分。雖然該公司已經在其產品中客製化螢幕，但在很大程度上是基於樂金顯示公司 (LG Display, LGD) 和三星 SDI 等合作夥伴的設計。透過在蘋果內部引入更多這項流程，該公司希望獲得相對於競爭對手的優勢。&lt;/p&gt;\n\n&lt;p&gt;蘋果硬體工程部門大約 7 年前開始了這項工作，後來這個代號為 T159 的計畫幾年前被轉移到了蘋果的硬體技術部門。&lt;/p&gt;\n\n&lt;p&gt;蘋果甚至在總部附近建立了自己的螢幕製造工廠，數百名員工可以在該廠測試 microLED 螢幕的生產。許多裁員都涉及該工廠的人員，以及蘋果在亞洲靠近其供應鏈中心的顯示工程中心。本周對蘋果位於聖克拉拉工廠的訪問顯示，該大樓仍在運行，停車場裡有汽車，少數員工進出大樓。&lt;/p&gt;\n\n&lt;p&gt;最近幾周，有關該計畫轉變的消息首次出現，當時供應商宣布他們正在失去與 microLED 相關的合約，其中包括 AMS-Osram AG。該公司表示，取消收購將迫使其裁員，可能會出售一家製造工廠，並記錄一筆可能接近 10 億美元的減記。&lt;/p&gt;\n\n&lt;p class=&quot;warning&quot;&gt;本篇文章不提供合作夥伴轉載&lt;/p&gt;\n",
"hasCoverPhoto": 1,
"isIndex": 1,
"summary": "根據彭博周五 (22 日) 援引知情人士消息報導，蘋果正逐步結束自研智慧手錶顯示螢幕 Micro LED 計畫，而且已經在重組該團隊並在亞洲和美國裁撤數十位工程師。報導指出，原因是該工作的成本太高、過程也太複雜，因此決定結束這項耗",
"isCategoryHeadline": 1,
"stock": [
"US-AAPL"
],
"video": "",
"payment": 0,
"feature": 0,
"otherProduct": [
"USS:AAPL:STOCK:COMMON"
],
"source": null,
"isOutsource": 0,
"keyword": [
"蘋果",
"Micro LED",
"裁員",
"產業",
"開發",
"Apple Watch"
],
"is24h": 1,
"publishAt": 1711132206,
"coverSrc": {
"xs": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xs/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 100,
"height": 56
},
"s": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/s/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 180,
"height": 101
},
"m": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/m/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 380,
"height": 214
},
"l": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/l/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 640,
"height": 360
},
"xl": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xl/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 960,
"height": 539
},
"xxl": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xxl/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 1080,
"height": 607
}
},
"abTesting": null,
"categoryId": 831,
"categoryName": "美股雷達",
"columnists": null,
"fundCategoryAbbr": [],
"etf": [],
"fbShare": 0,
"fbComment": 0,
"fbCommentPluginCount": 0,
"market": [
{
"code": "AAPL",
"name": "蘋果",
"symbol": "USS:AAPL:STOCK"
}
]
}
...
]
},
"message": "成功",
"statusCode": 200
}

* 為了方便觀察，也可以使用 JSON Editor Online 線上工具來輔助。

可以使用 JSON Editor Online 線上工具來輔助觀察

完整程式碼

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55


import time
import random
import requests
class CnyesNewsSpider():
def get_newslist_info(self, page=1, limit=30):
""" 房屋詳情

 :param page: 頁數
 :param limit: 一頁新聞數量
 :return newslist_info: 新聞資料
 """
headers = {
'Origin': 'https://news.cnyes.com/',
'Referer': 'https://news.cnyes.com/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36',
}
r = requests.get(f"https://api.cnyes.com/media/api/v1/newslist/category/headline?page={page}&limit={limit}", headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return None
newslist_info = r.json()['items']
return newslist_info
if __name__ == "__main__":
cnyes_news_spider = CnyesNewsSpider()
newslist_info = cnyes_news_spider.get_newslist_info()
print(f'搜尋結果 > 全部新聞總數：{newslist_info["total"]}')
print(f'搜尋結果 > 一頁新聞數：{newslist_info["per_page"]}')
print(f'搜尋結果 > 當前頁數：{newslist_info["current_page"]}')
print(f'搜尋結果 > 最後頁數：{newslist_info["last_page"]}')
print(f'搜尋結果 > 前一頁網址：{newslist_info["prev_page_url"]}')
print(f'搜尋結果 > 下一頁網址：{newslist_info["next_page_url"]}')
print(f'搜尋結果 > 此頁新聞第一筆：{newslist_info["from"]}')
print(f'搜尋結果 > 此頁新聞最後一筆：{newslist_info["to"]}')
for news in newslist_info["data"]:
print(f' ------------ {news["newsId"]} ------------')
print(f' 新聞 > URL：https://news.cnyes.com/news/id/{news["newsId"]}')
print(f' 新聞 > 標題：{news["title"]}')
print(f' 新聞 > 概要：{news["summary"]}')
# print(f' 新聞 > 內文：{news["content"]}')
print(f' 新聞 > 關鍵字：{news["keyword"]}')
print(f' 新聞 > 發布時間：{time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(news["publishAt"]))}')
print(f' 新聞 > 分類：{news["categoryName"]} (id:{news["categoryId"]})')
print()
# 如果要爬取多頁新聞，建議加入隨機 delay 一段時間，避免被反爬蟲偵測
# time.sleep(random.uniform(2, 5))

延伸練習

除了我上面示範的 page 和 limit 參數，我們可以發現還有 isCategoryHeadline、startAt、endAt，你能試著將其加入到程式碼內嗎？
我們上面是抓取「即時頭條」，你有辦法改成只抓「台股新聞」這個分類嗎？

結語

學習了基本的網路爬蟲，後續還可以把新聞抓下來後，再透過關鍵字，將新聞做個人化的篩選、分類，甚至串接 LINE Notify 推播訊息📣給自己。

我陸續有在寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎參考和在底下留言支持我~💬

未來從現在開始！

[Python爬蟲實例] 爬取"Agoda"訂房網站的搜尋住宿結果

jia@jiatool.com (Jia) — Sat, 08 Jul 2023 21:35:00 +0800

前言

今天的 Python網路爬蟲實例系列將來介紹 Agoda 訂房網站該如何搜尋住宿結果，看看它是如何發出請求、解析回傳資料，它 WebAPI 的查詢語言有別於我們之前遇過的 REST 風格，它是採用比較新的 GraphQL。

會寫這篇文章，是之前有網友詢問，我稍微試了一下，並將結果記錄下來，因此本篇不會有太詳細的介紹。

旅館 (來源：Unsplash)

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋住宿

請求路徑與參數

我直接在 Agoda 首頁搜尋 "台北市" 的住宿，接下來打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)並重整網頁。

切換到 Network(網路) > Fetch/XHR 分頁，會看見一個 /search 的請求，裡面包含我們這次搜尋住宿的結果。

開發人員工具 > Network > Fetch/XHR

切到 Headers 查看請求的方式與參數。

網址是 https://www.agoda.com/graphql/search、使用 POST 方法、需要帶 payload。

其實從網址就可以猜的出來，它可能是採用 GraphQL 查詢語言。

"搜尋住宿"請求的方式與參數

我將其整理出來，相關參數如下：

GraphQL 查詢語言會把需要的欄位全部列在 Request Body 的 json 格式字串內，所以它請求的 Request Body 會很~長~一串，我文章中就不全部列出來了，可以直接參考這個檔案( agoda_query.json )或自行用瀏覽器的開發人員工具查看。

Request URL：https://www.agoda.com/graphql/search
Request Methon：POST
Request Headers：

1
2
3
4
5


{
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
"Content-Type": "application/json",
"Ag-Language-Locale": "zh-tw"
}

Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


{
"operationName": "citySearch",
"variables": {
"CitySearchRequest": {...},
"ContentSummaryRequest": {...},
"PricingSummaryRequest": {...},
"PriceStreamMetaLabRequest": {...}
},
"query": "query citySearch($CitySearchRequest: CitySearchRequest!, $ContentSummaryRequest: ContentSummaryRequest!, ......"
}

城市代表 ID (cityId) 可以從我們查詢時的網址列 (city) 找到：
https://www.agoda.com/zh-hk/search?city=4951&checkIn=2023-06-19&los=1&rooms=1&... 裡面的 city=4951。

回傳資料

GraphQL 查詢語言的特點就是，其回傳資料的格式等同於你發出請求時所指定的欄位(也就是我們 agoda_query.json 檔案的內容)。

住宿搜尋結果會列在 ["data"]["citySearch"]["properties"] 裡面。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


{
"data": {
"citySearch": {
"aggregation": {},
"featuredPulseProperties": [],
"properties": ["住宿搜尋結果會列在這裡"],
"searchEnrichment": {},
"searchResult": {}
}
}
}

範例程式

使用 Python 搭配 requests 套件的寫法如下：

* 因為請求需要夾帶的 JSON 太長，我存在另外一個檔案( agoda_query.json )內再讀取進來。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


import requests
import json
# 因為請求需要夾帶的 JSON 太長，我存在另外一個檔案內再讀取進來
f = open('agoda_query.json')
data = json.load(f)
response = requests.post(
'https://www.agoda.com/graphql/search',
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36',
'Content-Type': 'application/json',
'Ag-Language-Locale': 'zh-tw'
},
json=data
)
print(response.json())
# 將回傳結果儲存在 JSON 檔案
with open('agoda_result.json', 'w') as fp:
json.dump(response.json(), fp)

延伸練習

我們在搜尋住宿時，會給他許多不同的篩選欄位，例如價格、地點、星級、床型、評價得分…，你知道如何將這些篩選條件加入請求嗎？
(提示：可以觀察 agoda_query.json 這個檔案內容)
Agoda 網站除了找住宿以外，它還可以搜尋機票，試著自己實際找找看吧。
(提示：它好像有一個 POST 請求 https://www.agoda.com/api/gw/flight/searchunbundled，不知道是不是)

結語

Agoda 訂房網站的 WebAPI 是採用比較新的 GraphQL，它可以精確地選擇所需的資料、避免請求過多或過少的資料，有別於我們之前遇過、常見的 REST。

關於 GraphQL 的介紹與 REST 的差異比較，如果有人想看的話(按讚或留言讓我知道)，之後考慮整理一篇出來。

之後會繼續陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言，或追蹤 FB 粉專『 IT空間』~ 🔔

所謂失敗，並非被打倒，而是倒地不起。

[Python爬蟲實例] 591 租屋網 - 搜尋房屋與房屋詳情

jia@jiatool.com (Jia) — Sat, 04 Jun 2022 20:55:00 +0800

前言

之前某天在社團看到網友詢問 591 租屋網的網路爬蟲，因此才有這篇文章的誕生，距離 Python網路爬蟲實例系列上一篇文章已經隔了半年了呢 (好久~

這次要來分別說明 591 租屋網的 "搜尋房屋" 與 "取得房屋詳情" 兩個請求，以及如何發出請求、取得回傳數據資料。

經網友提醒網站有改版，這篇文章的方法已過時，我雖然有再嘗試找出發請求的網址，但發現回傳資料有加密過的，要解開的話還要從它的 JS 程式中尋找 KEY 值，因為太麻煩就沒繼續研究了。

不過後來我還有寫一篇 591 房屋交易「新建案」的搜尋與房屋詳情，有需要的讀者也可以過去逛逛：[Python爬蟲實例] 591 房屋交易 -「新建案」搜尋與房屋詳情

感謝 FB 網友補充 591 反爬蟲機制：https://www.threads.com/@cjs.shawn/post/DPJil0fga33

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

安裝

1
2


pip install requests
pip install beautifulsoup4

搜尋房屋

首先到「 591 租屋網」的搜尋頁面，我們想可以給不同篩選條件，並取得底下結果的房屋資訊。

搜尋房屋結果

請求路徑與參數

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中找找看哪個是搜尋房屋結果的請求。

稍微比對後，即可確定是 https://rent.591.com.tw/home/search/rsList 這個請求。

rsList 請求

但透過 Python 的 requests 直接發送 https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&region=3 請求，卻會收到失敗的訊息。
HTTP 狀態碼 (HTTP Status Code) 為 419，網頁內容顯示 "The page has expired due to inactivity."，推測可能是我們缺少哪些必要參數。

HTTP 狀態碼 419

經過我的測試，發現它需要代上 Cookie 與 X-CSRF-TOKEN 這兩個必要參數，才能夠順利取得資料。

X-CSRF-TOKEN 參數

可以直接在開發人員工具 > Network 搜尋(Ctrl+F)來尋找這個值是從何來。

搜尋 X-CSRF-TOKEN 參數

在 https://rent.591.com.tw/ 的 <meta name="csrf-token"> 裡能找到此字串。
另外 Cookie 也是請求此網址後可取得。

因此在我們實際要搜尋房屋資料前，要先請求 https://rent.591.com.tw/ 將 Cookie 與 X-CSRF-TOKEN 這兩個參數字串準備好。

另外，
我們可以透過帶入不同的搜尋參數值，來達到對結果做不同的篩選。

篩選條件參數

以下我將其全部羅列出來，但第一項 "位置" 有太多種類，就不一一呈現，可以自己選擇後再從 開發人員工具 查看。

* 以下某些選項在網頁上是可以多選的，則參數的數值用逗號 , 隔開即可。
* 如 multiArea=10_20,20_30 坪數 10-20坪和 20-30坪。

房屋類型

類型	kind:
不限	0
整層住家	1
獨立套房	2
分租套房	3
雅房	4
車位	8
其他	24

租金

租金	multiPrice:
5000元以下	0_5000
5000-10000元	5000_10000
10000-20000元	10000_20000
20000-30000元	20000_30000
30000-40000元	30000_40000
40000元以上	40000_

* 如果要自訂租金範圍，改用 rentprice 參數(如 "3000~6000元" 要用 rentprice=3000,6000)。

格局

格局	multiRoom:
1房	1
2房	2
3房	3
4房以上	4

特色

特色	other:
新上架	newPost
近捷運	near_subway
可養寵物	pet
可開伙	cook
有車位	cartplace
有電梯	lift
有陽台	balcony_1
可短期租賃	lease

而以下選項在網頁中需要點擊展開，觀察它 API 再加入以下選項時，還多附加 showMore=1 參數，但實測貌似沒有影響(？)，但建議還是加上比較保險。

型態

型態	shape:
公寓	1
電梯大樓	2
透天厝	3
別墅	4

坪數

坪數	multiArea:
10坪以下	0_10
10-20坪	10_20
20-30坪	20_30
30-40坪	30_40
40-50坪	40_50
50坪以上	50_

* 如果要自訂坪數範圍，改用 area 參數(如 "20~50坪" 要用 area=20,50)。

樓層

樓層	multiFloor:
1層	0_1
2-6層	2_6
6-12層	6_12
12層以上	12_

設備

設備	option:
有冷氣	cold
有洗衣機	washer
有冰箱	icebox
有熱水器	hotwater
有天然瓦斯	naturalgas
有網路	broadband
床	bed

須知

須知	multiNotice:
男女皆可	all_sex
限男生	boy
限女生	girl
排除頂樓加蓋	not_cover

* 要注意，不同 "類型" 的房屋，可附加的篩選條件有些不同，可以實際在網頁先點選嘗試。

排序

還有可通過帶入不同的排序參數，來對搜尋結果房屋作排序。

排序依據	order:
發佈時間	posttime
租金	money
坪數	area

排序順序	orderType:
由小到大	asc
由大到小	desc

換頁

而一次請求只會傳回 30 筆資料，就等同於網頁顯示"一頁"的資料，我們可以試著在瀏覽器切換不同頁數，觀察請求的網址變化：

第 1 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&
第 2 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=30&totalRows=11227
第 3 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=60&totalRows=11227
第 10 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=270&totalRows=11227

最後的 totalRows 是代表此條件的搜尋結果總筆數，但經過我的嘗試，貌似有沒有帶此參數，並不影響結果。

重點是在 firstRow 參數，代表要從第幾筆資料開始取得，這跟我們以前在其他文章提過的 offset 概念類似。
(可參考我之前整理的 (圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式文章)

firstRow=0 -> 代表第 1 頁；
firstRow=30 -> 代表第 2 頁；
firstRow=60 -> 代表第 3 頁；

再補充一點，在以 "鄉鎮" 為條件搜尋時，需要在 cookie 內加入一個參數，否則搜尋出來會沒有結果。
'urlJumpIp', '17', domain='.591.com.tw', path='/'

這是經網友留言提問，另一位熱心網由找到解答並回覆，我稍微調整一下寫法，使其加入範例程式碼內。

回傳資料

回傳資料會有此條件搜尋出來的房屋總筆數(records)，以及房屋基本資訊(data > data)，而房屋基本資訊會有像是 "標題"、"價格"、"圖片"、"房屋類型"、"樓層"、"地區"、"標籤"……等等，大致上就是你在網頁可以看到的那些資訊。

回覆資料範例： house591_search.json (搜尋房屋)

範例程式

使用 Python 撰寫 "搜尋房屋" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


 def search(self, filter_params=None, sort_params=None, want_page=1):
""" 搜尋房屋 """
total_count = 0
house_list = []
page = 0
# 紀錄 Cookie 取得 X-CSRF-TOKEN
s = requests.Session()
url = 'https://rent.591.com.tw/'
r = s.get(url, headers=self.headers)
soup = BeautifulSoup(r.text, 'html.parser')
token_item = soup.select_one('meta[name="csrf-token"]')
headers = self.headers.copy()
headers['X-CSRF-TOKEN'] = token_item.get('content')
# 搜尋房屋
url = 'https://rent.591.com.tw/home/search/rsList'
params = 'is_format_data=1&is_new_list=1&type=1'
if filter_params:
# 加上篩選參數，要先轉換為 URL 參數字串格式
params += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
else:
params += '&region=1&kind=0'
# 在 cookie 設定地區縣市，避免某些條件無法取得資料
s.cookies.set('urlJumpIp', filter_params.get('region', '1') if filter_params else '1', domain='.591.com.tw')
# 排序參數
if sort_params:
params += ''.join([f'&{key}={value}' for key, value, in sort_params.items()])
while page < want_page:
params += f'&firstRow={page*30}'
r = s.get(url, params=params, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
page += 1
data = r.json()
total_count = data['records']
house_list.extend(data['data']['data'])
# 隨機 delay 一段時間
time.sleep(random.uniform(2, 5))
return total_count, house_list

取得房屋詳情

"取得房屋詳情" 是指從搜尋頁面選一間房屋後點進來，所呈現關於此房屋的詳細資訊。

房屋詳細資訊

請求路徑與參數

一樣打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中就可以找到是哪個請求。

經過比對，確認是 https://bff.591.com.tw/v1/house/rent/detail?id=1254xxxx 請求，網址後方也可以發現是代表此房屋的 ID，也等同於目前瀏覽器網址後方的數字。

detail 請求

不過相比 "搜尋房屋" API 所需要的參數，"取得房屋詳情" 還多了 device、deviceid 兩個必備參數，

device 就固定 pc 即可，而 deviceid 我們透過搜尋(Ctrl+F)發現，它隱藏在 "cookie" 之中，所以之後程式要將其字串抓出來代上。

deviceid 參數

回傳資料

回傳資料大致上也是與網頁上的一樣，關於此房屋的詳細資訊，你可以挑出需要的欄位來儲存，或進一步判斷執行其他動作。

回覆資料範例： house591_detail.json (房屋詳情)

範例程式

使用 Python 撰寫 "搜尋房屋" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


 def get_house_detail(self, house_id):
""" 房屋詳情 """
# 紀錄 Cookie 取得 X-CSRF-TOKEN, deviceid
s = requests.Session()
url = f'https://rent.591.com.tw/home/{house_id}'
r = s.get(url, headers=self.headers)
soup = BeautifulSoup(r.text, 'html.parser')
token_item = soup.select_one('meta[name="csrf-token"]')
headers = self.headers.copy()
headers['X-CSRF-TOKEN'] = token_item.get('content')
headers['deviceid'] = s.cookies.get_dict()['T591_TOKEN']
# headers['token'] = s.cookies.get_dict()['PHPSESSID']
headers['device'] = 'pc'
url = f'https://bff.591.com.tw/v1/house/rent/detail?id={house_id}'
r = s.get(url, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return
house_detail = r.json()['data']
return house_detail

完整程式碼

我將以上兩種請求寫到 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： house591_spider.py | GitHub

延伸練習

在上面教學與範例中，我們都是搜尋 "所有物件" 的房屋，那如果我想搜尋 "優選好屋" 該如何帶 API 參數呢？
你能試著找出全台最貴的租屋要多少租金嗎？並且是在哪個縣市鄉鎮？
台中市的房屋中 "整層住家"、"獨立套房"、"分租套房"、"雅房" 之間的數量與比例是多少呢？會是分租套房最多嗎？

結語

最後也要提醒，不要太頻繁地發出請求，這對伺服器來說算是種攻擊，也容易被擋，建議請求之間要加入 delay。

如果有找到適合或有趣的題材，會繼續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言，或追蹤 FB 粉專『 IT空間』~ 🔔

要成就一件大事業，必須從小事做起。

—— 列寧

[Python爬蟲實例] 巴哈姆特動畫瘋：新手入門基礎網路爬蟲教學

jia@jiatool.com (Jia) — Sat, 11 Dec 2021 20:55:00 +0800

前言

這次文章比較面向網路爬蟲初學者，以爬取" 巴哈姆特動畫瘋 "的本季新番動畫資訊示範，從如何使用開發人員工具尋找網頁元素，到如何轉為可實際運作的程式碼，從頭到尾的流程。

來源：巴哈姆特動畫瘋

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 網路爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

教學

先說明本篇網路爬蟲目標，只針對較容易爬取的欄位來教學，分別是"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"等資料，以下瀏覽器以 Chrome 版本 96.0.4664.45 示範。

來到 " 巴哈姆特動畫瘋 " 網頁後打開"開發人員工具" (F12 或 Ctrl + Shift + i)。

巴哈姆特動畫瘋網頁

網頁元素架構

想要知道網頁上的資料在哪個元素中，有個好用的選擇工具，位於開發人員工具地左上角。
點它一下後，可以直接在網頁上點擊想要查看的區塊，Elements(元素)視窗裡的程式碼會自動跳到相應的地方。

開發人員工具內的選擇工具

但在找元素的定位之前，我們先來觀察元素的架構，這也會影響到後續程式碼的流程。

搭配以上說的"選擇工具"(Ctrl + Shift + C)，可以看出這部分的架構如下圖：

網頁元素架構

外圈會有一個 <div class="newanime-block"> 開頭，一直到下面以 </div> 結尾 (因為太長，所以圖片沒有擷取到結尾)，圖片中我以黃色方框表示。

而裡面每一部動畫的元素我以綠色方框表示，一個黃色框底下包含許多綠色框(動畫資訊)，在右邊開發人員工具中我以灰色框所圈起來的，每一個都對應著左邊網頁中一部動畫資訊。

發出請求

好，來寫網路爬蟲程式吧~💪
從請求網頁開始。

首先引入 requests 套件，來對"巴哈姆特動畫瘋"網址(https://ani.gamer.com.tw/)發出 GET 請求，再從它回傳的狀態碼(HTTP Status Code)來判斷請求是否成功。

* 我們網路爬蟲最常使用的 HTTP 請求方法為 "GET" 和 "POST"，兩者介紹與差異可以參考別人撰寫的文章： http Post 和 Get 差異 | Medium

1
2
3
4
5
6
7


import requests
r = requests.get('https://ani.gamer.com.tw/')
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

執行後……ㄟㄟ？！
為什麼請求失敗，回傳的狀態碼是"503"，不過使用瀏覽器網頁卻是正常顯示的。
(各個狀態所代表的意思： HTTP狀態碼 | 維基百科 )

很有可能是我們送出的請求中缺少某些要素(資料)，以至於動畫瘋的伺服器不回傳資料給我們，
最一開始，可以先加上 Headers 內的 "User-Agent" 試試：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

果然，這樣再執行程式碼就請求成功了~

你可能會想問「User-Agent」是什麼？從哪來的？

「User-Agent」(使用者代理)簡單來說是要"自我介紹"，說明自己是誰、版本號多少、使用什麼作業系統這類資訊。
例如我這邊是使用 Chrome 瀏覽器、版本為 96.0.4664.45、作業系統為 Windows 10 64 位元。如果你是使用 Android 或 iOS 系統的手機，那它送出去的 User-Agent 也會有所不同。

「User-Agent」算是一個讓伺服器最簡易判斷送出請求的人是誰，是電腦瀏覽器？是手機瀏覽器？還是Google爬蟲？
不過就像我們上面程式操作的，它也很容易自己去更改。

* 要怎麼辨別使用者瀏覽者用哪種瀏覽器呢？用UserAgent是最簡單的方式喔！

那該如何取得請求的「User-Agent」？

在開發人員工具視窗裡切換到 "Network" 分頁，篩選確認是在 "All"，重整網頁(F5)，這樣它才會抓到我們送出的請求。
然後會在下方列表的最上面看到 "ani.gamer.com.tw" 的請求。

開發人員工具 > Network

點擊 "ani.gamer.com.tw" 請求後，在右邊出現的視窗中切到 "Headers" 分頁 (正常來說預設就是"Headers"分頁)。
找到在 Request Headers 底下的 "user-agent" 欄位，這個數值就是你瀏覽器發出請求時，所包含的 User-Agent。

Headers > Request Headers > user-agent

* 此圖片是後來截圖的，所以瀏覽器版本號有些不同。

解析網頁元素

我們在請求成功後，將網頁原始碼顯示出來看看：

1

print(r.text)

接下來要從網頁原始碼解析出我們要的資料，雖然你可以直接從網頁原始碼"字串"切出想要的資料，但光想就知道很麻煩。

網頁原始碼 HTML 是有一定的規則，依循此規則架構可以容易地取出資料。我們將藉助 BeautifulSoup 套件，解析 HTML 文件，方便我們提取資料。

一樣要先將套件引入：

1

from bs4 import BeautifulSoup

* BeautifulSoup 基礎常用說明參考： Python 使用 Beautiful Soup 抓取與解析網頁資料，開發網路爬蟲教學

將剛剛取得的網頁原始碼傳入，並選擇使用內建的 html.parser 解析器：

1

soup = BeautifulSoup(r.text, 'html.parser')

要抓取元素，需要給程式依據，讓它可以正確定位到你想抓取哪個元素。

那照上面的 "網頁元素架構" 圖片所示，動畫資料的元素都被包在 <div class="newanime-block"> 之中，是不是只要抓 class 等於 newanime-block 就完事了呢？

可惜這樣會有個小問題，在此網頁中 class 等於 newanime-block 的元素有兩個啊 😕

怎麼知道的？！
在 "開發人員工具" 的 "Elements" 分頁中開啟搜尋框(鍵盤 Ctrl + F)，並輸入 .newanime-block (注意前面有小數點)。
.newanime-block 等於告訴它我要尋找 class 等於 newanime-block 的元素，可以看見它找到兩個符合此條件的元素。

* 你可能還不清楚如何寫 CSS Selector (選擇器)，之前我整理一篇常用的幾種寫法，可以搭配練習：
常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

"Elements" 分頁中搜尋

原來這兩個分別是代表 "本季新番" 和 "週期表" 的動畫。

從 <div class="newanime-block"> 再往上看一層，會發覺兩者有不同之處(用來定位元素)，一個 class 有 timeline-ver，另一個是 normal-ver，因此我們可以改用 .timeline-ver > .newanime-block 來更準確定位，也就是跟程式說 "我要抓取 class 有包含 timeline-ver 元素底下一層 class 有包含 newanime-block 的元素"。

* class 不一定要全部都寫，主要找出它代表性的、盡量不要跟別的元素重複的 class 即可。

網頁元素架構

程式中以這樣撰寫：

1

newanime_item = soup.select_one('.timeline-ver > .newanime-block')

再往下一層可抓到每一個動畫資料元素，我就以 newanime-date-area 這個 class 來定位。
每個綠框代表一組動畫的元素。

動畫資料元素

這邊程式碼有一些些不同，剛剛是只要抓一個元素，所以使用 select_one()，但這邊是要抓全部的動畫元素，有很多個就必須使用 select()，它會以"陣列"的形式回傳：

1

anime_items = newanime_item.select('.newanime-date-area')

到目前為止，程式部分如下。
為了察看結果，我先暫時用 len() 來看共抓到幾組動畫元素。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
print(len(anime_items))
else:
print(f'請求失敗：{r.status_code}')

終於要進入抓取 "動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結" 的時候了🎉

一樣使用"選擇工具"(Ctrl + Shift + C)輔助，觀察動畫資料元素的架構：

動畫資料元素

一樣像前面說明，先透過 CSS Selector (選擇器)抓到元素，再來可以使用 text 提取文字，最後的 strip() 只是將字串的前後空格和換行去除。

1
2
3
4
5
6
7
8
9


# 取得元素
anime_name = anime_item.select_one('.anime-name > p')
print(anime_name)
# <p class="">無職轉生，到了異世界就拿出真本事</p>
# 取得元素裡的文字
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
# 無職轉生，到了異世界就拿出真本事

而 "觀看連結" 稍微特別一點，連結並不是以文字形式被包在元素之間，而是在元素裡的 href 屬性，這時要透過 get('href') 方法來取得。

而且只有網址的後半段，所以我們要再補上前半部才完整。

動畫觀看連結

1
2


anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)

到這部分的程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
# 依序針對每個動畫區塊擷取資料
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

好耶~ 快來執行看看~

怎麼發生錯誤了... OAQ...

抓取動畫元素失敗

檢查後發現，原來是最後這個"付費比例"區塊搞的鬼，它也同樣有 newanime-date-area 這個 class，一樣會被抓出來，但它沒有動畫名稱，所以才會造成後續在取得文字時發生錯誤。

付費比例區塊

沒關係，可以看見它有個獨特的 class premium-block，我們程式只要使用 :not() 將其排除即可。

1
2
3
4


# 原先寫法
anime_items = newanime_item.select('.newanime-date-area')
# 改成將"付費比例"區塊排除
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')

好了，花費九牛二虎之力(?)
網頁中"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"的資料都如期取得啦~👍

兎田ぺこら

最終程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

對了，動畫還有"日期"與"時間"資料，"時間"資料不難取得，和上方教學的方式一樣，不過"日期"在這邊就稍微麻煩點了，本篇文章屬於基礎教學，就先跳過它，但我會附在"完整程式碼"中。

完整程式碼

附上完整程式碼供參考： gamer_ani_spider.py | GitHub

延伸練習

你能試著抓取動畫的圖片網址嗎？會遇到什麼問題？最後如何解決？
除了"本季新番"這個畫面的資料，它還可以切換到"週期表"的畫面。
這邊交由你試試看，能不能藉由文章的教學，實際自己爬取資料？

結語

在上方教學範例中，使用哪些 class 來定位都不是絕對，你可以嘗試不同的組合、不同的寫法。
從實作中摸索、犯錯後尋找解答是學習程式的一個很好的方法。

我陸續都有在寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言🔖，或追蹤 FB 粉專『 IT空間』~ 🔔

我們總是在注意錯過太多，卻不注意自己擁有多少。

—— 《未聞花名》

[Python爬蟲實例] 104人力銀行：抓取更詳細的職缺資訊，搶先別人一步收到通知！

jia@jiatool.com (Jia) — Sat, 07 Aug 2021 20:30:00 +0800

前言

最近這兩年受到疫情的衝擊，不少人遭到公司裁員，接下來可能就該思考尋找下份工作了。

台灣老字號、最大的人力銀行— 104人力銀行，我們來看看其網頁是如何向後端請求職缺資料，實際用 Python 來在 104 上搜尋職缺、查看職缺詳細資料。

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋職缺

當在104人力銀行網頁上方，輸入職缺的篩選條件後搜尋，下方會顯示出搜尋結果，中間也有許多篩選條件、排序方式供我們使用。

我們來找找"python"在"台北市"內現在有哪些職缺吧~

搜尋職缺 104人力銀行

請求路徑與參數

跟以前的步驟一樣，一開始先打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，找找網頁有沒有透過動態載入的方式請求職缺資料。

此時重新整理(F5)網頁，好像沒看見有關職缺資料的請求。
先別放棄，可以往下滾頁面或更改篩選條件，有了！發現到一個 list 開頭的請求，包含著職缺相關資料。

* 一開始點搜尋、網頁第一次載入卻沒有職缺的請求，應該是因為它已經崁入在網頁內一起傳送過來顯示了。

搜尋職缺請求 104人力銀行

切回到 Headers 查看請求的方式與參數。

"搜尋職缺"請求的方式與參數

並且在用程式測試此請求時，發現還要帶上 Headers 內的 Referer 參數，才可正常取得資料。

將其整理出來，相關參數如下：

Request URL：https://www.104.com.tw/jobs/search/list
Request Methon：GET
Headers Referer：https://www.104.com.tw/jobs/search/

Query String Parameters：

ro: 0
kwop: 7
keyword: python
expansionType: area,spec,com,job,wf,wktm
area: 6001001000
order: 1
asc: 0
page: 1
mode: s
jobsource: 2018indexpoc

請求網址後方代的參數有很多，代表我們對職缺的篩選條件與排序條件，經過我的實測整理出以下。

篩選條件

某些條件可以多選(使用 , 連接)，某些條件只能單選。
例如我要查詢"台北市"與"新北市"的職缺，就需要帶上 area=6001001000,6001002000。

頁數 page
關鍵字 keyword
地區 area

地區	數值
台北市	6001001000
新北市	6001002000
桃園市	6001005000
台中市	6001008000
彰化縣	6001010000
台南市	6001014000
高雄市	6001016000

上班時段 s9

上班時段	數值
日班	1
夜班	2
大夜班	4
假日班	8

是否輪班 s5

是否輪班	數值
不需輪班	0
輪班	256

休假制度 wktm

休假制度	數值
沒有週休二日	0
週休二日	1

更新日期 isnew

更新日期	數值
本日最新	0
三日內	3
一週內	7
兩週內	14
一個月內	30

經歷要求 jobexp

經歷要求	數值
1 年以下	1
1-3 年	3
3-5 年	5
5-10 年	10
10 年以上	99

科技園區 newZone

科技園區	數值
竹科	1
中科	2
南科	3
內湖	4
南港	5

公司類型 zone

公司類型	數值
上市上櫃	16
外商一般	5
外商資訊	4

福利制度 wf

福利制度	數值
年終獎金	1
三節獎金	2
員工旅遊	3
分紅配股	4
設施福利	5
休假福利	6
津貼/補助	7
彈性上下班	8
健康檢查	9
團體保險	10

學歷要求 edu

學歷要求	數值
高中職以下	1
高中職	2
專科	3
大學	4
碩士	5
博士	6

上班型態 remoteWork

上班型態	數值
完全遠端	1
部分遠端	2

排除關鍵字 excludeJobKeyword
只搜尋職務名稱 kwop

只搜尋職務名稱	數值
只搜尋職務名稱	1

排序條件

排序依據 order

排序依據	數值
符合度	1
日期	2
經歷	3
學歷	4
應徵人數	7
待遇	13

排序順序 asc

排序順序	數值
由大到小	0
由小到大	1

回傳資料

切換到此請求的 Preview 分頁，能讓我們方便的檢視回傳資料，了解它的資料結構。
資料為 JSON 格式(原始資料可至 Response 分頁查看)。

"搜尋職缺"請求的回傳資料

依照我觀察到的推測，來說明個欄位所代表的數值意思：

status、statusMsg、errorMsg：請求狀態與訊息。
pageNo：頁數。
data > count：各種類的職缺數量，如下圖藍框圈選內顯示數量。

各種類的職缺數量
data > totalCount：搜尋結果的職缺"總數"。
data > totalPage：搜尋結果的職缺"總頁數"。
data > list：搜尋職缺結果，包含各職缺名稱、簡介、公司等等資訊，通常一次最多 20 筆資料。
data > query：搜尋職缺的 query 參數，也就是我們送出請求所夾帶的篩選條件，像是地區、經歷要求、上班時段。
data > queryDesc：搜尋職缺的 query 參數所代表的意思。

"搜尋職缺"回覆資料範例：104_search.json

* 其中得到的資料，有些還要進一步轉換或挑選，因此我們還可以再寫個函式來執行此步驟，可參考" 完整程式碼 "。

範例程式

使用 Python 搭配 requests 套件的寫法如下，：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65


import time
import random
import requests
def search_job(keyword, max_mun=10, filter_params=None, sort_type='符合度', is_sort_asc=False):
"""搜尋職缺"""
jobs = []
total_count = 0
url = 'https://www.104.com.tw/jobs/search/list'
query = f'ro=0&kwop=7&keyword={keyword}&expansionType=area,spec,com,job,wf,wktm&mode=s&jobsource=2018indexpoc'
if filter_params:
# 加上篩選參數，要先轉換為 URL 參數字串格式
query += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'Referer': 'https://www.104.com.tw/jobs/search/',
}
# 加上排序條件
sort_dict = {
'符合度': '1',
'日期': '2',
'經歷': '3',
'學歷': '4',
'應徵人數': '7',
'待遇': '13',
}
sort_params = f"&order={sort_dict.get(sort_type, '1')}"
sort_params += '&asc=1' if is_sort_asc else '&asc=0'
query += sort_params
page = 1
while len(jobs) < max_mun:
params = f'{query}&page={page}'
r = requests.get(url, params=params, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
data = r.json()
print(data['status'], data['statusMsg'], data['errorMsg'])
break
data = r.json()
total_count = data['data']['totalCount']
jobs.extend(data['data']['list'])
if (page == data['data']['totalPage']) or (data['data']['totalPage'] == 0):
break
page += 1
time.sleep(random.uniform(3, 5))
return total_count, jobs[:max_mun]
filter_params = {
'area': '6001001000', # (地區) 台北市
's9': '1', # (上班時段) 日班
'isnew': '0', # (更新日期) 本日最新
'jobexp': '1,3', # (經歷要求) 1年以下,1-3年
'zone': '16', # (公司類型) 上市上櫃
}
total_count, jobs = search_job('python', max_mun=10, filter_params=filter_params)
print('搜尋結果職缺總數：', total_count)

取得職缺詳細資料

透過上一步"搜尋職缺"所得到的職缺資料還不太完整，接下來我們來尋找取得職缺詳細資料的辦法。

這邊以此職缺為範例說明。

請求路徑與參數

如果你點進職缺介紹網頁後，在 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，會發現它也是動態載入的方式請求。

"取得職缺詳細資料"請求的方式與參數

後方的 71gqf 代表此職缺的 ID。

還有請求一樣需要帶上 Headers 內的 Referer 參數，才可正常取得資料。

將其整理出來，相關參數如下：

Request URL：https://www.104.com.tw/job/ajax/content/71gqf
Request Methon：GET
Headers Referer：https://www.104.com.tw/job/71gqf

回傳資料

切換到此請求的 Preview 分頁，能讓我們方便的檢視回傳資料，了解它的資料結構。
資料為 JSON 格式(原始資料可至 Response 分頁查看)。

"取得職缺詳細資料"請求的回傳資料

依照我觀察到的推測，來說明個欄位所代表的數值意思，在 data 底下：

header：標題。

"標題"網頁區塊

"標題"JSON

jobDetail：工作內容。

"工作內容"網頁區塊

"工作內容"JSON

condition：條件要求，例如工作經歷、學歷要求、語文條件、擅長工具、工作技能等等。

"條件要求"網頁區塊

"條件要求"JSON

environmentPic：公司環境照片。

"公司環境照片"網頁區塊

"公司環境照片"JSON

welfare：福利制度。

"福利制度"網頁區塊

"福利制度"JSON

contact：聯絡方式，例如聯絡人、連絡電話等等。

"聯絡方式"網頁區塊

"聯絡方式"JSON

"取得職缺詳細資料"回覆資料範例：104_job.json

範例程式

使用 Python 搭配 requests 套件的寫法如下，：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


import requests
def get_job(job_id):
"""取得職缺詳細資料"""
url = f'https://www.104.com.tw/job/ajax/content/{job_id}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'Referer': f'https://www.104.com.tw/job/{job_id}'
}
r = requests.get(url, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return
data = r.json()
return data['data']
job_info = get_job('71gqf')
print(job_info)

完整程式碼

我將"搜尋職缺"與"取得職缺詳細資料"包成一個 class，可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： job104_spider.py | GitHub

其他說明

"搜尋職缺"送出的請求中，我發現如果排序依據是選擇"符合度排序"，它送出的請求第一頁是 order: 1，第二頁之後卻變成 order: 15。
如果有網友知道原因，歡迎底下留言跟我說(也可到 FB粉專留言)，我再補上說明，感謝~

延伸練習

在上方文章的"搜尋職缺"章節中，說了很多篩選參數(上班時段、經歷要求、學歷要求)，但還是有些網頁上有的篩選條件沒有說到，例如"薪資待遇"、"外語要求"，這部分你可以試著將它添加到程式內嗎？
(要注意的事，一個篩選條件不一定只有影響一個篩選參數)
試著自己做個"自動職缺通知"，設定好篩選條件後，以日期排序，每天晚上就排程執行程式，如果有新的職缺，馬上透過 Line 或 Email 通知你，讓你搶先別人一步收到訊息。

結語

除了後續可以嘗試自製 "自動職缺通知" 以外，從回傳的資料中，還可以發現有些網頁上沒列出來的資訊呢！
像是顯示 "11~30人應徵"，到底準確是幾個人應徵，也可以從回傳資料中找到。

相信所有的挫折，都是最好的安排。

—— 郭婞淳 (台灣舉重國手)

(圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式

jia@jiatool.com (Jia) — Sat, 10 Jul 2021 20:40:00 +0800

前言

之前時不時有網友在詢問有關網路爬蟲"翻頁"的問題：

我該如何抓取下一頁的文章呢？
使用 limit 最多只能抓到前 100 筆留言，那之後的該怎麼取得？

我發覺可能之前 Python 網路爬蟲實例系列內沒有說明清楚。
因此這篇文章，將整理目前我遇過的網路爬蟲 API 中，常遇見的三種「翻頁」方式，並且搭配簡易圖示，希望讓剛進此領域的網友能更容易理解。

圖片來源：Pexels

說明

想要爬取某個網站，也順利找出網頁是使用動態載入請求 API 的方式，但遇到像 Dcard 這種的文章列表或留言列表，它是往下滾，就會送出新請求來取得下一頁資料。

那麼，它是如何達成「翻頁」的呢？

底下會依照這三種常遇到的「翻頁」方式來分別說明：

頁數 (page)
偏移 (limit & offset)
指定ID (pid)

頁數 (page)

翻頁方式 - 頁數

第一種最容易理解、最直覺的是頁數，這就跟我們一般瀏覽網頁一樣，你想要看第幾頁，就給它第幾頁的頁數即可。

page 代表資料的頁數。

不過缺點是不能彈性調整每次抓取的量，假如此 API 一頁是 30 則留言，就算我只想取前 5 則留言，一樣一次請求還是會抓到 30 則留言，除了會占用較多流量，也可能花費較多時間。

舉例來說：
想抓第一頁 page=1，想抓第二頁是 page=2，同理第99頁就是 page=99。

實際網站範例：
「 PChome 線上購物」"商品搜尋"中的 page。
「聯合新聞網」"文章列表"中的 page。

偏移 (limit & offset)

翻頁方式 - 偏移

第二種翻頁方式就解決了第一種的問題，變成可「彈性調整抓取量」。
它藉由兩個參數來達成，分別為"limit"與"offset" (不同 API 參數名稱可能不同)

limit 代表一次請求最大資料筆數。
offset 代表資料的偏移值。

* offset(foodpanda)參數在不同網站的 API 有不同名稱，例如 newest(蝦皮購物)、after(Dcard)。

舉例來說：
抓前三筆資料是 limit=3 offset=0。
想取得第六、七筆資料，將資料偏移 5 (從第一筆資料開始往下加五筆的意思)、限制一次 2 筆，就是 limit=2 offset=5。

實際網站範例：
「 foodpanda 」"搜尋餐廳"中的 limit 和 offset。
「蝦皮購物」"搜尋商品"中的 limit 和 newest。
「 Dcard API 」"留言列表"中的 limit 和 after。

指定ID (pid)

翻頁方式 - 指定ID

第三種翻頁方式感覺像是第二種的改版，有些網站一樣有"limit"來限制最大資料筆數，但"offset"換成了"pid"參數，"pid"參數需要帶入上一頁最後一筆資料的數值。
但它就限制了你，不能直接跳到後面的頁數，例如我想看第 100 筆資料，你還是要請求一頁才知道下一頁的網址。

limit 代表一次請求最大資料筆數。
pid 上一頁最後一筆的 ID。

* pid(NOWnews)參數在不同網站的 API 有不同名稱，例如 before(Dcard)、pageToken(YouTube Data API)。而 NOWnews 不需要 limit 參數，它 API 已經有限制一次的資料量了。

舉例來說：
抓前三筆資料是 limit=3 pid=，因為這是最前面的資料，pid 就不需要給值。
而取得第四、五筆資料，因為只要兩筆，limit 帶入 2，前一頁最後一筆資料 ID 為 003，因此 pid 帶入 003，結果就是 limit=2 pid=003。

實際網站範例：
「 NOWnews今日新聞」"新聞列表"中的 pid。
「 Dcard API 」"文章列表"中的 limit 和 before。
「 YouTube Data API 」"留言列表"中的 maxResults 和 pageToken。

注意：YouTube Data API 的 pageToken 有點不太一樣，它是帶入上一頁回傳的的 nextPageToken，而不是最後一筆資料的 ID。

三者方式比較

我進一步將以上三種翻頁方式放在一起比較，如下圖範例所示。

假如左邊是此 API 可以獲取的全部資料，可以看到共有五篇文章，各自有 ID(id) 和標題(title) 欄位，同樣要取得綠色區塊(第三和第四篇文章)，以上三種翻頁方式實際會需要帶入這些數值。

三種翻頁方式比較

頁數：假設它一頁是兩筆資料，那我們要帶入 pega=2 來取到第二頁資料。
偏移：一次想取兩筆資料，因此 limit=2；我們要從第三筆開始取，因此 offset=2。
指定ID：一次想取兩筆資料，因此 limit=2；上一頁最後一筆資料的 ID 是 002，因此 pid=002。

結語

不知道透過上面的說明與比較，是不是讓你對於 API 常見的幾種翻頁方式更了解了呢？
提醒各網站 API 本身可能有些微差異，詳細規則還是要查看 API 文件。

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

Stay hungry. Stay foolish
求知若飢，虛心若愚。

—— 史蒂夫·賈伯斯

[Python爬蟲實例] 教你爬取"foodpanda"餐飲外送平台

jia@jiatool.com (Jia) — Tue, 22 Jun 2021 20:30:00 +0800

前言

現在疫情肆虐，全台提升至第三級警戒，餐廳也被限制不能內用，只能被迫發展外帶(外送)或休店，因而許多人開始轉往像 foodpanda、Ubereats 此類餐飲外送平台來訂餐，也避免外出與人接觸的風險。

今天的 Python網路爬蟲實例系列將來介紹 foodpanda(網頁版) 該如何搜尋餐廳、查看餐廳資訊與菜單，看看它是如何發出請求、解析回傳資料。

餐點 (來源：Unsplash)

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋餐廳

請求路徑與參數

假如我目前位在"高雄車站"，想要喝杯"星巴克"的美式咖啡，因此我到 foodpanda 搜尋"星巴克"，點擊"搜尋"。

此時，你的網址會長的大概像這樣：
https://www.foodpanda.com.tw/restaurants/new?lat=22.639473&lng=120.3025185&vertical=restaurants&expedition=delivery&query=%E6%98%9F%E5%B7%B4%E5%85%8B

此時在瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，會看見一個 feed 的請求(如果沒出現再重新搜尋)，裡面放的即是搜尋出來的餐廳結果。

開發人員工具 > Network > XHR > feed

切到 Headers 查看請求的方式與參數。

網址是 https://disco.deliveryhero.io/search/api/v1/feed、使用 POST 方法、需要帶的 payload。

"搜尋餐廳"請求的方式與參數

我將其整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/search/api/v1/feed
Request Methon：POST

Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


{
"q": "星巴克",
"location": {
"point": {
"latitude": 22.639473,
"longitude": 120.3025185
}
},
"config": "Variant21",
"customer_id": "",
"vertical_types": [
"restaurants"
],
"include_component_types": [
"vendors"
],
"include_fields": [
"feed"
],
"language_id": "6",
"opening_type": "delivery",
"platform": "web",
"session_id": "",
"language_code": "zh",
"customer_type": "regular",
"limit": 48,
"offset": 0,
"dps_session_id": "eyJzZXNzaX2lk......MjM1zOTl9",
"dynamic_pricing": 0,
"brand": "foodpanda",
"country_code": "tw",
"use_free_delivery_label": false
}

foodpanda 會依照你附近的餐廳去搜尋，因此請求內需要帶入經緯度，你可以用自己目前所在的位置，或指定特定位置。
例如我使用 Google 地圖點擊地點後，在網址列的部分可以看到此地點的經緯度：

高雄車站經緯度

q 參數就是放入搜尋的關鍵字。

limit 與 offset 即是限制此次請求的最大資料筆數與偏移值，如果請求你使用 limit:48 offset:0 (第一頁)，那改成 limit:48 offset:48 就是第二頁。

其餘參數照原樣帶入即可，以及有些可以刪除。

有一點要注意，搜尋結果只會顯示目前還在營業時間內的餐廳。所以我自己在測試時，一開始還覺得奇怪，怎麼有時候搜的到這家店，但有時候又搜不到 XDDD

回傳資料

回傳資料內，data['feed']['count'] 會顯示此搜尋的餐廳總數，在 data['feed']['items'][0]['items'] 存放著搜尋結果(餐廳列表)。

餐廳列表包含著每一間餐廳的基本資訊，像是"餐廳名稱"、"地址"、"評分"、"評論數量"、"餐廳圖片"等等，詳細可參考底下 JSON 內資料。

回覆資料範例： fp_search.json (單一一間餐廳)

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


import json
import requests
url = 'https://disco.deliveryhero.io/search/api/v1/feed'
payload = {
'q': '星巴克',
'location': {
'point': {
'longitude': 120.3025185, # 經度
'latitude': 22.639473 # 緯度
}
},
'config': 'Variant17',
'vertical_types': ['restaurants'],
'include_component_types': ['vendors'],
'include_fields': ['feed'],
'language_id': '6',
'opening_type': 'delivery',
'platform': 'web',
'language_code': 'zh',
'customer_type': 'regular',
'limit': 48, # 一次最多顯示幾筆(預設 48 筆)
'offset': 0, # 偏移值，想要獲取更多資料時使用
'dynamic_pricing': 0,
'brand': 'foodpanda',
'country_code': 'tw',
'use_free_delivery_label': False
}
headers = {
'content-type': "application/json",
}
r = requests.post(url=url, data=json.dumps(payload), headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
restaurants = data['feed']['items'][0]['items']
for restaurant in restaurants[:5]:
print(restaurant['name'])
else:
print('請求失敗')

* 傳入 Payload 前需要用 json.dumps() 將其轉成 JSON 格式。
* Headers 內要加入 content-type(HTTP 內容類型) 來表明用 JSON 格式來傳遞參數資料。

除了透過"搜尋關鍵字"來取得餐廳列表，接下來介紹常見的"附近所有餐廳"、"分類推薦的餐廳"兩種方式。

取得附近所有餐廳

請求路徑與參數

網址是 https://disco.deliveryhero.io/listing/api/v1/pandora/vendors、使用 GET 方法以及需要的查詢參數Query String Parameters。

"附近所有餐廳"請求的方式與參數

經過測試，請求的標頭還需要帶上'x-disco-client-id': 'web'。

整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/listing/api/v1/pandora/vendors
Request Methon：GET
Request Headers：{'x-disco-client-id': 'web'}

Query String Parameters：

latitude: 22.6394088
longitude: 120.3025474
language_id: 6
include: characteristics
dynamic_pricing: 0
configuration: Original
country: tw
customer_id:
customer_hash:
budgets:
cuisine:
sort:
food_characteristic:
use_free_delivery_label: false
vertical: restaurants
limit: 48
offset: 0
customer_type: regular

還可以透過帶入不同的參數值，來達到對結果做不同的篩選。

取餐方式

外送
vertical: restaurants
外帶自取
vertical: restaurants
opening_type: pickup
生鮮雜貨
vertical: shop

排序方式

排序	sort:
排序(預設)
評分最高	rating_desc
最快送達	delivery_time_asc
距離	distance_asc

例如想將結果的餐廳依照"評分最高到低"排序，則只需要將 sort 帶入 rating_desc (sort:rating_desc)。

有折扣
has_discount: 1

料理種類

料理種類	cuisine:
中港	166
健康餐	225
小吃	214
披薩	165
日韓	164
東南亞	252
歐式	175
漢堡	177
甜點	176
異國	183
素食	186
美式	179
飲料	181
麵食料理	201

可多選，例如：“日韓"和"麵食料理"就是 cuisine:164,201。

特色種類

特色	food_characteristic:
<pro專屬優惠>	257
<店內價>	55
<每月推薦>	206
<熱搜人氣餐廳>	207
<米其林推薦>	205
<聚餐首選>	241
<買一送一>	239
Vogue野餐日	258
三明治	162
便當	58
咖哩	155
咖啡輕食	191
早餐	159
滷味	158
火鍋	160
炸雞	154
粥 & 湯	161
鐵板燒	156
餃子	157

與"料理種類"一樣可多選。

預算高低

預算	budgets:
低	1
中	2
高	3

同樣可多選。

回傳資料

回傳資料內，
data['status_code'] 與 data['message'] 顯示本次請求狀態；
data['data']['available_count'] 會顯示可用的餐廳總數；
data['data']['aggregations']['cuisines'] 顯示各種"料理種類"的餐廳數量；
data['data']['aggregations']['foodCharacteristics'] 顯示各個"特色"的餐廳數量；
data['data']['items'] 列出此次回傳的餐廳列表。

至於餐廳列表中，各餐廳的資訊與文章前一節"搜尋餐廳"的雷同，在此就不再贅述。

回覆資料範例： fp_nearby_restaurants.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


import requests
url = 'https://disco.deliveryhero.io/listing/api/v1/pandora/vendors'
query = {
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
'language_id': 6,
'include': 'characteristics',
'dynamic_pricing': 0,
'configuration': 'Variant1',
'country': 'tw',
'budgets': '',
'cuisine': '',
'sort': '',
'food_characteristic': '',
'use_free_delivery_label': False,
'vertical': 'restaurants',
'limit': 48,
'offset': 0,
'customer_type': 'regular'
}
headers = {
'x-disco-client-id': 'web',
}
r = requests.get(url=url, params=query, headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
restaurants = data['data']['items']
for restaurant in restaurants[:5]:
print(restaurant['name'])
else:
print('請求失敗')

取得分類推薦的餐廳

這邊我不太知道要把它叫做什麼名稱，指的是剛進來首頁底下推薦的部分，如下圖：

各分類餐廳

請求路徑與參數

網址是 https://disco.deliveryhero.io/core/api/v1/swimlanes、使用 GET 方法以及需要的查詢參數Query String Parameters。

"分類推薦的餐廳"請求的方式與參數

整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/core/api/v1/swimlanes
Request Methon：GET

Query String Parameters：

brand: foodpanda
config: Original
latitude: 22.6394088
longitude: 120.3025474
language_code: zh
language_id: 6
country_code: tw
dynamic_pricing: 0
vertical_type: restaurants
opening_type: delivery
use_free_delivery_label: false
customer_type: regular

取餐方式

外送
config: Original
vertical_type: restaurants
opening_type: delivery
外帶自取
config: pickup-control
vertical_type: restaurants
opening_type: pickup
生鮮雜貨
config: shops-variant
vertical_type: shop,darkstores
opening_type: delivery

回傳資料

從回傳資料的 data['data']['items'] 裡列出不同的推薦分類，例如"優惠主打星⭐"、"在家吃遍全世界"、"本月推薦"等等，各推薦分類底下的 vendors 中也列出各家餐廳。

而各家餐廳的資訊與文章"搜尋餐廳"的說明雷同，在此就不再贅述。

回覆資料範例： fp_category_restaurant.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import requests
url = 'https://disco.deliveryhero.io/core/api/v1/swimlanes'
query = {
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
'brand': 'foodpanda',
'language_code': 'zh',
'language_id': 6,
'country_code': 'tw',
'dynamic_pricing': 0,
'use_free_delivery_label': False,
'customer_type': 'regular',
'config': 'Original',
'vertical_type': 'restaurants',
'opening_type': 'delivery'
}
r = requests.get(url=url, params=query)
if r.status_code == requests.codes.ok:
data = r.json()
recommendations = data['data']['items']
for recommendation in recommendations[:5]:
print(recommendation['headline'])
else:
print('請求失敗')

取得餐廳基本資料與菜單

餐廳基本資料與菜單是在同一個請求中。

請求路徑與參數

網址是 https://tw.fd-api.com/api/v5/vendors/{餐廳代碼}、使用 GET 方法以及需要的查詢參數Query String Parameters。

"餐廳代碼"從上方各種取得餐貼列表的方式，其中餐廳資訊裡的 code 欄位即顯示著此餐廳的代碼。

"餐廳基本資料與菜單"請求的方式與參數

整理出來，相關參數如下：

Request URL：https://tw.fd-api.com/api/v5/vendors/{餐廳代碼}
Request Methon：GET

Query String Parameters：

include: menus
language_id: 6
dynamic_pricing: 0
opening_type: delivery
latitude: 22.639473
longitude: 120.3025185

有一點要注意，傳入的當前座標如果離店家太遠，會導致無法取得資料。
此時可以改成距離較近的座標，或者乾脆不要帶入座標(但會導致回傳資料的距離不正確)。

回傳資料

從回傳資料的 data['data'] 包含此餐廳的資訊，例如前面餐廳列表就有的店名、地址、最低訂購金額外，像是營業時間、折扣活動、餐廳分類、付款類型也有。還有重要的菜單資訊、配料資訊等等，都在這個請求的回應資料裡了。

回覆資料範例： fp_info_menu.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


import requests
url = 'https://tw.fd-api.com/api/v5/vendors/g1mk'
query = {
'include': 'menus',
'language_id': '6',
'dynamic_pricing': '0',
'opening_type': 'delivery',
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
}
r = requests.get(url=url, params=query)
if r.status_code == requests.codes.ok:
data = r.json()
print('店名:', data['data']['name'])
print('地址:', data['data']['address'])
print('距離(公里):', data['data']['distance'])
else:
print('請求失敗')

完整程式碼

我將以上四種請求寫在同一個 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： foodpanda_spider.py | GitHub

延伸練習

在"搜尋餐廳"與"取得附近所有餐廳"章節中，說到能透過 limit 和 offset 來抓到更多的餐廳，試著自己實際寫寫看吧。
試著輸入餐廳代碼後，程式自動顯示餐廳的"基本資訊"與隨機五樣"餐點資訊"。

結語

還能回頭說明旅途還沒有開始，當你無法回頭的時候，才是真正的旅途。

—— 《比宇宙更遠的地方》

[Python爬蟲實例] PChome 線上購物 (下篇)

jia@jiatool.com (Jia) — Sun, 02 May 2021 20:50:00 +0800

前言

在之前的爬蟲實例講解過蝦皮購物，而今日要來講解同樣在台灣非常多人使用的「 PChome 線上購物」🛒。

因為 PChome 在一個頁面中針對不同部分的資料有送出不同的請求，整理成一篇會太長，因此我將分為上下篇來介紹。
上一篇 PChome 線上購物介紹到 PChome 搜尋頁面的相關資料，而本篇將講解如何取到商品頁面的資料。

PChome 線上購物網路爬蟲實例 (上篇)
PChome 線上購物網路爬蟲實例 (下篇) => 本篇

* 「 PChome 線上購物」與「 PChome 24h購物」兩者的商品搜尋都是導到同樣的頁面，因此實際上是一樣的。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Pixabay)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

商品基本資料

這邊以此商品為例，其網址為：https://24h.pchome.com.tw/prod/DHAFI0-A900BAPXK

「商品基本資料」請求資料會有像是商品名稱、圖片、價格，與一些此商品的設定等等。

商品名稱、圖片

* 商品名稱下方的資訊又是在其他請求XD，文章之後章節會提到。

請求路徑與參數

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK&_callback=jsonp_prod
請求方法：GET

也可以透過 fields 參數來指定你想要哪些欄位，例如我只要商品名稱、商品價格、是否有24小時到達：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK&fields=Name,Price,isArrival24h&_callback=jsonp_prod

原先網頁上抓到它有帶以下欄位：
fields=Seq,Id,Name,Nick,Store,PreOrdDate,SpeOrdDate,Price,Discount,Pic,Weight,ISBN,Qty,Bonus,isBig,isSpec,isCombine,isDiy,isRecyclable,isCarrier,isMedical,isBigCart,isSnapUp,isDescAndIntroSync,isFoodContents,isHuge,isEnergySubsidy,isPrimeOnly,isPreOrder24h,isWarranty,isLegalStore,isFresh,isBidding,isSet,Volume,isArrival24h,isETicket,ShipType,isO2O

我還有發現如果不加上"fields"參數，回傳的欄位反而會少其中幾個。

回傳資料

跟上篇的"商品規格種類"一樣，回傳資料前後會有一段 JS 語法，我們要先將其字串移除後，才是正確的 JSON 格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


{
"DHAFI0-A900BAPXK-000": {
"Name": "ASUS E410MA-0341PN4020 玫瑰金(Celeron N4020/4G/128G/Windows 10 Home S/HD/14)",
"Price": {
"M": 0,
"P": 11900,
"Prime": ""
},
"isArrival24h": 1,
"Seq": 26650490,
"Id": "DHAFI0-A900BAPXK-000",
"Nick": "<font color=#5c18d8><b>小資輕薄機首選!★輕1.3kg★內附Microsoft365</font></b><Br>ASUS E410MA-0341PN4020 玫瑰金<BR>14吋輕薄文書筆電<BR><font size=3><font color=#FF00CC>★內含S模式作業系統 </font>",
"Store": "DHAFI0",
"PreOrdDate": "",
"SpeOrdDate": "",
"Discount": 0,
"Pic": {
"B": "/items/DHAFI0A900BAPXK/000001_1619679669.jpg",
"S": "/items/DHAFI0A900BAPXK/000002_1619679669.jpg"
},
"Weight": 2.1,
"ISBN": "",
"Qty": 10,
"Bonus": 0,
"isBig": 0,
"isSpec": 0,
"isCombine": 0,
"isDiy": 0,
"isRecyclable": 0,
"isCarrier": 0,
"isMedical": 0,
"isBigCart": 1,
"isSnapUp": 0,
"isDescAndIntroSync": 0,
"isFoodContents": 0,
"isHuge": 0,
"isEnergySubsidy": 0,
"isPrimeOnly": 0,
"isPreOrder24h": 0,
"isWarranty": 0,
"isLegalStore": 1,
"isFresh": 0,
"isBidding": 0,
"isSet": 0,
"Volume": {
"Length": 43,
"Width": 27,
"Height": 7
},
"isETicket": 0,
"ShipType": "Consign",
"isO2O": 0
}
}

其中 Name 欄位和 Nick 欄位可能資料會很像，Name 欄位在搜尋頁面會出現，代表商品的真正名稱，而 Nick 欄位是在商品頁面出現，會加上一些修飾標語跟文字樣式(HTML 格式)，如下兩張圖片所示：

Name 欄位代表資料

Nick 欄位代表資料

上次有說到，商品圖片分為"picS"與"picB"，查看後我猜測"picS"是在搜尋頁面的圖片，而"picB"是位於商品本身頁面的。

前方再加上 https://d.ecimg.tw 即圖片完整網址。
如 https://d.ecimg.tw/items/DHAFI0A900BAPXK/000001_1619679669.jpg。

而其他 is 開頭的欄位代表此商品的其他特性(?)，或者說是 PChome 給它加上的屬性，例如是否有24小時到達、長寬高是多少(這邊應該是指包裝的，而不是商品本身的規格)、是否醫療相關、是否有食材相關標示……等等，可能會用在顯示圖示或是否有其他請求去抓更多資料。

範例程式

"商品基本資料"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_product_info(self, product_id, fields=None):
"""取得商品基本資訊

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 商品基本資訊
 """
# fields=Seq,Id,Name,Nick,Store,PreOrdDate,SpeOrdDate,Price,Discount,Pic,Weight,ISBN,Qty,Bonus,isBig,isSpec,isCombine,isDiy,isRecyclable,isCarrier,isMedical,isBigCart,isSnapUp,isDescAndIntroSync,isFoodContents,isHuge,isEnergySubsidy,isPrimeOnly,isPreOrder24h,isWarranty,isLegalStore,isFresh,isBidding,isSet,Volume,isArrival24h,isETicket,ShipType,isO2O
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/{product_id}'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_prod'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[15:-48])
return data

商品描述(標語、規格、備註)

此章節所說的商品描述，包括位於商品圖片右方、標題下方的"標語"，還有商品頁面最下面的"配備"、"規格"、"備註"，甚至更下方的"售後服務"等等。

商品標語

商品規格、備註

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/desc&_callback=jsonp_prod
請求方法：GET

一樣可以透過 fields 參數來指定你想要哪些欄位。

回傳資料

拿到回傳資料後，一樣要先將前後的 JS 語法去除，才可以正確地解析 JSON 格式。
不過這部分並不是每樣商品都會有每個欄位，像是假如商品它沒有"備註"，那"Remark"那個欄位的值就是空字串。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


{
"DHAFI0-A900BAPXK": {
"Id": "DHAFI0-A900BAPXK",
"Stmt": "<a name=\"規格說明\">ASUS E410MA-0341PN4020 玫瑰金 詳細規格表</a>\r\nLCD尺寸 (解析度)：14.0'//200nits//HD 1366x768 16:9//Anti-Glare//NTSC: 45%\r\n<font color=\"RED\">CPU：Intel® Celeron® N4020 Processor 1.1 GHz (4M Cache, up to 2.8 GHz)</font>\r\n記憶體：4GB DDR4 on board\r\n容量：128G EMMC\r\nWLAN無線網路：Wi-Fi 5(802.11ac)+Bluetooth 4.1 (Dual band) 1*1\r\nODD光碟機：無\r\n\r\n<HR>\r\n輸入輸出介面(I/O)\r\n\"1x 3.5mm Combo Audio Jack\r\n1x HDMI 1.4//1x USB 2.0 Type-A\r\n1x USB 3.2 Gen 1 Type-A\r\n1x USB 3.2 Gen 1 Type-C//Micro SD card reader\"\r\n\r\n<HR>\r\n尺寸：32.50 x 21.70 x 1.80 ~ 1.84 cm\r\n重量：1.3KG\r\n保固：二年全球保固/首年完美保固\r\n<font color=\"RED\">作業系統：Windows 10 Home S (S模式)</font>",
"Equip": "變壓器 無附包,無附鼠",
"Remark": "<font color=\"RED\">此為通用文案 實際規格以賣場為主</font>\r\nS模式作業系統,使用者需於Windows市集做標準版作業系統轉換",
"Liability": "<B>華碩筆記型電腦兩年保固</B><BR>台灣區自2002年2月1日起凡購買華碩筆記型電腦即可享有兩年產品保固服務。<BR>◎關於電池保固問題 <BR>電池為消耗性之產品，其保固期為壹年<BR>電池使用時間與充放電之次數成反比，因此使用時間縮短為正常現象，不屬於一年保固範圍<BR><B>華碩筆記型電腦免費送修</B><BR>為提供本公司產品用戶有更完善的售後服務，我們特別推出了筆記型電腦本島免費快遞送修的服務，讓客戶有維修需求時能有效快速的透過物流收送，回廠進行維修流程，及完修後安全迅速的將機台送回，達成客戶滿意之依據。<BR>適用本公司出售之華碩筆記型電腦產品於保固內有維修需求時，給予回廠免費收送服務。<BR>◎只限台灣本島︰不限地點可收件。<BR>◎請撥客服電話：0800-093-456， 客服人員將為與您聯絡相關事宜。<BR>為了保障您的權益， 請立即在線上註冊您的商品。若您是第一次註冊，請先加入華碩一般會員，謝謝您!<BR>◆線上註冊→ <A href=\" http://support.asus.com.tw/repair/repair.aspx?no=99&SLanguage=zh-tw TARGET=\" _NEW?><U>請前往原廠網站</U></A>",
"Kword": "E410MA^ASUS^筆電^小筆電^14吋^玫瑰金^虛擬數字鍵盤",
"Brand": "華碩",
"Slogan": "<font color=\"RED\"> ★虛擬數字鍵 /180度螢幕轉軸設計\r\n★可自行升級M.2 SSD \r\n★最高電池續航力12小時</font>\r\n\r\n<font size=2><LI><font color=red>處理器：Intel® Celeron® N4020 Processor 1.1 GHz</font>\r\n<LI>記憶體：4GB DDR4 on board\r\n<LI>容量：EMMC 128GB\r\n<LI>LCD尺寸：14\"HD 霧面寬螢幕(LED)\r\n<LI>無線網路：802.11ac+Bluetooth 4.1 (Dual band) 1*1\r\n<LI>光碟機：無\r\n<LI>其他：HDMI、USB 3.2\r\n<LI>重量：1.3KG\r\n<font color=red><LI>其他：內含 Microsoft365 個人版一年(市價2190元)</font>\r\n<font color=red><LI>作業系統：Windows 10 Home S (S模式) </font>\r\n<LI>保固：二年全球保固/首年完美保固\r\n\r\n<a href=\" //a.ecimg.tw/img/projects/personal/v0/upload_file/US00010362/Office-introduce.jpg \"target=”_blank”><img src=\"https://a.ecimg.tw/img/projects/personal/v0/upload_file/US00010362/office/2019-1.jpg \"alt=\"↑買NB加購Office 詳細請點\"></a>\r\n<a href=\"#規格說明\"><img src=\"https://a.ecimg.tw/img/projects/personal/v0/upload_file/US00000208/add/icon.jpg\">本商品詳細規格</a></a>\r\n",
"Author": "",
"Transman": "",
"Pubunit": "",
"Pubdate": "",
"Meta": {
"Brand": "",
"BrandEng": "",
"MarcoMatchName": [
"ASUS"
]
}
}
}

食物類商品缺少規格？

但在抓取某些商品時會發現，像是底下這個食物類的標示，怎麼規格缺少了上方內容物、保存期限、廠商資訊之類的？！

食物類商品缺少規格？

我實際尋找後發現，這部分要再透過另一個請求去取得：

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DBAEF6-A900AK8ZY/foodcontents&_callback=jsonp_fooddesc
請求方法：GET

可是還有個問題，我要怎麼資料它是不是食物呢？
這就回到「商品規格」章節中的"回傳資料"，回傳資料內就有一個"isFoodContents"欄位，就會寫到是否有食物含量，就可以知道是否還要再送出這個請求，來取得完整的資料。

當然，除了食物類的商品，我猜應該還有許多其他商品會又另外的請求。

範例程式

"商品描述(標語、規格、備註)"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_product_description(self, product_id, fields=None):
"""取得商品描述(標語、規格、備註)

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 商品描述資料
 """
# &fields=Id,Stmt,Equip,Remark,Liability,Kword,Slogan,Author,Brand,Meta,Transman,Pubunit,Pubdate,Approve
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/desc'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_prod'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[15:-48])
return data

商品詳細介紹

這邊所說的商品詳細介紹，是指商品頁面中間的"本商品詳細介紹"，內容可能有文字、圖片或影片。

商品詳細介紹

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/intro&_callback=jsonp_intro
請求方法：GET

同樣也有 fields 參數來指定你想要哪些欄位。

回傳資料

這邊範例我使用另個商品示範，因為它有包含文字、圖片跟影片。

將回傳資料去除前後 JS 語法後，可以看出裡頭是以陣列(列表)的形式，每部分裡有 Sort 標示著順序，資料有文字 Intro 與圖片 Pic 兩種，圖片路徑需加上 https://e.ecimg.tw 才是完整的網址。
文字又是以 HTML 的格式紀錄，因此也可以崁入 YouTube 影片，像是底下範例中的第三部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


{
"DEBB55-A900AUAHM": [
{
"Id": "DEBB55-A900AUAHM",
"Pic": null,
"Pstn": "M",
"Intro": "<p align=\"center\"><strong><span style=\"font-family: 標楷體; font-size: xx-large; color: #ff0000;\">【PX 大通】 C52G 夜視高畫質GPS行車記錄器</span></strong></p>",
"Sort": "1"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": "/items/DEBB55A900AUAHM/i010002_1600054259.jpg",
"Pstn": "M",
"Intro": "",
"Sort": "2"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": null,
"Pstn": "M",
"Intro": "<center><iframe src=\"https://www.youtube.com/embed/S28ZIbO9QJw\" frameborder=\"0\" width=\"1040\" height=\"765\"></iframe><center><iframe src=\"https://www.youtube.com/embed/BEw8bT3uPpw\" frameborder=\"0\" width=\"1040\" height=\"765\"></iframe></center></center>",
"Sort": "3"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": "/items/DEBB55A900AUAHM/i010015_1598511521.jpg",
"Pstn": "M",
"Intro": "",
"Sort": "4"
}
]
}

範例程式

"商品詳細介紹"部分範例程式如下，完整程式碼在文章最後會附上。
這邊我是讓它依照 Sort 數字由小到大排順序，再用字串拼接起來。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


def get_product_introduction(self, product_id, fields=None):
"""取得商品詳細介紹(包含圖片、影片)

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return introduction: 商品詳細介紹字串
 """
# &fields=Id,Pic,Pstn,Intro,Sort
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/intro'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_intro'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[16:-48])
introduction = ''
# 依照 Sort 欄位數字由小到大排順序
data = sorted(data[product_id], key=lambda k: k['Sort'])
for intro in data:
if intro['Pic']:
introduction = introduction + '\n' + 'https://e.ecimg.tw' + intro['Pic']
else:
introduction = introduction + '\n' + intro['Intro']
return introduction

加購商品

在商品的頁面，有時會出現"加購商品"這個區塊，但不是每個商品都有。

加購商品

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/add&_callback=jsonp_add
請求方法：GET

這邊我發現如果不加 fields 參數，預設回傳資料內會缺少 Price、isWarranty 欄位。

原先網站給的 fields=Seq,Id,Name,Spec,Group,Price,Pic,Qty,isWarranty。

回傳資料

一樣先要將回傳資料去除前後的 JS 語法，如果多項贈品，那這邊也會顯示多個，字典的 key(鍵) 代表此商品的 ID。
(此範例商品應該會有三個贈品，但為了讓文章版面不要太長，我有將其刪減)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


{
"DHAA2D-A900AQGVA": [
{
"Seq": 24988216,
"Id": "DHAA2D-A900AQGVA-000",
"Name": "【加購現省】中文 Microsoft 365 家用版一年盒裝",
"Spec": "",
"Group": "",
"Price": {"M": 4190, "P": 2790},
"Pic": {
"B": "/items/DHAA2DA900AQGVA/000001_1593137612.jpg",
"S": "/items/DHAA2DA900AQGVA/000002_1593137612.jpg"
},
"Qty": 20,
"isWarranty": 0
}
],
"DSAEAW-A900B8SRF": [
{
"Seq": 26572469,
"Id": "DSAEAW-A900B8SRF-000",
"Name": "Microsoft 365 個人版 15個月訂閱-ESD金鑰卡(不能退貨)",
"Spec": "",
"Group": "",
"Price": {"M": 0, "P": 2190},
"Pic": {
"B": "/items/DSAEAWA900B8SRF/000001_1618314609.jpg",
"S": "/items/DSAEAWA900B8SRF/000002_1618314609.jpg"
},
"Qty": 20,
"isWarranty": 0
}
]
}

加購商品介紹

順帶一提，如果你想取得加購商品的簡介(下圖綠色方框)的話，需要透過另外一個請求。

加購商品

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/desc&id=DHAA2D-A900AQGVA,DSAEAW-A900B8SRF&_callback=jsonp_adddesc
請求方法：GET

id 請改成贈品的 ID，一次帶入多個商品一樣將商品 ID 以 , 連接即可。

而且我發現他請求網址跟「商品描述(標語、規格、備註) 」的非常像，取得的回傳資料也是一模一樣，所以我猜兩這是通用的。
"商品描述"請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/desc

範例程式

"加購商品"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_add_buy_product(self, product_id, fields=None):
"""取得加購商品

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 加購商品
 """
# &fields=Seq,Id,Name,Spec,Group,Price,Pic,Qty,isWarranty
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/add'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_add'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[14:-48])
return data

完整程式碼

附上完整程式碼： pchome_spider02.py
(對超連結右鍵 > 另存連結為)

延伸練習

有些商品的頁面會有「贈品」可以選取，試試看，你有辦法抓取贈品的資訊嗎？
範例商品：https://24h.pchome.com.tw/prod/DCAN8J-A900AW0AQ
(小提示：可以使用贈品的名稱或 ID 在開發人員工具 > Network 中搜尋 Ctrl + f)
在某些商品頁面會發現有「買此商品的人也買了…」區塊，這部分的資訊我們也可以取得嗎？
範例商品：https://24h.pchome.com.tw/prod/DCAN8J-A9009OS4V
(小提示：這部分會先取得推薦的名單，再透過「取得商品資訊」章節的請求來取得詳細資訊)

結語

在尋找 PChome 的請求網址、邏輯時，我還發現一個"prodjsv3-"開頭的 JavaScript 檔案，裡面可以找出許多不同請求的端倪，你們可以從中尋找還有哪些請求。
(迷之音：請求有夠多，全部要找要寫出來太花時間，叫網友自己去找好了，嗯~還可以順便說是給他們練習，不錯XD)

之後還會陸續寫一些網站的"網路爬蟲實例"，如果此篇文章有幫助到你，歡迎在底下留言、留言，還有追蹤 FB 粉專『 IT空間』~ 🔔

在這個世界上，沒有人能使你倒下。如果你自己的信念還站立的話。
In this world, no one can make you fall. If your faith is still standing.

[Python爬蟲實例] PChome 線上購物 (上篇)

jia@jiatool.com (Jia) — Sun, 25 Apr 2021 20:45:00 +0800

前言

在之前的 Python 網路爬蟲實例講解過蝦皮購物，而今日要來講解同樣在台灣非常多人使用的「 PChome 線上購物」。

實際操作後發現，PChome 在一個頁面中針對不同部分的資料有送出不同的請求，整理成一篇會太長，因此我將分為上下篇來介紹。
上篇也就是你正在看的本篇，主要講解在 PChome 搜尋頁面的請求，而下篇是說明商品頁面的請求。

PChome 線上購物網路爬蟲實例 (上篇) => 本篇
PChome 線上購物網路爬蟲實例 (下篇)

* 「 PChome 線上購物」與「 PChome 24h購物」兩者的商品搜尋都是導到同樣的頁面，因此實際上是一樣的。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Pexels)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋商品

進入 PChome 線上購物網頁，先開啟瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，回到網頁左上角輸入想要搜尋的關鍵字，點擊"找商品"。

首頁左上角搜尋欄位

畫面跳轉到搜尋結果頁面後，開發人員工具切換到"Network" > "XHR"，會發現其中一個請求包含著搜尋結果，而 prods 欄位內分別列出了每一項商品。

"Network" > "XHR" 頁面

切換到"Headers"頁面可以查看請求的網址與方法。

"Headers" 頁面

我們可以開一個新分頁，將此請求網址貼上前往，查看回傳的資料是否正確、長什麼樣子。

請求路徑與參數

請求網址：https://ecshweb.pchome.com.tw/search/v3.3/all/results?q=%E9%8D%B5%E7%9B%A4&page=1&sort=sale/dc
請求方法：GET

商品搜尋頁面有多項篩選條件，從下圖可以看到有關鍵字、商店類別、排序、取貨方式、價格範圍、依館別顯示等等。

搜尋頁面篩選功能

而這些篩選條件正好對應網址後方帶的參數，我實際一個一個測試後，整理出來如下：

關鍵字
放在 q 參數內。

商店類別
放在網址路徑內，可參考下方程式。

數值	意思
`all`	全部
`24h`	24h購物
`24b`	24h書店
`vdr`	廠商出貨
`tour`	PChome旅遊

排序
sort 參數。

數值	意思
`sale/dc`	有貨優先
`rnk/dc`	精準度
`prc/dc`	價錢由高至低
`prc/ac`	價錢由低至高
`new/dc`	新上市

取貨方式

數值	意思
`cvs=all`	超商取貨
`ipost=Y`	i 郵箱取貨

價格範圍
price 參數。
我測試的結果是兩者都要，也就是要包含最大金額與最小金額的限制。
{price_max}-{price_min}

頁數
page 參數。
回傳資料預設是 20 筆商品，如果要繼續往後抓取，需要帶入頁數參數。

回傳資料

它以 JSON 格式回傳，商品會在 prods 欄位內，每一個商品資料如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


{
"Id": "DGCD1E-A900AIK2Q",
"cateId": "DGCA3Q",
"picS": "/items/DGCD1EA900AIK2Q/000002_1582170821.jpg",
"picB": "/items/DGCD1EA900AIK2Q/000001_1617156434.jpg",
"name": "SanDisk USB Type-C™ 雙用隨身碟128GB (公司貨)",
"describe": "具備usb type-c與type-a旋轉式2合1金屬隨身碟。...",
"price": 629,
"originPrice": 629,
"author": "",
"brand": "",
"publishDate": "",
"sellerId": "",
"isPChome": 1,
"isNC17": 0,
"couponActid": [],
"BU": "ec"
}

以上有許多欄位，這邊挑幾個已知道意思的來說明：

欄位	代表意思
Id	商品ID
cateId	分類ID
picS	商品圖片(縮圖)
picB	商品圖片(主圖)
name	商品名稱
describe	商品描述
price	商品價格
originPrice	商品原始價格
author	(書籍)作者
brand	(書籍)出版社
publishDate	(書籍)出版日期
isNC17	是否限制級

商品圖片分為"picS"與"picB"，查看後我猜測"picS"是在搜尋頁面的圖片，而"picB"是位於商品本身頁面的。

前方再加上 https://d.ecimg.tw 即圖片完整網址。
如 https://d.ecimg.tw/items/DGCD1EA900AIK2Q/000002_1582170821.jpg。

"商品網址"是商品ID前方加上 https://24h.pchome.com.tw/prod/，以上方為例就是：
https://24h.pchome.com.tw/prod/DGCD1E-A900AIK2Q

範例程式

"搜尋商品"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55


def search_products(self, keyword, max_page=1, shop='全部', sort='有貨優先', price_min=-1, price_max=-1, is_store_pickup=False, is_ipost_pickup=False):
"""搜尋商品

 :param keyword: 搜尋關鍵字
 :param max_page: 抓取最大頁數
 :param shop: 賣場類別 (全部、24h購物、24h書店、廠商出貨、PChome旅遊)
 :param sort: 商品排序 (有貨優先、精準度、價錢由高至低、價錢由低至高、新上市)
 :param price_min: 篩選"最低價" (需與 price_max 同時用)
 :param price_max: 篩選"最高價" (需與 price_min 同時用)
 :param is_store_pickup: 篩選"超商取貨"
 :param is_ipost_pickup: 篩選"i 郵箱取貨"
 :return products: 搜尋結果商品
 """
products = []
all_shop = {
'全部': 'all',
'24h購物': '24h',
'24h書店': '24b',
'廠商出貨': 'vdr',
'PChome旅遊': 'tour',
}
all_sort = {
'有貨優先': 'sale/dc',
'精準度': 'rnk/dc',
'價錢由高至低': 'prc/dc',
'價錢由低至高': 'prc/ac',
'新上市': 'new/dc',
}
url = f'https://ecshweb.pchome.com.tw/search/v3.3/{all_shop[shop]}/results'
params = {
'q': keyword,
'sort': all_sort[sort],
'page': 0
}
if price_min >= 0 and price_max >= 0:
params['price'] = f'{price_min}-{price_max}'
if is_store_pickup:
params['cvs'] = 'all' # 超商取貨
if is_ipost_pickup:
params['ipost'] = 'Y' # i 郵箱取貨
while params['page'] < max_page:
params['page'] += 1
data = self.request_get(url, params)
if not data:
print(f'請求發生錯誤：{url}{params}')
break
if data['totalRows'] <= 0:
print('找不到有關的產品')
break
products.extend(data['prods'])
if data['totalPage'] <= params['page']:
break
return products

商品販售狀態

如果你還想要"商品販售狀態”，會發現此欄位不包含在上方"搜尋商品"請求的回傳資料中，我們要再從其他的地方找找。

商品狀態按鈕

試試用"立即訂購"之類的關鍵字在開發人員工具中搜尋，在某個搜尋到的 JavaScript 檔案發現到"orderNow"、"soldOut"等字眼。

searchplus JS

再進一步以"soldOut"搜尋，在另外一個 JavaScript 檔案發現到此資訊。

button JS

雖然它是 JS 檔，但你只要把網址後方的 &_callback=jsonpcb_button 刪掉，它就會以 JSON 格式回傳了。

請求路徑與參數

請求網址路徑很大一串，經過我刪減、測試，其實最少只需要如下：

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96
請求方法：GET

如果需要，可以一次帶入多個商品一次請求，只需將商品 ID 以 , 連接，例如：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96,DSAA6I-A900B3488
就不需要分多次請求了。

也可以透過 fields 參數來指定你想要那些欄位，例如我只要商品ID、商品數量、商品狀態：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96&fields=Id,Qty,ButtonType

回傳資料

它一樣以 JSON 格式回傳：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


[{
"Seq": 25977002,
"Id": "DCAD6E-A900B1YM4-000",
"Store": "DCAD6E",
"Price": {"M": 0, "P": 550, "Prime": ""},
"Qty": 7,
"ButtonType": "ForSale",
"SaleStatus": 1,
"Group": "DCAD6E-A900B1YM4",
"isPrimeOnly": 0,
"SpecialQty": 0
}]

從 ButtonType 的值可以看出此商品是否還有貨，像是 ForSale 代表此商品有出售、可以購買；SoldOut 代表此商品已售完等等。

範例程式

"商品販售狀態"部分範例程式如下，完整程式碼在文章最後會附上。

這邊我設計成傳入單個商品的字串(String)，或多個商品的字串陣列(List)都可以，比較彈性。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


def get_products_sale_status(self, products_id):
"""取得商品販售狀態

 :param products_id: 商品 ID
 :return data: 商品販售狀態資料
 """
if type(products_id) == list:
products_id = ','.join(products_id)
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id={products_id}'
data = self.request_get(url)
if not data:
print(f'請求發生錯誤：{url}')
return []
return data

商品規格種類

除了"商品狀態"不在原本的回傳資料中，還有某些商品有不同的規格，這部分也是要另外抓。

商品規格種類

一樣透過搜尋，找到了一個請求的路徑。

查找"商品規格種類"路徑

請求路徑與參數

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id=DYARL9-A900AZTJT&_callback=jsonpcb_spec
請求方法：GET

id 就是給你要找的商品 ID。
跟上一節"商品販售狀態"一樣，如需一次請求多個商品，只需將商品 ID 以 , 連接，例如：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id=DYARL9-A900AZTJT,DYARLA-A900AZTJJ&_callback=jsonpcb_spec

回傳資料

這邊有個小小麻煩的點，如果像"商品販售狀態"一樣把後方 _callback=json... 去除，反而它就不回傳資料了，但加了這樣會使得回傳資料前後會有一段 JS 語法，所以我們要先將其字串移除後，才是正確的 JSON 格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


try {
jsonpcb_spec({
"DYARIO-A900B0P77": [{
"Seq": 25866719,
...(省略)...
"PreOrdDate": ""
}]
});
} catch (e) {
if (window.console) {
console.log(e);
}
}

* 題外話：我原本是想用 str.lstrip()、str.rstrip() 去移除，但遇到了點問題，所以後來改用字串切割的方式。

去除前後 JS 語法後回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


{
"DYARL9-A900AZTJT": [
{
"Seq": 25787942,
"Id": "DYARL9-A900AZTJT-001",
"Name": "防摔！四角加厚空壓殼 iPhone 12 / i12 手機殼 保護殼 手機套 軟殼 保護套 防撞",
"Spec": "透藍",
"Group": "DYARL9-A900AZTJT",
"Pic": {
"B": null,
"S": null
},
"Qty": 0,
"isPreOrder24h": 0,
"PreOrdDate": ""
},
{
"Seq": 25787944,
"Id": "DYARL9-A900AZTJT-003",
"Name": "防摔！四角加厚空壓殼 iPhone 12 / i12 手機殼 保護殼 手機套 軟殼 保護套 防撞",
"Spec": "透粉",
"Group": "DYARL9-A900AZTJT",
"Pic": {
"B": null,
"S": null
},
"Qty": 6,
"isPreOrder24h": 0,
"PreOrdDate": ""
}
]
}

範例程式

"商品規格種類"部分範例程式如下，完整程式碼同樣在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_products_specification(self, products_id):
"""取得商品規格種類

 :param products_id: 商品 ID
 :return data: 商品規格種類
 """
if type(products_id) == list:
products_id = ','.join(products_id)
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id={products_id}&_callback=jsonpcb_spec'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[17:-48])
return data

搜尋商品分類

至於位於搜尋頁面的左側，這一大串的"分類"該從何而來？

搜尋頁面的商品分類

找到了一個請求的路徑。

"搜尋商品分類"路徑

請求路徑與參數

請求網址：https://ecshweb.pchome.com.tw/search/v3.3/all/categories?q=鍵盤
請求方法：GET

q 後方就是接你是用什麼關鍵字搜尋商品的。

回傳資料

因為資料量比較大，我挑一小部分將解其結構：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


[
{
"Id": "D",
"name": "24h購物",
"qty": 12552,
"nodes": [
{
"Id": "DSAU",
"name": "DIY電腦",
"qty": 1418,
"nodes": [
{
"Id": "DSAUF4",
"qty": 189
},
{
"Id": "DSAUF5",
"qty": 176
},
{
"Id": "DSAUFA",
"qty": 154
}
]
}
]
}
]

它是這樣由最大項分類一層一層下來，每一層會有 Id、name、qty 等參數，代表此分類的"ID"、"名稱"、"商品數量"。

但你可能會發現，怎麼到了最下面一層(第三層)卻沒了"名稱(name)"？！
該不會…對😅沒錯，它還要再透過另一個請求去取得，這部分會在下一章節介紹。

範例程式

"搜尋商品分類"部分範例程式如下，很簡單，也沒什麼參數，完整程式碼同樣在文章最後會附上。

1
2
3
4
5
6
7
8
9


def get_search_category(self, keyword):
"""取得搜尋商品分類(網頁左側)

 :param keyword: 搜尋關鍵字
 :return data: 分類資料
 """
url = f'https://ecshweb.pchome.com.tw/search/v3.3/all/categories?q={keyword}'
data = self.request_get(url)
return data

至於此分類該如何用來當搜尋商品的篩選條件，這部分就留給你們親自嘗試了，不會很複雜 (真的！)。

搜尋商品子分類名稱

從上一章節，我們發現到商品分類的請求資料中，沒有包含最下面一層(第三層)的"name(名稱)"欄位。

搜尋商品子分類名稱

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAUF4
請求方法：GET

id 後方接在上一章節"搜尋商品分類"中回傳的子分類。
一樣，如需一次請求多個商品，只需將子分類 ID 以 , 連接，例如：
https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAUF4,DSAUF5,DSAUFA&fields=Id,Name

此請求路徑還有個 fields 參數，可指定回傳欄位，例如我只要"ID"跟"名稱"：
https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAU&fields=Id,Name

回傳資料

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


[
{
"Id": "DSAUF4",
"Name": "→10代Core i7八核",
"OriginId": "",
"Sort": 7,
"is24h": 1,
"isVip": 0,
"isPick": 0,
"isNC17": 0,
"Extra": {
"Amount": "",
"Fee": "",
"Intro": ""
},
"isNFC": 0
}
]

範例程式

"搜尋商品子分類名稱"部分範例程式如下，完整程式碼同樣在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_search_categories_name(self, categories_id):
"""取得商品子分類的名稱(網頁左側)

 :param categories_id: 分類 ID
 :return data: 子分類名稱資料
 """
if type(categories_id) == list:
categories_id = ','.join(categories_id)
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id={categories_id}&fields=Id,Name'
data = self.request_get(url)
return data

完整程式碼

附上完整程式碼： pchome_spider01.py
(對超連結右鍵 > 另存連結為)

延伸練習

在「搜尋頁面的商品分類」章節有介紹到商品所屬的分類，一般操作可以點擊分類來篩選商品，那在程式裡我們該如何送出指定分類的請求呢？
(小提示：注意觀察送出請求的路徑)

結語

這篇文章主要是說明在搜尋頁面的請求，而之後會再寫一篇文章講解商品頁面，敬請其待。

如果對文章有任何疑問或心得，歡迎在底下按讚、留言喔~😎

比別人多一點執著，你就會創造奇蹟。

[Python爬蟲實例] 教你輕鬆爬取"Yahoo奇摩知識+"的問題與解答

jia@jiatool.com (Jia) — Sun, 21 Mar 2021 21:00:00 +0800

前言

本次 Python網路爬蟲實例系列的「 Yahoo奇摩知識+ 」，將帶領你來一步步爬取所有分類的問題與解答。

「Yahoo奇摩知識+」大約 10 年前左右在台灣還蠻多人用的，但現在會在Yahoo奇摩知識+上發問、回答的人已經少很多了。話說最近有人對Yahoo奇摩知識+有印象，會不會是從天氣之子呢(笑)，不過「Yahoo奇摩知識+」在日本是叫「Yahoo!知恵袋」哦~

* 香港叫「Yahoo知識+」，但為什麼台灣的多出"奇摩"兩個字呢？較年輕的讀者可能不知道，「奇摩站」是以前台灣一家入口搜尋網站，但這又是另外一個故事了…

Yahoo奇摩知識+

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

它資料是如何載入的呢？

進到 Yahoo奇摩知識+ 網站後，將網頁往下滾動，可以看到 Loading 的圖示，而且頁面也沒有跳轉，因此可以猜測它資料是透過 AJAX 的方式載入

"問題資料"載入圖示

經過以前網路爬蟲實例的文章應該很熟悉了，打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到 "Network" > "XHR"，再將網頁往下滾動，讓我們抓到它送出的請求。點擊 "_reservice_/" 的請求後切換到 "Preview" 頁面，可以發現它返回的資料都在這裡。

"Network" > "XHR" > "_reservice_/" > "Preview"

開發人員工具切回到"Headers"頁面查看請求的網址與方法。
跟我們一般常用的 HTTP 請求方法(GET、POST)不同，在這裡它是使用 PUT 方法。

"Network" > "XHR" > "_reservice_/" > "Headers"

往下還有請求夾帶的參數 Request Payload，可以點擊 view source 方便我們複製參數。

Request Payload

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：
{"type":"CALL_RESERVICE","payload":{"categoryId":"0","lang":"zh-Hant-TW","count":20,"offset":"pv61~p:0"},"reservice":{"name":"FETCH_DISCOVER_STREAMS_END","start":"FETCH_DISCOVER_STREAMS_START","state":"CREATED"}}

這邊有個之前文章沒遇過的地方，以前請求夾帶的參數常遇到的是 key-value (鍵值對)的形式，但這邊是採用 JSON 格式，因此 Headers 內要加入 content-type(HTTP 內容類型) 來表明用 JSON 格式來傳遞參數資料。
'content-type': 'application/json'

同時要注意請求的 data 中資料是 JSON 格式的字串，在 Python 程式裡記得要使用 json.dumps() 將其轉換為字串，大致如下程式碼所示。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


import requests
import json
url = 'https://tw.answers.yahoo.com/_reservice_/'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'content-type': 'application/json'
}
payload = {
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": ""
},
"reservice": {
"name": "FETCH_DISCOVER_STREAMS_END",
"start": "FETCH_DISCOVER_STREAMS_START",
"state": "CREATED"
}
}
r = requests.put(url, data=json.dumps(payload), headers=headers)
print(r.json())

好！！那這樣都知道"Yahoo奇摩知識+"資料的請求方法了，我們來看看其參數有哪些值~

問題列表

首先從網站一進入就會看到的問題列表(文章列表)說起，左方有各式各樣的分類，中間的問題列表還有分為"探索"與"解答"，綠色方框即是我們想要獲取的部分。

問題列表(文章列表) 頁面

請求方法

先從"探索"開始找起，同上章節步驟，從開發人員工具知道請求的路徑、參數如下：

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": "pv61~p:0"
},
"reservice": {
"name": "FETCH_DISCOVER_STREAMS_END",
"start": "FETCH_DISCOVER_STREAMS_START",
"state": "CREATED"
}
}

其中幾個參數代表意思：

categoryId：分類 ID。分類 ID 在各分類網頁的網址後方可找到，目前共有 24 個大分類，子分類也是採用同樣的方式。

分類 ID 在網址後方可以取得

而如果給 0，則代表"所有分類"，以下是各大分類所對應的 categoryId：

分類名稱	分類 ID
所有分類	0
健康	396545018
商業與財經	396545013
娛樂與音樂	396545016
家居與園藝	396545394
家庭與人際關係	396545433
寵物	396545443
懷孕與育兒	396546046
政治與政府	396545444
教育與參考	396545015
新聞與活動	396545439
旅遊	396545469
汽車與交通	396545311
消費電子產品	396545014
環境	396545451
社會科學	396545301
社會與文化	396545454
科學	396545122
美容與造型	396545144
藝術與人文	396545012
遊戲與休閒活動	396545019
運動	396545213
電腦與網際網路	396545660
食品與飲料	396545367
餐廳與小吃	396545327

count：一次回傳"問題(文章)"數量。但實測發現有時得到的數量會較少。
offset：偏移值。帶入前一頁回傳資料中 offset 的值。

而 "解答" 部分的問題列表(文章列表)其參數幾乎一樣，只要把 FETCH_DISCOVER_STREAMS_END 改成 FETCH_ANSWER_STREAMS_END、FETCH_DISCOVER_STREAMS_START 改成 FETCH_ANSWER_STREAMS_START 即可。

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": "pv61~p:0"
},
"reservice": {
"name": "FETCH_ANSWER_STREAMS_END",
"start": "FETCH_ANSWER_STREAMS_START",
"state": "CREATED"
}
}

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭。

canLoadMore：是否還有下一頁。
offset：請求下一頁的偏移值。
questions：問題列表(文章列表)。

而每一則問題又有幾個數值：

qid：問題 ID。也代表問題網址後方帶的參數，例如 https://tw.answers.yahoo.com/question/index?qid=20210318093121AAnaQXT。
title：問題標題。
detail：問題內容。
category：問題分類。
createdTime：創建日期時間。
answersCount：解答總數。
thumbUpsCount：按讚總數。
bestAnswerDetail：最佳解答內容。

範例：問題列表 JSON 資料 question_list_data.json

問題詳細資料

在問題列表(文章列表)點擊問題後會跳轉到問題詳細頁面，有完整的問題資訊與網友的解答。

問題詳細資料頁面

請求方法

可以發現請求路徑和方法都是一樣的，它是透過 Request Payload 來判斷需要哪些資料(條件)。

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


{
"type": "CALL_RESERVICE",
"payload": {
"qid": "20210310121058AAxKYlh"
},
"reservice": {
"name": "FETCH_QUESTION_END",
"start": "FETCH_QUESTION_START",
"state": "CREATED"
},
"kvPayload": {
"key": "20210310121058AAxKYlh",
"kvActionPrefix": "KV/question/"
}
}

其中 payload > qid 與 kvPayload > key 參數帶上問題 ID。

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭，幾個比較重要的參數：

qid：問題 ID。也代表問題網址後方帶的參數，例如 https://tw.answers.yahoo.com/question/index?qid=20210318093121AAnaQXT。
lang：語言。
category：問題分類。
createdTime：創建日期時間。
title：問題標題。
content：問題內容。
updatedDetails：問題更新詳情。
attachedImageUrl：附加圖片網址。
bestAnswer：最佳解答。
answerCount：解答總數。
saveCount：被收藏總數。
isAnonymous：是否匿名。

範例：問題 JSON 資料 question_data.json

解答列表

位於每篇問題(文章)底下會有各網友回覆的解答(留言)。

解答列表頁面

請求方法

一樣只有 Request Payload 有差異，

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


{
"type": "CALL_RESERVICE",
"payload": {
"qid": "20210310121058AAxKYlh",
"count": 10,
"start": 1,
"lang": "zh-Hant-TW",
"sortType": "NEWEST"
},
"reservice": {
"name": "FETCH_QUESTION_ANSWERS_END",
"start": "FETCH_QUESTION_ANSWERS_START",
"state": "CREATED"
},
"kvPayload": {
"key": "20210310121058AAxKYlh",
"kvActionPrefix": "KV/questionAnswers/"
}
}

其中 payload > qid 與 kvPayload > key 參數帶上問題 ID。
count 代表一次回傳"解答(留言)"數量，start 代表起始值，例如這次解答取到 10 則，下一次要從第 11 則開始抓，那 start 就要帶 11。
sortType 代表解答排序依據(RATING:評分、NEWEST:最新、OLDEST:最舊)。

解答排序依據

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭，幾個比較重要的參數：

qid：問題 ID。
lang：語言。
answerCount：解答總數。
start：本次解答起始值。
count：本次解答數量。
sortType：解答排序依據(RATING:評分、NEWEST:最新、OLDEST:最舊)。
answers：解答列表(留言列表)。

而每一則解答又有幾個數值：

qid：問題 ID。
id：解答 ID。
text：解答內容。
attachedImageUrl：附加圖片網址。
reference：解答參考來源。
answerer：解答網友。
answerer > kid：網友 ID。
answerer > nickname：網友暱稱。
answerer > imageUrl：網友圖片網址。
answerer > level：網友等級。
isBestAnswer：是否為最佳解答。
thumbsDown：倒讚數。
thumbsUp：按讚數。
isAnonymous：是否匿名。
commentCount：此解答底下回覆數量(目前此功能好像被移除了)。
createdTime：創建日期時間。

* 抓取解答(留言)時要注意，如果此問題有"最佳解答"，則此解答並不會出現在"解答列表"的回應裡，而是會在"問題詳細資料"回應資料裡的 bestAnswer 參數中，因此要注意不要遺漏掉了。

範例：解答列表 JSON 資料 answer_list_data.json

範例程式碼

附上範例程式碼： yahoo_answers_spider.py
(對超連結右鍵 > 另存連結為…)

延伸練習

試著爬取一篇問題，並將問題以及各解答挑出想要的幾個欄位，並儲存成適合的檔案(TXT文字檔、JSON)。

結語

一開始我在測試抓取"Yahoo奇摩知識+"時，不知道為何 Header 都給一樣了，還是一直無法成功請求到資料。後來改使用 Postman 這項工具測試，才發覺 content-type 要帶 'application/json'，也學到了一個😙。

如果你對於 Python、爬蟲、網頁感興趣的話，我後續還會繼續寫相關的文章，歡迎來追蹤 FB 粉專『 IT空間』~

人生就像天空一樣，有季節更迭，時刻在變；
它雖然不會一直晴空萬里，但也不會總是大雪紛飛。

—— 《鬼滅之刃》

[Python爬蟲實例] 如何爬取"蝦皮購物"的商品、評價資料？

jia@jiatool.com (Jia) — Sun, 28 Feb 2021 21:00:00 +0800

前言

蝦皮購物網頁後來有加入更多反爬蟲機制，以下文章說明的內容已過時，可以當作參考資料來學習。

大家都喜歡買東西，而現代人購物很大一部份會從線上的購物平台來尋找，像是台灣前幾大的 PChome24h購物、momo購物網、蝦皮購物、露天拍賣等等。

這次的 Python網路爬蟲實例系列要來挖掘 "蝦皮購物" ，試著說明如何抓取各項商品資訊、評價資料，跟著文章體驗爬蟲的樂趣吧~

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Unsplash)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

尋找抓取資料的方法

我們想要爬取"搜尋商品結果"頁面的商品資訊，以下以搜尋 "手機保護殼" 來示範。

前往蝦皮購物網站，一開始當然是打開我們熟悉的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到"Network" > "XHR"，並在網頁上方搜尋欄打入關鍵字、點擊搜尋。

搜尋商品結果

接著在開發人員工具頁面中，它會記錄著每個請求，從中尋找蝦皮購物是否採用動態載入的方式載入資料，可以一個一個查看，或使用搜尋(Ctrl+f)來找商品名稱。

在其中一條 ?by=relevancy&keyword=... 開頭的請求中發現了搜尋結果商品資訊。

"Network" > "XHR" 動態載入

開發人員工具切換到"Headers"頁面查看請求的網址與方法。

"Headers"頁面

請求網址：https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=手機保護殼&limit=50&newest=0&order=desc&page_type=search&version=2
請求方法：GET

但如果你直接拿此網址去用 Python requests.get(url)，會發現回傳資料會不完整、裡面的多項數據也是錯誤的，只在 Headers 加上 user-agent 顯然是不夠的。
經過我的測試，將 referer 加入 Headers 後資料就完整了。
(放到 referer 前記得要將 url 編碼才不會噴錯)

但又遇到一個問題，仔細看會發現，怎麼取得的資料和網頁上看到的順序不一樣？！
首先猜測 Headers 是否還缺少哪個參數導致，經過多次嘗試後，發覺是 x-api-source 與 cookie。

x-api-source 帶入 pc 即可，很簡單。
但 cookie 則需要當中的 SPC_SI 值，這個值該從何而來。

我將 SPC_SI 的值貼到搜尋(Ctrl+f)，來找找這個值是從哪邊來的。
發現其中一個是在請求 https://shopee.tw/api/v4/search/product_labels 後，返回的結果 set-cookie 中有設定 SPC_SI。

因此這部分我就先嘗試使用 requests 的 Session，他會把每次請求都算在同一個 session 裡，像是 cookie 之類的都會保持，這樣我就不用還要將 cookie 讀出來，下一次請求再設定了。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


import requests
import urllib
keyword = '手機保護殼'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68',
'x-api-source': 'pc',
'referer': f'https://shopee.tw/search?keyword={urllib.parse.quote(keyword)}'
}
s = requests.Session()
url = 'https://shopee.tw/api/v4/search/product_labels'
r = s.get(url, headers=headers)
base_url = 'https://shopee.tw/api/v2/search_items/'
query = f"by=relevancy&keyword={keyword}&limit=50&newest=0&order=desc&page_type=search&version=2"
url = base_url + '?' + query
r = s.get(url, headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
# with open('shopee.json', 'w', encoding='utf-8') as f:
# f.write(r.text)

回傳資料是 JSON 格式，可以使用 requests 提供的 r.json() 轉換。

其他兩個"商品資訊"與"評價資訊"都是採用同樣的方法來尋找請求網址，這邊就不再重複說明。

下面我將"搜尋商品"、"商品資訊"、"評分資訊"所找出來的請求路徑、參數內容及回傳資料整理出來說明。

搜尋商品

搜尋商品的頁面大致上能分為三個部分，藍色方框為商品結果、綠色方框為篩選功能(雖然應該算排序)、紫色方框為條件篩選。

搜尋商品結果板塊

請求路徑

GET https://shopee.tw/api/v2/search_items/?by=relevancy&keyword={關鍵字}&limit=50&newest=0&order=desc&page_type=search&version=2

範例：https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=手機保護殼&limit=50&newest=0&order=desc&page_type=search&version=2

referer：https://shopee.tw/search?keyword={關鍵字}
(也就是搜尋頁面網址，記得將 url 編碼)

請求參數

來看一下請求網址帶的參數有哪些：

by 和 order 排序用，也就是網頁上面這欄(雖然它這邊是寫篩選，但其功能是排序)：

排序用欄位

篩選	by	order
綜合排名	relevancy	desc
最新	ctime	desc
熱銷	sales	desc
價格(高到低)	price	desc
價格(低到高)	price	asc

keyword：很明顯就是想要搜尋的關鍵字。
limit：一次請求最大回傳的結果數量，預設20個、最多100個，但如果給超過100個，會回傳10個。
newest：偏移量的概念，如果limit設50、newest設100，就如同取得第三頁(第101~150個)。
page_type：設定search代表我們使用搜尋。還有像是shop，則用在查看某一賣場內商品。
version：可能是指 API 的版本。
條件篩選
在網頁左邊的位置，有許多類別可以選擇，底下會一一介紹，至於參數的值，某些數量較多就不全部列出了(像是"用送方式"、"分類"、"品牌")。

條件篩選

如果有使用"條件篩選"，請求會再多加上 skip_autocorrect=1 (跳過自動修正)，這個參數不確定會產生怎樣的影響。

某些參數可以給多個值，其中就使用,隔開，例如運送方式要"全家、7-11"，參數就設定為shippings=1,2

條件	參數
運送方式
全家	shippings=1
7-11	shippings=2
賣家宅配	shippings=8

出貨地點
台灣	locations=-1
海外	locations=-2

分類
ASUS保護殼	categoryids=7964
卡通殼	categoryids=17360

品牌
NOKIA	brandids=137374
ASUS	brandids=4747

價格
最小 100 元	price_min=100
最大 500 元	price_max=500

評價
5星	rating_filter=5
4星或以上	rating_filter=4

賣場類型
蝦皮商城	official_mall=1
蝦皮優選	shopee_verified=1

商品保存狀況
新商品	conditions=new
二手商品	conditions=used

付款方式
信用卡	pay_credit_card=1

服務與促銷
目前有折扣	with_discount=true
運費補助	shipping_fee_included=true
商城最低價	filter_lowest_price_guarantee=1
多件優惠	wholesale=1
影音介紹	filter_video=1
快速出貨	label_ids=1000028
蝦幣回饋	label_ids=1000040

* "商品保存狀況"裡如果你兩個都勾，會等於兩個都不勾。

* 舉例來說：
我查詢"手機保護殼"，並以"最熱銷"排序，
條件篩選有"運送方式 7-11"、"價格最高 600 元"、"評價四星或以上"、"新商品"，
一次最多 100 筆商品
https://shopee.tw/api/v2/search_items/?by=sales&conditions=new&keyword=手機保護殼&limit=100&newest=0&order=desc&page_type=search&price_max=600&rating_filter=4&shippings=2&skip_autocorrect=1&version=2

回傳資料

它以 JSON 格式回傳，商品會在 items 欄位內，每一個商品有許多欄位，這邊挑幾個來說明。

欄位	代表意思
itemid	商品ID
shopid	賣場ID
name	商品名稱
brand	品牌
shop_location	賣場位置(出貨地)
ctime	上架時間(時間戳)
can_use_wholesale	是否有多件優惠
show_free_shipping	是否顯示免運
shopee_verified	是否為蝦皮優選
show_shopee_verified_label	是否顯示蝦皮優選標籤
is_official_shop	是否為官方商店
show_official_shop_label	是否顯示官方商店標籤
show_official_shop_label_in_title	是否在標題中顯示官方商店標籤
is_adult	是否為成人商品
historical_sold	已售出數量
stock	庫存
liked_count	喜歡數
view_count	瀏覽數
currency	貨幣
has_lowest_price_guarantee	最低價格保證
discount	折扣
price	價格(要再除100000)
price_before_discount	折扣前價格
price_min	價格範圍(最低)
price_max	價格範圍(最高)
price_min_before_discount	折扣前價格範圍(最低)
price_max_before_discount	折扣前價格範圍(最高)
cmt_count	評價數量
item_rating	評價
image	商品圖片(封面)
images	商品圖片
video_info_list	影片
tier_variations	規格
voucher_info	優惠券資訊

* 回傳資料裡面並無"商品網址"，要自己串，如下所示：
https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
https://shopee.tw/犀牛盾-iPhone12-11-Pro-Mini-Se-XR-7-8-Xs-Max-手機-防摔殼-防摔邊框-台灣公司貨-i.9060351.1558498138

商品名稱中間加如有 " "(空白) 或 "/" 要轉換成 "-"，而且如有連續多個也要合併成一個。
但…我發現商品網址其實不一定需要"商品網址"，就算這部分隨便給也都可以(但不能不給)，像是上方範例改成這樣也可😆。
https://shopee.tw/一代一代-i.9060351.1558498138

[更新 2021/04/04] "商品網址"還有另一種樣式，就不需要包含商品名稱了，如下：
https://shopee.tw/product/{賣場ID}/{商品ID}
https://shopee.tw/product/6453718/103810019

* 商品圖片是一串碼，要取得圖片網址需再如下自行補上，如要取得其縮圖(解析度較低、檔案較小)則再加上 _tn 即可：
圖片網址：https://cf.shopee.tw/file/a8b82098b055a69c3b63b73fe1978caf
縮圖網址：https://cf.shopee.tw/file/a8b82098b055a69c3b63b73fe1978caf_tn

* 影片網址則是先從 video_info_list 讀到 video_id，再如下組成網址：
影片網址：https://cv.shopee.tw/video/JmkCD3CvRP50uxb-

* 可以從 adsid 是否有值來判斷這間商品是否為廣告。

商品資訊

在商品頁面取得，相比上方"搜尋商品"得到的資訊來說，這邊會有更多的資訊，例如商品詳情、各規格較詳細資訊等等。

商品頁面

請求路徑

GET https://shopee.tw/api/v2/item/get?itemid={商品ID}&shopid={賣場ID}

範例：https://shopee.tw/api/v2/item/get?itemid=1558498138&shopid=9060351

referer：https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
(也就是此商品網址，還有記得將 url 編碼)
[更新 2021/04/04] 或是 https://shopee.tw/product/{賣場ID}/{商品ID}

請求參數

參數很簡單，就只有 itemid 和 shopid 兩項：

itemid：商品ID。
shopid：賣場ID。

回傳資料

同樣是以 JSON 格式回傳，資料內欄位很多，但大部分欄位都跟上面"搜尋商品"一樣，這邊列出幾個上面沒有但較重要的欄位：

欄位	代表意思
description	商品詳情
estimated_days	估計出貨天數
models	各規格較詳細資訊

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273


{
"item": {
"itemid": 6155409258,
"price_max_before_discount": -1,
"item_status": "normal",
"can_use_wholesale": false,
"show_free_shipping": false,
"estimated_days": 20,
"is_hot_sales": null,
"is_slash_price_item": false,
"upcoming_flash_sale": null,
"slash_lowest_price": null,
"is_partial_fulfilled": false,
"condition": 1,
"show_original_guarantee": false,
"add_on_deal_info": null,
"is_non_cc_installment_payment_eligible": false,
"categories": [
{
"display_name": "手機平板與周邊",
"catid": 70,
"image": null,
"no_sub": false,
"is_default_subcat": false,
"block_buyer_platform": null
},
{
"display_name": "手機周邊配件",
"catid": 1579,
"image": null,
"no_sub": false,
"is_default_subcat": false,
"block_buyer_platform": null
},
{
"display_name": "轉接電視棒、線",
"catid": 16762,
"image": null,
"no_sub": true,
"is_default_subcat": false,
"block_buyer_platform": null
}
],
"ctime": 1601691912,
"name": "【WoW世界代購】2020 Google Chromecast with Google TV 4k HDMI媒體串流播放",
"show_shopee_verified_label": false,
"size_chart": null,
"is_pre_order": true,
"service_by_shopee_flag": null,
"historical_sold": 1428,
"reference_item_id": "",
"recommendation_info": null,
"bundle_deal_info": null,
"price_max": 210000000,
"has_lowest_price_guarantee": false,
"shipping_icon_type": 0,
"images": [
"82ddad81bd0cc6b03d797acbdf51c7cd",
"bb192fb5989cef4358a5377100965fd8",
"1ee7c425fedb0b5f0cfef7dddf475ec1",
"f0df75429124a11407597908abf76f7f",
"46d282f0742b2ea5fe9a21fafacf6c03",
"044f715ffd1e982989aa50fd35370bcc",
"6a8bf7deb89df6cc49edd27612cc8604"
],
"price_before_discount": 0,
"cod_flag": 0,
"catid": 70,
"is_official_shop": false,
"coin_earn_label": null,
"hashtag_list": null,
"sold": 210,
"makeup": null,
"item_rating": {
"rating_star": 4.96895,
"rating_count": [
1096,
1,
2,
3,
21,
1069
],
"rcount_with_image": 150,
"rcount_with_context": 305
},
"show_official_shop_label_in_title": false,
"discount": null,
"reason": null,
"label_ids": [
1001276,
1000575,
1000630,
1002199,
1002826
],
"has_group_buy_stock": false,
"other_stock": 35,
"deep_discount": null,
"attributes": [
{
"is_pending_qc": false,
"idx": 0,
"value": "Google",
"id": 7958,
"is_timestamp": false,
"name": "品牌"
}
],
"badge_icon_type": 0,
"liked": false,
"cmt_count": 1096,
"image": "82ddad81bd0cc6b03d797acbdf51c7cd",
"recommendation_algorithm": null,
"is_cc_installment_payment_eligible": true,
"shopid": 3149132,
"normal_stock": 35,
"video_info_list": [],
"installment_plans": null,
"view_count": 15059,
"voucher_info": null,
"current_promotion_has_reserve_stock": false,
"liked_count": 934,
"show_official_shop_label": false,
"price_min_before_discount": -1,
"show_discount": 0,
"preview_info": null,
"flag": 720896,
"exclusive_price_info": null,
"current_promotion_reserved_stock": 0,
"wholesale_tier_list": [],
"group_buy_info": null,
"shopee_verified": false,
"item_has_post": false,
"hidden_price_display": null,
"transparent_background_image": "",
"welcome_package_info": null,
"discount_stock": 0,
"coin_info": {
"spend_cash_unit": 100000,
"coin_earn_items": []
},
"is_adult": false,
"currency": "TWD",
"raw_discount": 0,
"is_preferred_plus_seller": false,
"is_category_failed": false,
"price_min": 210000000,
"can_use_bundle_deal": false,
"cb_option": 0,
"brand": "",
"stock": 35,
"status": 1,
"bundle_deal_id": 0,
"is_group_buy_item": null,
"description": "原廠保固一年，我們免費代送保固哦！\n\n下單後才代購，預計3/9左右抵台灣出貨，出貨時會通知，......",
"flash_sale": null,
"models": [
{
"itemid": 6155409258,
"status": 1,
"current_promotion_reserved_stock": 0,
"name": "粉紅（缺貨）",
"promotionid": 0,
"price": 220000000,
"price_stocks": [
{
"model_id": 23792748542,
"stockout_time": 1609939591,
"region": "TW",
"rebate": null,
"price": 220000000,
"promotion_type": 0,
"allocated_stock": null,
"shop_id": 3149132,
"end_time": null,
"stock_breakdown_by_location": [],
"item_id": 6155409258,
"promotion_id": 0,
"purchase_limit": null,
"start_time": null,
"stock": 0
}
],
"current_promotion_has_reserve_stock": false,
"currency": "TWD",
"normal_stock": 0,
"extinfo": {
"seller_promotion_limit": null,
"has_shopee_promo": null,
"group_buy_info": null,
"holiday_mode_old_stock": null,
"tier_index": [
2
],
"seller_promotion_refresh_time": 0
},
"price_before_discount": 0,
"modelid": 23792748542,
"sold": 1,
"stock": 0
},
{
"itemid": 6155409258,
"status": 1,
"current_promotion_reserved_stock": 0,
"name": "白色snow(3/9出貨)",
"promotionid": 0,
"price": 210000000,
"price_stocks": [
{
"model_id": 51236728441,
"stockout_time": 0,
"region": "TW",
"rebate": null,
"price": 210000000,
"promotion_type": 0,
"allocated_stock": null,
"shop_id": 3149132,
"end_time": null,
"stock_breakdown_by_location": [],
"item_id": 6155409258,
"promotion_id": 0,
"purchase_limit": null,
"start_time": null,
"stock": 35
}
],
"current_promotion_has_reserve_stock": false,
"currency": "TWD",
"normal_stock": 35,
"extinfo": {
"seller_promotion_limit": null,
"has_shopee_promo": null,
"group_buy_info": null,
"holiday_mode_old_stock": null,
"tier_index": [
0
],
"seller_promotion_refresh_time": 0
},
"price_before_discount": 0,
"modelid": 51236728441,
"sold": 1329,
"stock": 35
}
],
"has_low_fulfillment_rate": false,
"price": 210000000,
"shop_location": "高雄市苓雅區",
"tier_variations": [
{
"images": [],
"properties": [],
"type": 0,
"name": "顏色",
"options": [
"白色snow(3/9出貨)",
"粉紅（缺貨）"
]
}
],
"can_use_cod": null,
"makeups": null,
"welcome_package_type": 0,
"show_official_shop_label_in_normal_position": null,
"item_type": 0
},
"version": "3ce549a98de8723d3e24613cc448f7f8",
"data": null,
"error_msg": null,
"error": null
}

評價資訊

評價資訊指的是商品頁面底下，買家對於此商品的評分、評論、照片、影片等資料。

評價資訊

請求路徑

GET https://shopee.tw/api/v2/item/get_ratings?filter=0&flag=1&itemid={商品ID}&limit=6&offset=0&shopid={賣場ID}&type=0

範例：https://shopee.tw/api/v2/item/get_ratings?filter=0&flag=1&itemid=1558498138&limit=6&offset=0&shopid=9060351&type=0

referer：https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
(同樣是此商品網址，一樣記得將 url 編碼)

請求參數

來看一下評價資訊的請求網址帶哪些參數：

shopid：賣場ID。
itemid：商品ID。
flag 和 type：篩選條件。

篩選	filter	type
全部留言	0	0
五星留言	0	5
四星留言	0	4
三星留言	0	3
二星留言	0	2
一星留言	0	1
附上評論	1	0
附上照片/影片	3	0

* 經過嘗試，發現兩者貌似無法混用，例如無法篩選"附上評論的三星留言"這樣。

limit：一次請求最大回傳的結果數量，預設 15 個、最多 59 個，但如果給超過 59 個，反而會回傳 0 個。
offset：偏移值。
flag：未知。

回傳資料

它也是以 JSON 格式回傳，data 底下有 item_rating_summary 與 ratings 兩個欄位。
item_rating_summary 是總評價的統計，像是總評分為幾分、有幾個五星評價、有幾個加上照片/影片的評價；ratings 裡面就是各評價的詳細資料。

以下我列出一些各評價中比較重要的欄位，如與上方有重複的就不再寫出來：

欄位	代表意思
rating_star	評分(星等)
author_portrait	作者大頭照
cmtid	評價ID
author_username	評分者帳號
author_shopid	評分者賣場ID
comment	評論
anonymous	是否匿名
ctime	創建評分時間(時間戳)
mtime	修改評分時間(時間戳)
product_items > model_name	評分者購買商品的規格
ItemRatingReply	賣家回應

* 作者大頭照與之前圖片一樣，網址 https://cf.shopee.tw/file/ 再加上圖片ID即可。

* 這邊影片網址不需要再像上面那樣串，它直接給影片網址了。

延伸練習

試著將"搜尋商品"、"商品資訊"、"評分資訊"的抓取資料挑選、整理之後，儲存到檔案(txt、csv、json)中。
以上文章說明抓取"搜尋商品"、"商品資訊"、"評分資訊"，請試著自己寫寫看"如何取得指定賣場內商品"？
例如： Logitech羅技官方旗艦館裡頭所販售的所有商品。

注意事項

後來發現如果短時間太頻繁的送出請求，會被伺服器阻擋，貌似正常獲得資料，但其實仔細看會發現資料有誤，例如價格很明顯不正確等等。

結語

在尋找、爬取"蝦皮購物"的相關資料時會覺得很有趣，因為它是使用 API 的方式去請求資料，也不用自己寫 BeautifulSoup 來解析網頁，一步步尋找個參數代表什麼意思，我想這也是在寫爬蟲程式過程的樂趣吧。

之後會繼續陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料，又或遇到其他問題，歡迎參考與在底下留言喔~🔖

逆風的方向，更適合飛翔，我不怕千萬人阻擋，只怕自己投降。

—— 五月天《倔強》

《PUI PUI 天竺鼠車車》簡單趨勢分析，同場加映：Python 爬取 Google 每日搜尋趨勢

jia@jiatool.com (Jia) — Sun, 07 Feb 2021 20:30:00 +0800

前言

小孩才看鬼滅之刃，大人都看天竺鼠車車！！
最近《PUI PUI 天竺鼠車車》超紅🔥🔥🔥，算是繼鬼滅之刃後下一個爆紅的動畫作品，不曉得你上車了嗎？

本篇文章第一部分會介紹這部爆紅的作品《PUI PUI 天竺鼠車車》，接下來將簡單帶大家來看天竺鼠車車在台灣的趨勢，最後還會有 Python 爬取 "Google 每日搜尋趨勢" 的講解與教學，千萬不要錯過！！

《PUI PUI 天竺鼠車車》圖片來源：PUI PUI 天竺鼠車車官方網站

🐹《天竺鼠車車》介紹

天竺鼠車車全名《PUI PUI 天竺鼠車車》，為日本原創採用羊毛氈製作的電視定格動畫，"PUI PUI"是代表天竺鼠真實的叫聲，每話片長非常短只有 2 分 40 秒，而且是沒有對話或旁白的。
(原本是做給兒童看的，沒想到在大人間爆紅🤣)

引用 Muse木棉花-TW 內簡介

故事舞臺發生在一個天竺鼠變成車子的世界。療癒系的車“天竺鼠車車”。圓滾滾的眼睛和又大又圓的屁股，短短的手腳。常常一臉傻乎乎地四處奔波的天竺鼠車車。
即使塞車了，只要看著前面的天竺鼠車車的屁股就能被療癒，就算製造了一些麻煩，因為毛茸茸太可愛了也能原諒吧？！
以汽車各式各樣的情境為中心的療癒、友情、冒險、亂七八糟的動作戲以及超多天竺鼠的動畫！

引用巴哈姆特動畫瘋內簡介

《PUI PUI 天竺鼠車車》是以羊毛氈天竺鼠來創作的偶動畫，如果將車子通通「擬豬化」，這個世界會變得如何呢？
以天竺鼠作為交通工具的世界觀，發展出一連串療癒、友情與冒險的故事。變成車子的天竺鼠，還是保有豬豬的個性，會排隊行動，容易驚嚇，又因為貪吃而爭先恐後引發大騷動，只差沒有黑豆噴射攻擊了！而且用羊毛氈表現的天竺鼠表情，實在是很寫實逗趣啊！
動畫監督見里朝希，以偶動畫創作獲得多項國際大獎，劇名裡的「PUI PUI」就是天竺鼠的叫聲。

《PUI PUI 天竺鼠車車》圖片來源：Muse木棉花 FB粉專

如還你沒看過、想要觀看，歡迎至以下正版平台收看。
(1/5(二) 起，每週二 07:35 與日同步更新)

題外話，之前看到一篇文章訪問、講解為何木棉花代理動畫卻免費放送，因盜版猖獗，有許多非常途徑可以看到動畫，因此木棉花轉變觀念，希望由動漫帶動後面周邊商品開發、授權聯名等營業項目。
有興趣的朋友可以過去看看：《鬼滅》《天竺鼠車車》幕後推手！代理動畫卻免費放送，木棉花在想什麼？

🐹《天竺鼠車車》在台灣的 Google 搜尋趨勢

在 Google 趨勢探索頁面，我將 "天竺鼠" 與 "天竺鼠車車" 關鍵字輸入，一同觀看《天竺鼠車車》從 2021 年 1 月 5 日開播以來的搜尋趨勢變化，這邊關鍵字我輸入 "天竺鼠" 和 "天竺鼠車車" 兩個，因為可能很多人搜尋不會將全名打出來。
並且我將前五話的播出時間點標記出來，方便對照觀察。

"天竺鼠" 搜尋趨勢 2021/01/01~2021/02/05

明顯看出一開始並沒有造成話題，但在 1/20 達到顛峰，也就是在星期二(1/19) 第 03 話播出後的隔天最多人搜尋，仔細想想大部分的人聽到、知道這部動畫應該也是差不多那個時候，而且如果去搜尋天竺鼠車車相關文章與影片(討論、分析)，會發現許多都是在第 03 話附近的時間點發文的。
然後在後續第 04 話、第 05 話播出當天，搜尋量也有小幅提升。

接下來看看 Google 每日搜尋趨勢，尋找 "天竺鼠車車" 是否有登上哪一天的台灣搜尋排行榜。

我簡單使用 Python 來爬取每一天的 Google 每日搜尋趨勢(後面會再說明該如何做到)，發現到從開播以來只有 1/19 當天上榜，直接衝上第二名，在台灣的搜尋量達到 10 萬多筆。

"天竺鼠車車" Google 每日搜尋趨勢

我來稍微說明一下，可能看到"探索"圖表我輸入的關鍵字有人會感到疑惑，為何是輸入"天竺鼠車車"而不是"天竺鼠車車"，中間幹嘛要加入空格呢？
這邊是經過嘗試並參考以下文章內提到 Google Trends 中文分詞的 bug，所以修正關鍵字的。
揭密 Google Trends 正確使用方式：為何 90% 人都用錯 Google Trends？｜Google Trends 教學

🐹爬取 "Google 每日搜尋趨勢"

這邊要注意，底下的教學是爬取 "每日搜尋趨勢" ，而不是可以自行輸入關鍵字的 "探索" 。
"探索" 功能之後有機會會再寫一篇文章來介紹，想看的麻煩在本文章底下、巴哈姆特或 FB粉專留言讓我知道~

Google "每日搜尋趨勢" 與 "探索"

尋找爬取方法

首先進到 "Google 每日搜尋趨勢" 網頁，上方可以選擇國家，底下是依照每天使用者在 Google 搜尋量來排名。

當我們把網頁滾到最下面，發現到有 "載入更多" 的按鈕，我們可以猜測網頁是否使用 JavaScript 來動態載入更多資料。
打開瀏覽器的"開發人員工具(F12)"，並切換到 "Network" > "XHR" 頁面，滑鼠點擊"載入更多"按鈕。

"開發人員工具(F12)" > "Network" > "XHR"

可以發現確實網頁有新資料顯示，"XHR" 頁面也有一個 GET 請求。

點擊"載入更多"後會載入更多資料

滑鼠對它點擊，切到 "Preview" 稍微觀察一下資料。
沒錯！！這就是我們想要抓取的資料。

"Preview" 頁面

在 "Headers" 的地方可以找到請求的網址與方法：

"Headers" 有請求的網址與方法

Request URL: https://trends.google.com.tw/trends/api/dailytrends?hl=zh-TW&tz=-480&ed=20210203&geo=TW&ns=15
Request Method: GET

從請求網址後方可以發現它有帶五個傳遞參數(網址?後方)，分別如下：

hl: zh-TW
tz: -480
ed: 20210206
geo: TW
ns: 15

hl 代表語言，台灣的繁體中文是zh-TW。其他語言可以藉由切換網頁上的語言來查看送出的請求他帶什麼數值，或參考此網頁列表。
tz 代表時區偏移量，單位是分鐘，因此台灣時區是 +8 也就是 8*60=480，然後負的代表我們時間要減 480 分鐘才會等於格林威治標準時間。
geo 代表國家縮寫，例如台灣是TW、美國是US。
ed 代表查詢的日期，採"年年年年月月日日"的方式排列，像是 "20200520"、"20210207"。
ns 目前尚未查到它代表什麼意思。

而收到的資料中，最前方第一行有段干擾的文字「)]}',\n」，後方才是正確的 json 格式資料。

"Response" 頁面可察看回應資料

裡頭的資料跟你在網頁會看到的差不多，關鍵字、搜尋量、相關新聞、相關查詢、圖片連結、關鍵字探索連結等等。

Python 範例程式

接下來，我們將以上流程寫成 Python 程式，以下示範請求 2021/02/01 當天台灣的 Google 每日搜尋趨勢：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import json
import requests
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
date_str = '20210201'
url = f'https://trends.google.com.tw/trends/api/dailytrends?hl=zh-TW&geo=TW&tz=-480&ns=15&ed={date_str}'
r = requests.get(url, headers=HEADERS)
if r.status_code == requests.codes.ok:
data = r.text.lstrip(")]}',\n")
data_json = json.loads(data)
trends = data_json['default']['trendingSearchesDays'][0]
print(trends)
else:
print(f'請求失敗：{r.status_code}')

而經過測試，Google 每日搜尋趨勢最多提供最近 30 天的資料，每天最多前 20 個熱門關鍵字，好像當天關鍵字搜尋量不到 2000+ 就不會排出來，所以有些天數的熱門關鍵字不到 20 個。

如果你想使用迴圈來一次爬取好幾個日期，可以參考以下方式來取得一段日期列表，再執行迴圈來請求：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from datetime import date, timedelta
base_date = date.today()
days_num = 3
date_list = [base_date - timedelta(days=x) for x in range(days_num)]
# ['20210206', '20210205', '20210204']
for date_ in date_list:
date_str = date_.strftime("%Y%m%d")
# ...

* 記得多次請求之間要加入一點延遲，才不會被擋ㄛ~

結語

如果你還沒看過《PUI PUI 天竺鼠車車》的話，趕緊去各正版平台觀看，反正每話也才不到 3 分鐘，一下子就看完了🤣

最後提醒，在飼養動物都要了解其習性，並評估自身及經濟狀況，不要因為一時熱潮而衝動購買，要尊重生命。

參考：
PUI PUI 天竺鼠車車官方網站
 Muse木棉花 YouTube 官方頻道
 巴哈姆特動畫瘋

PUI~PUI~PUI~PUI~PUI~PUI~PUI~PUI~PUI~

—— 天竺鼠

Requests 套件發生 requests.exceptions.SSLError: certificate verify failed 錯誤，無法請求網頁

jia@jiatool.com (Jia) — Sun, 17 Jan 2021 20:30:00 +0800

問題

在使用 Requests 套件送出請求抓取網頁時，有時候可能會遇到以下錯誤：

requests.exceptions.SSLError: HTTPSConnectionPool(host='www.xxx.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:852)'),))

原因是 HTTPS 的 SSL 憑證過期、不合格或有其他問題，造成 Requests 在請求時證書驗證失敗，就會出現 requests.exceptions.SSLError 這樣的錯誤。

憑證無效

解決辦法

Requests 套件在默認的情況下，預設是啟用 SSL 驗證，其中一個解決的方式是透過加上 verify=False 參數來關閉 Requests 的 SSL 憑證檢查功能。

1

r = requests.get('https://www.xxx.com', verify=False)

關閉 Requests 套件的 SSL 憑證檢查功能，就能正常取得網頁資料，但會跳出以下警告：

InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.xxx.com'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

雖然不影響結果，但如果覺得很礙眼想隱藏此警告消息，
參考它給的網址( https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings )，裡頭寫到"如果您了解風險並希望禁用這些警告，則可以使用 disable_warnings()"：

1
2


import urllib3
urllib3.disable_warnings()

或者也可以只針對不安全的請求警告隱藏：

1
2


import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

參考：
Requests 套件 SSL Cert Verification
urllib3 套件 TLS Warnings
stackoverflow

真正能讓你倒下的，不是對手，而是你絕望的內心。

[Python爬蟲實例] NOWnews今日新聞-動態載入

jia@jiatool.com (Jia) — Sun, 27 Dec 2020 20:30:00 +0800

前言

Python網路爬蟲實例系列已經進入第六篇了，我們要試著來抓取「NOWnews今日新聞」的即時新聞列表，而透過底下說明可以發現它有使用 Ajax 動態載入，我們也可以更容易地取得資料。文末有附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

流程

首先進入 NOWnews 今日新聞的即時新聞列表網頁，來觀察看看其新聞列表載入方式。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，可能一開始會先透過"Elements"找網頁節點元素，馬上就開始寫爬蟲程式了。
但是等等，這樣除了要解析網頁，他頁面上有三種版型，還要各自分開解析，或許我們可以再花點時間觀察觀察。

即時新聞列表網頁

新聞列表三種版型

開發人員工具切換到"Network" > "XHR"，當我們點擊「看更多新聞」按鈕時，會發現有送出一個請求，單點選它打開之後，右邊選擇 Preview 分頁看一下其中的資料。
水啦~~~就是我們希望取得的新聞列表。

「看更多新聞」按鈕

「看更多新聞」Ajax

切換回 Headers 分頁，看一下此資料請求方式與網址。
使用"GET"的方式，網址為 https://www.nownews.com/nn-client/api/v1/cat/breaking/。

Ajax請求方式

ㄟ？！那網址後方的參數 pid=5148899 代表什麼呢？
打開開發人員工具內的搜尋(Ctrl+F)，觀察一下發現，原來是代表前一次資料中的最後一篇新聞ID啊~

pid 參數代表什麼？

可以將網址貼到瀏覽器的網址欄位中，查看回傳的資料。

OK
大致上原理與流程我們知道了，來開始將其轉換成 Python 程式碼吧！

來源：吉卜力工作室 www.ghibli.jp

爬蟲程式

先設定兩個變數，all_news 之後要裝抓取的新聞資料；pid 是記錄每頁最後一筆新聞的ID (為了請求下一頁)。

1
2
3


def get_news(num=10):
all_news = []
pid = ''

這邊使用 while 迴圈，num 代表我們想爬取的新聞數量，當數量還不到時，就繼續抓取。
請求的網址 url 後方記得帶上 pid 參數。第一頁只要空著就行，之後開始才需要給值。

1
2
3
4
5
6


 while len(all_news) < num:
url = f'https://www.nownews.com/nn-client/api/v1/cat/breaking/?pid={pid}'
r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print(f'Requests Error: {r.status_code}')
break

我們先觀察之前取得的回傳資料：
* 為了方便觀察，我這邊使用 JSON Editor Online 線上工具來輔助演示。

回傳資料內容

參數	代表意思	格式
id	ID	文字
postTitle	標題	文字
postUrl	網址(包含請求分類)	文字
postOnlyUrl	網址(不包含請求分類)	文字
sort	排序	數字
postContent	內容摘要	文字
imageUrl	圖片網址	數字
newsDate	發布日期	數字

回傳資料是 JSON 格式，直接使用 requests 提供的 r.json() 轉換。
新聞列表資料是放在 data > newsList 中，並取得我們想要的欄位。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


 data = r.json()
news_list = data['data']['newsList']
for news in news_list:
news_data = {
'id': news['id'],
'url': 'https://www.nownews.com' + news['postOnlyUrl'],
'title': news['postTitle'],
'content': news['postContent'],
'date': news['newsDate']
}
all_news.append(news_data)

下一頁網址後方參數 pid，就是這次的最後一筆新聞ID。
每次請求之間加入一小段延遲，避免太頻繁爬取，造成對方伺服器負擔。

1
2


 pid = all_news[-1]['id']
time.sleep(random.uniform(2, 5))

完整程式碼

附上完整程式碼： nownews_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

試著抓取不同分類裡的新聞列表，例如： NOW電玩裡的最新新聞。
提示：雖然它看似採用"下一頁"的方式，但你實際點擊不同頁數時，發現到網址並無任何變化，或許它也是使用 Ajax 動態載入資料的方式呢~

結語

整體來說，NOWnews今日新聞的爬取方法與聯合新聞網蠻類似的，可以前往我之前寫的教學文參考。

我會陸續慢慢寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎參考與在底下留言喔~🔖

人生沒有最好的決定，只有在決定之後做到最好。

[Python爬蟲實例] YouTube-使用 youtube_dl 套件

jia@jiatool.com (Jia) — Sun, 13 Dec 2020 20:20:00 +0800

前言

在之前 [Python爬蟲實例] YouTube-使用 YouTube Data API 教學是使用 YouTube Data API 來取得影片相關資訊，不過如果你只是想抓取影片基本訊息，但不想麻煩去申請 API Key，或許可以改使用一個非常有名的套件 — youtube_dl。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

本次主要使用到的套件：

youtube-dl [ 官網 ] [ GitHub ]

📘 爬蟲程式

youtube_dl 主要提供從 YouTube 及其他多個網站下載影片，使用方法非常簡單：

1
2


with youtube_dl.YoutubeDL() as ydl:
info = ydl.extract_info("影片網址", download=False)

因為我們只是想取得影片資訊，並沒有要下載影片，因此 download 帶入 False。

函式回傳的資料即是 dict (字典) 資料型別，我們可以只挑選需要的內容。
程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


from pprint import pprint
import youtube_dl
def get_video_info(youtube_url):
video_info = {}
with youtube_dl.YoutubeDL() as ydl:
info = ydl.extract_info(youtube_url, download=False)
# pprint(info)
video_info['ID'] = info.get('id')
video_info['標題'] = info.get('title')
video_info['影片縮圖'] = info.get('thumbnail')
video_info['上傳者'] = info.get('uploader')
video_info['上傳者網址'] = info.get('uploader_url')
video_info['影片長度(秒)'] = info.get('duration')
video_info['觀看次數'] = info.get('view_count')
video_info['留言數'] = info.get('comment_count') # -
video_info['喜歡數'] = info.get('like_count')
video_info['不喜歡數'] = info.get('dislike_count')
video_info['平均評分'] = info.get('average_rating')
video_info['描述'] = info.get('description')
video_info['標籤'] = info.get('tags')
video_info['網頁網址'] = info.get('webpage_url')
video_info['上傳日期'] = info.get('upload_date')
return video_info
if __name__ == '__main__':
video_info = get_video_info('https://www.youtube.com/watch?v=YculJhe_iPk')
pprint(video_info)

回傳影片相關資訊結果：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


{'ID': 'YculJhe_iPk',
'上傳日期': '20201206',
'上傳者': 'Onion Man',
'上傳者網址': 'http://www.youtube.com/channel/UCzxN4G3s9uR9ao5_O5DoXmA',
'不喜歡數': 230,
'喜歡數': 13735,
'平均評分': 4.9341211,
'影片縮圖': 'https://i.ytimg.com/vi_webp/YculJhe_iPk/maxresdefault.webp?v=5fccb8d3',
'影片長度(秒)': 299,
'描述': '你的請客值有多少?\n'
'\n'
'【訂閱】及觀看洋蔥更多影片: https://goo.gl/ijP3Eb\n'
'\n'
'工作合作：service@weido.biz\n'
'Onion Man 百萬追蹤粉絲團:goo.gl/Z5CSvw\n'
'\n'
'最新阿文貼圖:https://reurl.cc/GxYjA\n'
'\n'
'第一代阿文line貼圖:https://reurl.cc/Wroxx\n'
'\n'
'洋蔥私生活IG:https://www.instagram.com/onionman__/\n'
'\n'
'\n'
'運動漫畫裡的中二老梗劇情\n'
'►第一集:https://youtu.be/cMoV1rPH35k\n'
'►第二集:https://youtu.be/iW7LM00lny0\n'
'►第三集:https://youtu.be/2G5wu61uCM0\n'
'►第四集:https://youtu.be/-rP1abYv8n4\n'
'\n'
'Onion Man 關鍵字:\n'
'中二 肥宅 單身漢 單身 魯蛇 屌絲 肥宅',
'標籤': ['onion', 'man', '阿文', '黑鳳梨', '插畫', '爆笑', '搞笑', '玩笑',...'綜藝大熱門', 'de', 'jun', '上班不要看'],
'標題': 'Onion Man | 我不想出錢 但要裝闊',
'留言數': None,
'網頁網址': 'https://www.youtube.com/watch?v=YculJhe_iPk',
'觀看次數': 555986}

* 我發現它 YouTube 好像無法取得留言數。🤔

但它是需要透過影片網址來取得影片相關資訊，如果我們想要像上次一樣，針對某個頻道抓取最近的五部影片，可能就要先透過網路爬蟲取得網頁的方式來獲取影片網址，才可以使用了 youtube_dl 套件。

完整程式碼

附上完整程式碼： youtube_dl.py
(對超連結右鍵 > 另存連結為)

延伸練習

在上方教學中，我們是透過影片網址取得影片資訊。
那你可以寫支程式自動抓取發燒影片的前10名影片資訊嗎？
youtube_dl 套件最主要是用來從 YouTube 及其他多個網站下載影片，你何不來嘗試看看呢？

結語

如果你只是想取得影片的基本資訊，使用 youtube_dl 套件會比較容易哦~

我有陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，或者遇到其他問題，歡迎過來參考和在底下留言~👇

參考：
youtube-dl GitHub

有夢就去追啊，愣在原地做什麽。

[Python爬蟲實例] YouTube-使用 YouTube Data API

jia@jiatool.com (Jia) — Sun, 01 Nov 2020 20:40:00 +0800

前言

來到 Python網路爬蟲實例系列第四篇，本篇使用 Python 透過官方 YouTube Data API v3 來爬取 YouTube ，包含頻道資訊、影片清單、影片資訊等等資料。

從在 Google 雲端平台(Google Cloud Platform)創建一個專案開始，包括獲取 API 授權憑證、取得 API key，到撰寫抓取程式皆會一步步講解如何操作。最後同樣會附上完整程式碼供參考。

而如果你是想下載 YouTube 影片的話，本篇內容並不會提及，這部分可參考其他套件，例如 pytube 。
之前還有另外一個套件 Youtube-dl，但在寫這篇文章時發現美國唱片業協會（RIAA）點名 Youtube-dl 程式碼違反著作權法，並要求GitHub將它們移除( 來源 )。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

本次主要使用到的套件：

Requests [ Doc ] [ GitHub ]

流程

要使用官方 YouTube Data API 抓取資料前，要先取得 API Key。

先到 Google 雲端平台(Google Cloud Platform)創建一個專案，並將 YouTube Data API 加入置專案內，獲取 API 授權憑證、取得 API key。

爬取資料這邊以 六指淵 Huber 頻道當範例，到上傳的影片列表抓取最新的前五則影片，再到影片內取得影片相關資訊及留言。

六指淵 Huber 頻道

🔑 取得 YouTube Data API Key

先到 Google 雲端平台(Google Cloud Platform) 創建一個專案，如果是第一次進來會跳出服務條款，點選同意後繼續。
點擊右上角顯示"建立專案"，或到上方的"選取專案"處建立。

服務條款

右上角"新增專案"。

創建專案

輸入"專案名稱"，點選"建立"。
(專案ID也可以修改)

創建專案

等它跑完後會進到此頁面，接下來要將我們需要使用的 API 加進來啟用。
點選"啟用 API 和服務"。

啟用 API

找到 YouTube Data API v3。

啟用 API

點擊"啟用"。

啟用 API

最後要建立憑證，並取得 API Key。
點擊右方"建立憑證"，或者點擊左方的"憑證"。

建立憑證

如果你是點擊左方"憑證"，則依下圖所示建立 API 金鑰 (API Key)。

建立憑證

如果你是點擊右方"建立憑證"，則依下圖選擇，並點擊"我需要那些憑證"。

建立憑證

它會跳到此頁面，將 API 金鑰複製下來，待之後程式使用。
(也可以"為金鑰新增限制")

建立憑證

到這邊就完成 YouTube Data API Key 的取得，看似步驟很多，但實際操作過一遍就會了解了。

* 官方說明文檔

📘 爬蟲程式

本次是直接使用 API，因此在送出請求時就不需要加入 header 中 User-Agent 欄位了。

先在上方定義剛剛取得的 API Key，待之後發出請求時帶入。
(YOUR_YOUTUBE_API_KEY 換成剛剛在上一步取得的 API Key)

1

YOUTUBE_API_KEY = "YOUR_YOUTUBE_API_KEY"

API 說明

在官方 API 文件內，可以查詢各種資源及各種請求方法。

在本次程式中會用到幾種資源 (這邊都只需使用 list 方法)：

channels ：取得頻道"上傳影片清單"的 ID
playlistItems ：取得清單中的影片列表
videos ：取得影片資訊
commentThreads ：取得影片底下留言

本教學都只使用到 list 方法(GET)，因此網址串好後可以直接貼到瀏覽器上測試，觀看它回傳的資料。

因為每一次送出請求皆需要帶上 API Key，而且回傳資料要轉換JSON，所以可以另外寫一個用於組合網址、請求的函式，也可在裡面做當請求失敗的處理。

1
2
3
4
5
6
7
8
9


def get_html_to_json(self, path):
"""組合 URL 後 GET 網頁並轉換成 JSON"""
api_url = f"{self.base_url}{path}&key={self.api_key}"
r = requests.get(api_url)
if r.status_code == requests.codes.ok:
data = r.json()
else:
data = None
return data

* 為了較清楚的了解流程，以下範例程式內沒有加入太多的例外處理。

取得頻道"上傳影片"清單的 ID

想要抓取頻道內上傳的影片前，需要先抓到"上傳影片"清單的 ID，再用此 ID 去取的影片清單。

使用 channels 路徑來取得，需帶上"id"、"key"、"part"等查詢參數。
id 代表頻道 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

頻道ID的取得方式可以先到頻道首頁，觀察網址後方帶的數值，例如：
https://www.youtube.com/channel/UC7ia-A8gma8qcdC6GDcjwsQ
"channel/"後方的 UC7ia-A8gma8qcdC6GDcjwsQ 就代表此頻道的 ID。

不過有時會發現網址是呈現以下形式：
https://www.youtube.com/c/六指淵Huber
別擔心，此時隨便點擊頻道底下的其中一支影片，在點中間的頻道名稱進入後，一樣即可看到網址後方的數值。

如何取得頻道 ID

至於"part"需帶什麼數值可以參考官方 API 文檔說明，也可以一個一個嘗試看看會回傳什麼資料。

part 查詢參數

因為請求方式是使用 GET，因此可以直接貼到瀏覽器上測試。
https://www.googleapis.com/youtube/v3/channels?part=contentDetails&id=UC7ia-A8gma8qcdC6GDcjwsQ&key={YOUR_API_KEY}

取得上傳影片清單的 ID

==> 回應資料範例

其中 uploads 後面那串就是此頻道"上傳影片"清單的 ID，這邊是 UU7ia-A8gma8qcdC6GDcjwsQ。

1
2
3
4
5
6
7
8
9


def get_channel_uploads_id(self, channel_id, part='contentDetails'):
"""取得頻道上傳影片清單的ID"""
path = f'channels?part={part}&id={channel_id}'
data = self.get_html_to_json(path)
try:
uploads_id = data['items'][0]['contentDetails']['relatedPlaylists']['uploads']
except KeyError:
uploads_id = None
return uploads_id

取得清單中的影片列表

好的，接下來取得"上傳影片"清單的影片吧~

使用 playlistItems 路徑來取得，需帶上"playlistId"、"key"、"part"等查詢參數。
playlistId 代表播放列表 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

這邊代的參數大部分與上方雷同，可以自行參考官方 API 文檔說明，就不多說介紹了。
我們要抓此頻道上傳影片，所以 playlistId 帶入上一步抓到的"上傳影片"清單的 ID。

https://www.googleapis.com/youtube/v3/playlistItems?part=contentDetails&playlistId=UU7ia-A8gma8qcdC6GDcjwsQ&key={YOUR_API_KEY}

取得影片ID

==> 回應資料範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_playlist(self, playlist_id, part='contentDetails', max_results=10):
"""取得影片清單ID中的影片"""
path = f'playlistItems?part={part}&playlistId={playlist_id}&maxResults={max_results}'
data = self.get_html_to_json(path)
if not data:
return []
video_ids = []
for data_item in data['items']:
video_ids.append(data_item['contentDetails']['videoId'])
return video_ids

取得影片資訊

針對每一支影片，來取得其影片相關資訊吧~

使用 videos 路徑來取得，需帶上"id"、"key"、"part"等查詢參數。
id 代表影片 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

https://www.googleapis.com/youtube/v3/videos?part=snippet,statistics&id=lM7ltxkXE40&key={YOUR_API_KEY}

取得影片資訊

==> 回應資料範例

回傳資料有影片標題、頻道名稱、發布時間、縮圖網址、觀看數、留言數……等等許多相關資訊。

* 謝謝網友提醒，dislikeCount 資訊現在無法取得了，這應該也是因應 YouTube 現在不能看到 Dislike 的數量了。

Note: The statistics.dislikeCount property was made private as of December 13, 2021. This means that the property is included in an API response only if the API request was authenticated by the video owner. See the revision history for more information.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


def get_video(self, video_id, part='snippet,statistics'):
"""取得影片資訊"""
path = f'videos?part={part}&id={video_id}'
data = self.get_html_to_json(path)
if not data:
return {}
# 以下整理並提取需要的資料
data_item = data['items'][0]
try:
time_ = datetime.strptime(data_item['snippet']['publishedAt'], '%Y-%m-%dT%H:%M:%SZ')
except ValueError:
# 日期格式錯誤
time_ = None
url_ = f"https://www.youtube.com/watch?v={data_item['id']}"
info = {
'id': data_item['id'],
'channelTitle': data_item['snippet']['channelTitle'],
'publishedAt': time_,
'video_url': url_,
'title': data_item['snippet']['title'],
'description': data_item['snippet']['description'],
'likeCount': data_item['statistics']['likeCount'],
# 'dislikeCount': data_item['statistics']['dislikeCount'],
'commentCount': data_item['statistics']['commentCount'],
'viewCount': data_item['statistics']['viewCount']
}
return info

取得留言資訊

那該如何取得影片底下的留言呢？

使用 commentThreads 路徑來取得，需帶上"videoId"、"key"、"part"等查詢參數。
videoId 代表播放列表 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

https://www.googleapis.com/youtube/v3/commentThreads?part=snippet&videoId=lM7ltxkXE40&key={YOUR_API_KEY}

取得留言資訊

==> 回應資料範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


def get_comments(self, video_id, page_token='', part='snippet', max_results=100):
"""取得影片留言"""
path = f'commentThreads?part={part}&videoId={video_id}&maxResults={max_results}&pageToken={page_token}'
data = self.get_html_to_json(path)
if not data:
return [], ''
# 下一頁的數值
next_page_token = data.get('nextPageToken', '')
# 以下整理並提取需要的資料
comments = []
for data_item in data['items']:
data_item = data_item['snippet']
top_comment = data_item['topLevelComment']
try:
time_ = datetime.strptime(top_comment['snippet']['publishedAt'], '%Y-%m-%dT%H:%M:%SZ')
except ValueError:
# 日期格式錯誤
time_ = None
if 'authorChannelId' in top_comment['snippet']:
ru_id = top_comment['snippet']['authorChannelId']['value']
else:
ru_id = ''
ru_name = top_comment['snippet'].get('authorDisplayName', '')
if not ru_name:
ru_name = ''
comments.append({
'reply_id': top_comment['id'],
'ru_id': ru_id,
'ru_name': ru_name,
'reply_time': time_,
'reply_content': top_comment['snippet']['textOriginal'],
'rm_positive': int(top_comment['snippet']['likeCount']),
'rn_comment': int(data_item['totalReplyCount'])
})
return comments, next_page_token

其他查詢參數

還有其他常用的查詢參數：

像是 maxResults 可以限制回傳筆數，搭配 commentThreads 帶入 maxResults=10 代表最多回傳 10 筆留言。

又例如 pageToken 是用來換頁的，什麼意思呢？
像是 API 有限制留言最多一次只能抓 100 筆留言，就算你帶入 maxResults=200 也只能抓到 100 筆。
但在回傳的資料中可以發現一個 nextPageToken 欄位，代表你再用一樣的網址請求一次，帶上 pageToken=QURTSl9pMmhMYktBc25xOHZtZTg3enJBTFFXNTFPbldJY05zTFFTTjdMM25VYThmdTBwWS1CNGFPZm1kQUU0WkJac0dWZkw3cWI2V1owOA== 就能取得下一頁的資料(例如：101~200 筆留言)。

nextPageToken 欄位

在像是有多個留言(commentThreads)或多支影片(playlistItems)時需要用到。
以上一段取得留言為例，會像是如下：

https://www.googleapis.com/youtube/v3/commentThreads?part=snippet&videoId=lM7ltxkXE40&pageToken=QURTSl9pMmhMYktBc25xOHZtZTg3enJBTFFXNTFPbldJY05zTFFTTjdMM25VYThmdTBwWS1CNGFPZm1kQUU0WkJac0dWZkw3cWI2V1owOA==&key={YOUR_API_KEY}

完整程式碼

附上完整程式碼： youtube_spider_api.py
(對超連結右鍵 > 另存連結為)

注意事項

要注意的是這個 API 有額度的限制，為每天 10,000 個單位( 官方說明 )，如果想將影片的留言都抓下來，可能就會耗費較多額度。
像上方使用的查詢都是消耗 1 單位。

在配額頁面可以查看此專案目前耗費的單位。

配額頁面

延伸練習

在上方教學中，影片清單只有取得前 5 則影片，那如果我想取得前 100 則影片呢？是不是會遇到什麼問題？需不需要加上什麼參數？
* 提示：參考教學中爬取留言的方法，使用 pageToken 參數。
上方教學只說抓取留言，那我如何想取得留言的回覆呢？是要帶入什麼參數嗎？或者是使用不同的方法？
* 提示：part 中的 replies ，或 Comments 資源。

結語

我會陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，或者遇到其他問題，歡迎過來參考和在底下留言~👇

參考：
官方 YouTube Data API 範例文檔

每一個成功者都有一個開始。
勇於開始，才能找到成功的路。

[Python爬蟲實例] 巴哈姆特哈啦區留言-動態載入

jia@jiatool.com (Jia) — Fri, 02 Oct 2020 21:10:00 +0800

前言

Python網路爬蟲實例系列第一篇「巴哈姆特哈啦區」裡，我們先跳過留言的爬取，並於延伸練習中的第二題讓大家嘗試。

而在經過了上一篇「聯合新聞網-動態載入」，應該大致知道該怎麼處理動態載入的部分。本文再實際帶著大家來爬取"巴哈姆特哈啦區的留言"，一樣是採用 Ajax 動態載入，最後也會附上完整程式碼供參考，那我們就開始吧~

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

首先進到巴哈姆特哈啦區中任一看板的任一文章，如同Python網路爬蟲實例第一篇「巴哈姆特哈啦區」先爬取各個樓層回覆，再進入抓取底下留言的部分。

一樣要觀察其留言列表載入方式，使用瀏覽器的開發人員工具找出 Ajax 請求網址，透過此網址取得新聞列表的 JSON 格式資料。

欲爬取的留言

爬蟲程式

網站有些常見的反爬蟲機制是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

如何載入留言

我們先找一則回覆的留言是需要點擊展開的，例如： https://forum.gamer.com.tw/C.php?bsn=60076&snA=4549786 ，對網頁點滑鼠右鍵 > 檢視網頁原始碼，查看此網頁的原始碼，

檢視網頁原始碼

在其中試著搜尋(Ctrl + f)需要展開才能看到的留言，會發現並沒有在網頁原始碼內，因此可以推測留言可能使用動態載入的方式。

試著搜尋留言

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) 分頁，切換到XHR重整網頁一下(F5)，當點擊"還有 2 則留言"後會發現有新的項目出現。

開發人員工具 > Network(網路) > XHR

單點選它之後，右邊選擇 Preview 分頁，即可發現這就是我們想要的資料！🤩

開發人員工具 > Network(網路) > XHR > Preview

試著載入留言

切換到 Headers 分頁，會顯示請求的網址(綠色框)以及請求方式(紫色框)，如此圖片顯示是使用 GET 方式，
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275&returnHtml=1
將網址複製起來，開個新分頁貼上網址後前往，順利取得回傳的資料(留言)。

開發人員工具 > Network(網路) > XHR > Headers

回傳資料(留言)

從上方回傳資料發現其留言已經使用 HTML 的格式，為了可以直接丟到網頁上顯示，雖然我們可以抓下來用 BeautifulSoup 解析，但注意觀察請求的網址會發現當中有帶一個參數 returnHtml，如果將其參數的值改為1，或將此參數移除，它回傳的資料就變成我們喜歡的 JSON 格式~ (歡呼)
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275

觀察網址參數

回傳資料(留言) JSON格式

不用再耗費力氣去找哪個資料對應哪個Tag、Class之類的麻煩事~

觀察回傳資料

將資料貼到線上 JSON 工具( JSON Editor Online )來觀察，發現它除了有一個 next_snC，剩下都是留言資料。

觀察回傳資料

其中比較重要的有以下欄位：

參數	代表意思
bsn	板塊ID
snB	回覆ID
sn	留言ID
userid	留言者ID
nick	留言者名稱
comment、content	留言內容 (目前不知道兩者差異)
gp	GP
bp	BP
wtime	發布時間
mtime	編輯時間

OK！接下來就要實際動手寫 code 囉~ 😙

爬取每一樓層回覆

* 為了簡化程式碼方便理解，像之前判斷請求是否成功的部份，這次將其省略。

1
2
3
4


r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []

跟之前「 [Python爬蟲實例] 巴哈姆特哈啦區」一樣，透過 Tag 的 id 爬取每一樓層回覆。

每一樓層回覆

這邊還需要取得"板塊ID"，因為爬取留言網址需要。
(這部分可以拉出來寫個 Function，之後需要使用比較方便。)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_reply_info_list(url):
"""爬取回覆列表"""
r = requests.get(url, headers=HEADERS)
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
# 這部分可以拉出來寫個 Function，之後需要使用比較方便。
bsn = url.split('bsn=')[1]
bsn = bsn.split('&')[0]
# ......

也需要取得"回覆ID"，而其 Tag 的 id 後方接著的數字就是"回覆ID"。

將"板塊ID"與"回覆ID"傳入 get_commend_info_list() 供組合出爬取留言網址使用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
# 對每一則回覆解析資料
for reply_block in reply_blocks:
floor = reply_block.select_one('.floor').get('data-floor')
reply_id = reply_block.get('id')
reply_id = reply_id.split('_')[1]
print(f'第 {floor} 樓 ID:{reply_id}')
commends = get_commend_info_list(bsn=bsn, reply_id=reply_id)
print(f'-> 總共有 {len(commends)} 則留言')

爬取每一則留言

組合出爬取留言用的網址，取得回傳資料，用 requests 提供的 r.json() 解碼轉換成 Dict。

留言網址

這邊有一點要注意，回傳資料中會有一個叫"next_snC"，其他都是字串格式的數字。
數字的裡面放著留言，要排除掉"next_snC"。

回傳資料

這邊我們弄一個 commends 的列表保存需要的留言資料，最後回傳。

備註：不太確定它一次最多可以回傳幾則留言，如果有人發現超過 1000 則留言的回覆，歡迎底下留言，我再將其補充。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


def get_commend_info_list(bsn, reply_id):
url = f"https://forum.gamer.com.tw/ajax/moreCommend.php?bsn={bsn}&snB={reply_id}"
r = requests.get(url, headers=HEADERS)
commends_duct = r.json()
commends = []
for key, value in commends_duct.items():
# 判斷是否是數字(commend)，排除"next_snC"
if key.isdigit():
commends.append(
{
'板塊ID': value.get('bsn'),
'回覆ID': value.get('snB'),
'留言ID': value.get('sn'),
'留言者ID': value.get('userid'),
'留言者名稱': value.get('nick'),
'留言內容': value.get('comment'),
'GP': value.get('gp'),
'BP': value.get('bp'),
'發布時間': value.get('wtime'),
'編輯時間': value.get('mtime'),
}
)
return commends

執行結果如下，這邊我顯示第一則留言方便觀察：

1
2
3


第 1 樓 ID:50892275
{'板塊ID': '60076', '回覆ID': '50892275', '留言ID': '2434849', '留言者ID': 'madaan40', '留言者名稱': 'ABC123', '留言內容': '1', 'GP': '0', 'BP': '0', '發布時間': '2019-12-15 08:43:18', '編輯時間': '0000-00-00 00:00:00'}
-> 總共有 7 則留言

完整程式碼

附上完整程式碼： gamer_commend_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

回傳的留言資料中，有一筆 "next_snC":0 資料，你可以猜測它是代表什麼意思嗎？
嘗試結合第一篇「巴哈姆特哈啦區」文章，寫出可以爬取"文章"、"回覆"、"留言"的爬蟲程式~

結語

其實沒有想像中的難吧~趕快自己實際動手寫寫看~

之後會繼續加入不同網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或者遇到其他問題，歡迎參考和在底下留言ㄛ~😙

參考：
巴哈姆特 - 哈啦區

別想一下造出大海，必須先由小河川開始。

[Python爬蟲實例] 聯合新聞網-動態載入

jia@jiatool.com (Jia) — Sun, 27 Sep 2020 21:15:00 +0800

前言

Python網路爬蟲實例系列第二篇，本篇一步步講解如何使用 Python 爬取 udn聯合新聞網的即時列表新聞，包含更多新聞採 Ajax 動態載入的部分，最後也會附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

流程

首先進入聯合新聞網-即時列表網頁，觀察其新聞列表載入方式，使用瀏覽器的開發人員工具找出 Ajax 請求網址，透過此網址取得新聞列表的 JSON 格式資料，如此即可抓取新聞網址、標題、閱覽數等等資料。

以下範例說明皆以「即時列表-不分類」舉例，其他類別所需要帶入的參數可能稍微不同。

即時列表-不分類

爬蟲程式

網站有些常見的反爬蟲機制是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，待之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

如何載入更多新聞

跟前一篇實例教學 ( [Python爬蟲實例] 巴哈姆特哈啦區 ) 最不一樣的，是使用瀏覽器閱覽網頁明明就看到許多篇新聞，一直往下滾就一直產生，但使用程式抓取只能取得前 28 篇新聞。

只能取得前 28 篇新聞

為什麼會這樣？！
原來當我們網頁往下滾後，它會透過 Ajax 動態載入後續新聞資料，並不在我們一開始請求後回傳的網頁原始碼內，難怪無法抓取。

新聞採動態載入

針對這種採用 Ajax 動態載入的網頁，有兩種方式來取得資料：

一種是使用 Selenium 來操作瀏覽器載入資料。
另一種(也就是本篇教學要使用的方式)是找出 Ajax 去請求的網址，然後照他的請求方式、參數來取得資料。

我們來試著找出它動態載入的網址吧。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) 分頁，切換到XHR，重整網頁一下(F5)讓它載入資料﹐並把網頁往下滾讓它載入更多新聞資料，會發現有新的項目出現。
單點選它之後，右邊選擇 Preview 分頁，即可發現這就是我們想要的資料。

開發人員工具 > Network(網路) > XHR > Preview

所以概念就是，是當我們網頁往下滾到底部後，會觸發網頁的 JavaScript 程式，讓它透過 Ajax 動態載入，將新聞資料一直載入進來。

試著載入更多新聞

切換到 Headers 分頁，會顯示請求的網址(綠色框)以及請求方式(紫色框)，如此圖片顯示是使用 GET 方式，我們在瀏覽器中輸入網址前往就是 GET 請求方式。
https://udn.com/api/more?page=2&id=&channelId=1&cate_id=99&type=breaknews&totalRecNo=17749
將網址複製起來，瀏覽器開個新分頁，貼上網址後 Enter 前往，收到的資料即是我們需要的更多新聞。

開發人員工具 > Network(網路) > XHR > Headers

回傳資料

觀察回傳資料

取得資料後，為了方便觀察，可以找尋線上 JSON 工具或瀏覽器擴充功能來輔助，這邊我使用 JSON Editor Online 來演示。

進入網頁後，將剛剛回傳的資料貼在左方欄位內，點擊 Copy(綠色框) 將文字整理、檢查、轉碼並顯示於右側，為了方便觀察，點擊 tree(藍色框) 將其以樹狀結構來顯示。

而且可以發現它有幫我們把原本看不懂的 Unicode編碼轉換過來。

JSON Editor Online

新聞資料都放在 lists 底下，共有 20 篇，其每一篇所包含的欄位有url、titleLink、title、paragraph、time、view，代表意義如下表：

單一則新聞資料

參數	代表意思	格式
url	圖片網址	文字
titleLink	新聞文章網址	文字
title	新聞標題	文字
paragraph	段落簡介	文字
time	日期時間	文字
view	閱覽數	數字

好了！大致都知道了，來開始將想法轉換為程式吧~ 😙

爬取文章列表

* 為了簡化程式碼方便理解，像上次判斷請求是否成功的部份，這次將其省略。

1
2
3
4


r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []

來看一下前面動態載入的網址，
https://udn.com/api/more?page=2&id=&channelId=1&cate_id=99&type=breaknews&totalRecNo=17749
網址後方參數的部分有 page、id、channelId、cate_id、type、totalRecNo 六個，經過我的測試，只需要的 page、channelId、cate_id、type 四個即可取得一樣的資料。

動態載入的網址

除了 page 是頁數，其他的需要自行前往網站找尋"什麼類別、分類對應哪個編號"、"需要那些參數"。
像是：

即時列表-不分類
channelId: 1
cate_id: 99
type: breaknews
即時列表-地方
channelId: 1
cate_id: 3
type: breaknews
運動-最新
channelId: 2
type: cate_latest_news
cate_id: 7227
運動-棒球
channelId: 2
type: subcate_articles
cate_id: 7227
sub_id: 7001

將網址與參數組合起來準備送出請求，頁數 page 的部分可使用 for 迴圈來歷遍。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_news_list(page_num=3):
"""爬取新聞列表"""
base_url = "https://udn.com/api/more"
news_list = []
for page in range(page_num):
channelId = 1
cate_id = 0
type_ = 'breaknews'
query = f"page={page+1}&channelId={channelId}&cate_id={cate_id}&type={type_}"
news_list_url = base_url + '?' + query
print(news_list_url)
# ......
return news_list

回傳資料是以 JSON 的格式，跟 HTML 相比很方便從中取出資料，也不要再使用 BeautifulSoup 解析，在 Python 類似 Dict 格式。
有兩種方式將其轉成 Dict：

requests 提供的 r.json() 解碼轉換
一樣使用 r.text 取出字串，再用 json.loads() 將其轉換

這邊我就直接使用 requests 提供的 r.json() 來轉換，最後將資料中 'lists' 抓出來 (也就是新聞資料)。

一樣加上時間延遲 time.sleep()，避免太頻繁的爬取，造成對方伺服器的負擔。
注意，這邊使用 random.uniform 來達到一段隨機範圍時間。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


def get_news_list(page_num=3):
"""爬取新聞列表"""
base_url = "https://udn.com/api/more"
news_list = []
for page in range(page_num):
# ......
r = requests.get(news_list_url, headers=HEADERS)
news_data = r.json()
news_list.extend(news_data['lists'])
time.sleep(random.uniform(1, 2))
return news_list

執行結果如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


https://udn.com/api/more?page=1&channelId=1&cate_id=0&type=breaknews
https://udn.com/api/more?page=2&channelId=1&cate_id=0&type=breaknews
https://udn.com/api/more?page=3&channelId=1&cate_id=0&type=breaknews
{
'url': 'https://pgw.udn.com.tw/gw/photo.php?u=https://p.udn.com.tw/upf/2017_news/noimg_cid7227_1.jpg',
'titleLink': '/news/story/6999/4891968?from=udn-ch1_breaknews-1-0-news',
'title': 'MLB／永遠當巨人球迷 潘斯宣布退休',
'paragraph': '兩度獲得世界大賽冠軍的外野手潘斯（Hunter Pence），今天透過社群平台宣布退休，結束14年的大聯盟旅程。',
'time': {'date': '2020-09-27 09:32'},
'view': 27
}
共抓到 60 篇新聞

完整程式碼

附上完整程式碼： udn_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

試著抓取不同分類裡的新聞列表，例如："即時列表-運動"、"數位-數位焦點"。
如果想抓取文章內容全文，則需進入文章網址爬取，但這邊要注意的是其有幾種不同的網頁結構，需各別判斷並有不同的解析方式。例如：

結語

我會陸續慢慢寫一些網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎過來參考和在底下留言ㄛ~😙

參考：
JSON Editor Online

用你的微笑改變世界，
但別讓世界改變了你的微笑。

—— 劉軒

[Python爬蟲實例] 巴哈姆特哈啦區

jia@jiatool.com (Jia) — Sun, 13 Sep 2020 21:10:00 +0800

前言

本篇主要一步步講解如何使用 Python 爬取巴哈姆特哈啦區的文章及回覆，最後也會附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件有：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

先來講一下我們這次寫爬蟲想抓取的資料及流程，在巴哈姆特哈啦區中選擇一個看板，想抓取文章列表中的文章及回覆。

一開始要先在文章列表中抓取每一篇文章的網址，再來進入文章網址中抓取每一樓層的回覆。
那因為這是本系列第一篇文章，較複雜的部分先省略，在文章列表中只抓第一頁的文章就好，回覆底下的留言是採用動態載入(AJAX)的方式，本次也先跳過，等後續文章再講解。

爬取說明

爬蟲程式

首先查看網站對於爬蟲的規範( robots.txt )，
https://forum.gamer.com.tw/robots.txt
OK 它只有這兩個路徑不允許，跟我們爬取哈啦區文章沒有關係。

robots.txt

有些有反爬蟲的網站，基本的方式就是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，待之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

爬取文章列表

對網站伺服器發出請求後，要確認回傳的結果，如果是正常成功的才繼續後續的處理。

1
2
3
4
5
6
7
8


def get_article_url_list(forum_url):
"""爬取文章列表"""
r = requests.get(forum_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []
# ......

這邊就以荒野亂鬥板來示範。
打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Elements(元素) 分頁，
當你指到程式碼時，它對應網頁區塊就會用顏色顯示，

但這樣找太麻煩費時了，有個好用的功能，就是位在開發人員工具左上角的選擇工具，
點一下它後，就可以直接在網頁上點擊想要查看的區塊，Elements(元素)裡的程式碼也會自動跳到相應的地方。

開發人員工具 > 選擇工具

先指到文章區塊，在右方可以看到在 <table class="b-list"> 裡的每一個 <tr class="b-list__row b-list-item b-imglist-item"> 對應每一篇文章區塊，因此CSS選擇器可以使用 table.b-list tr.b-list-item 去選擇。
* 這部分還不太懂的人，可以參考我之前整理的文章：網頁CSS節點定位整理。

開發人員工具 > Elements(元素) > 文章區塊

我們這邊只需要抓取文章的網址，再往下找在 class="b-list__main__title" 元素中的 href 參數後方發現前往文章頁面的網址。
不過取出來時還要要加上網域，才是完整的文章網址。

開發人員工具 > Elements(元素) > 文章區塊 > 文章網址

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_article_url_list(forum_url):
"""爬取文章列表"""
# ......
article_url_list = []
soup = BeautifulSoup(r.text, features='lxml')
item_blocks = soup.select('table.b-list tr.b-list-item')
for item_block in item_blocks:
title_block = item_block.select_one('.b-list__main__title')
article_url = f"https://forum.gamer.com.tw/{title_block.get('href')}"
article_url_list.append(article_url)
return article_url_list

先來稍微觀察一下文章網址，
https://forum.gamer.com.tw/C.php?bsn=60076&snA=3919777&tnum=429
網址中後方的參數有"bsn"、"snA"、"tnum"，其分別代表：

參數	代表意思
bsn	板塊 ID
snA	文章 ID
tnum	文章內目前最新回覆的樓層數
(bPage)	在文章列表中此文章是出現在第幾頁

題外話："tnum"參數可有可無，能的話最好把它拿掉，這樣網址比較"乾淨"。

爬取文章資訊

此函式會爬取文章標題、網址、樓層回覆，網址剛剛已經知道了，標題也很容易就抓出來。

文章標題

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
r = requests.get(article_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return {}
soup = BeautifulSoup(r.text, features='lxml')
article_title = soup.select_one('h1.c-post__header__title').text
# ......

這邊的重點就是如何抓取樓層回覆，
我們嘗試點選不同頁數，會發現網址會有個 page 參數用來跳頁，藉由如此，我們就可以前往每一頁。

但，我們要先知道這篇文章總共有幾頁啊！
觀察一下，只要取得 <p class="BH-pagebtnA"> 內最後一個 <a> 元素即可。

文章回覆頁數

1
2
3
4


def get_article_total_page(soup):
"""取得文章總頁數"""
article_total_page = soup.select_one('.BH-pagebtnA > a:last-of-type').text
return int(article_total_page)

知道總頁數後，就可以使用 for 迴圈來歷遍每一頁。
組出網址字串，接著就是抓取每一層回覆(等等會講)，並合併成 Dict 格式回傳。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
# ......
article_total_page = get_article_total_page(soup)
reply_info_list = []
for page in range(article_total_page):
crawler_url = f"{article_url}&page={page + 1}"
reply_list = get_reply_info_list(crawler_url)
reply_info_list.extend(reply_list)
time.sleep(1)
article_info = {
'title': article_title,
'url': article_url,
'reply': reply_info_list
}
return article_info

* for 迴圈中加入時間延遲 time.sleep(1) ，避免太頻繁的爬取，造成對方伺服器的負擔。1秒可以換成 random.uniform(1, 3)，來達到一段隨機範圍延遲，更避免被伺服器偵測為爬蟲。

爬取回覆資訊

爬取回覆的部分，從下圖的綠色方框能得知每一層回覆都是位於 <section class="c-section" id="post_43280297"> 裡。
但有些比較特殊的樓層，像是下圖中"已刪除"或"已摺疊"的樓層，可以看到其 id 會是 disable_ 開頭，"已刪除"的樓層我們可以略過，但"已摺疊"的樓層該怎麼抓呢？
別擔心，在往下看可以發現一樣有被摺疊起來樓層的資料，只是它被隱藏起來而已(style="display:none")
如下圖指示，綠色代表一般正常樓層；藍色代表已折疊樓層；深紅色代表已刪除樓層。

已刪除&已摺疊的樓層

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
reply_info_list = []
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
for reply_block in reply_blocks:
# ......
return reply_info_list

接下來就是各別抓取需要的部分了，
例如"回覆樓層"雖然網頁上只顯示樓主，看不到樓層的數字，但從網頁原始碼中能發現，此元素中 data-floor 欄位裡有我們想要的樓層數字。

回覆樓層欄位

又或者想抓取"發文時間"，但如果有編輯過的回覆，它網頁上顯示著是"編輯時間"，這時從網頁原始碼中也能發現，元素裏頭有 data-mtime 欄位記錄著發文時間。
但抓下來的資料是文字格式(字串)的，最好轉成 datetime 格式方便後續的判斷、處理。

回覆發文時間欄位

而"推"、"噓"也要注意例外，當"推"超過 1000 時會顯示"爆"；當"噓"超過 500 時會顯示"X"、等於 0 會顯示"-"。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
for reply_block in reply_blocks:
reply_info = {}
reply_info['floor'] = int(reply_block.select_one('.floor').get('data-floor'))
reply_info['user_name'] = reply_block.select_one('.username').text
reply_info['user_id'] = reply_block.select_one('.userid').text
publish_time = reply_block.select_one('.edittime').get('data-mtime')
reply_info['publish_time'] = datetime.strptime(publish_time, '%Y-%m-%d %H:%M:%S')
reply_info['content'] = reply_block.select_one('.c-article__content').text
gp_count = reply_block.select_one('.postgp span').text
if gp_count == '-':
gp_count = 0
elif gp_count == '爆':
gp_count = 1000
reply_info['gp_count'] = int(gp_count)
bp_count = reply_block.select_one('.postbp span').text
if bp_count == '-':
bp_count = 0
elif bp_count == 'X':
bp_count = 500
reply_info['bp_count'] = int(bp_count)
# 從命名應該可以知道分別代表什麼資料，這邊我就不細說了
reply_info_list.append(reply_info)
return reply_info_list

完整程式碼

附上完整程式碼： gamer_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

在本篇教學中只爬取第一頁的文章，該如何自動爬取前五頁的文章呢？
提示：參考爬取每一頁回覆的方式
為了簡單，本篇教學中並沒有爬取樓層回覆底下的留言，這部分有沒有什麼辦法可以做到？

樓層回覆底下的留言

結語

有些機制這邊沒有寫出來，像是當網頁請求失敗該做什麼處理，將字串轉換為日期時間格式時(或將字串轉換為整數)時，需要加上 try-except 去捕抓錯誤等等。

之後我會慢慢陸續寫一些網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手，或者是不知道某個網站如何爬取資料，都很歡迎過來參考ㄛ~

有想推薦的網站，或遇到其他問題，也歡迎再底下留言。😙

參考：
網頁CSS節點定位整理

又不是所有的答案都必須完美，失敗和錯誤也是生命的養分。

—— Peter Su

爬蟲 Dcard API 2.0 版本？！

jia@jiatool.com (Jia) — Sat, 22 Aug 2020 20:30:00 +0800

前言

目前網路上能查詢到 Dcard 爬蟲的文章，幾乎都是使用www.dcard.tw/_api/這個 API 來抓取。
最近透過開發者工具到發現好像還有 2.0 版本的 API，網路上搜尋不太到什麼資料，不知道是否近期才出來的。

整理

API 網址：https://www.dcard.tw/service/api/v2

說明	請求方法	路徑
全部文章	GET	/posts
看板資訊	GET	/forums
看板內文章列表	GET	/forums/{看板名稱}/posts
文章內文	GET	/posts/{文章ID}
文章內引用連結	GET	/posts/{文章ID}/links
文章內留言	GET	/posts/{文章ID}/comments

全部皆回傳 JSON 格式資料。

* 舊版的只有在 API 網址上不同，其餘的路徑、方法、回傳資料目前觀察起來都一模一樣。
舊版 API 網址：https://www.dcard.tw/_api

API 說明

全部文章

GET https://www.dcard.tw/service/api/v2/posts

取得不分類全部文章，等同於抓取 https://www.dcard.tw/f 頁面內文章資訊。

預設使用 "最新" 作為排序，透過popular參數可以切換 "最新" 與 "熱門"，如下：
最新文章 -> https://www.dcard.tw/service/api/v2/posts?popular=false
熱門文章 -> https://www.dcard.tw/service/api/v2/posts?popular=true

* 但不知為何，有時候不加上參數，資料出來卻不是最新的，還是建議加上popular=false參數較準確。

回傳的文章數量預設是前 30 筆，加上limit參數來限制文章數量，最多 100 筆，如下：
熱門文章前 100 筆 -> https://www.dcard.tw/service/api/v2/posts?popular=true&limit=100

全部文章回傳資料

要取得超過 100 筆文章的方式是加上before參數，例如前一次的路徑是
https://www.dcard.tw/service/api/v2/posts?popular=true
而從回傳的資料中，取得最後一筆其id是234267056，因此下一頁的路徑即是
https://www.dcard.tw/service/api/v2/posts?popular=true&before=234267056

文章網址可透過 https://www.dcard.tw/f/{forumAlias}/p/{id} 組合取得。

看板資訊

GET https://www.dcard.tw/service/api/v2/forums

抓取目前 Dcard 上所有的看板資訊 (包括隱藏的看板!!)。

看板網址可透過 https://www.dcard.tw/f/{alias} 組合取得。

看板內文章列表

GET https://www.dcard.tw/service/api/v2/forums/{看板名稱}/posts

取得指定看板內的文章，等同於抓取 https://www.dcard.tw/f/{看板名稱} 頁面內文章資訊。

預設使用 "最新" 作為排序，透過popular參數可以切換 "最新" 與 "熱門"。

回傳的文章數量預設是前 30 筆，加上limit參數來限制文章數量，最多 100 筆，
而取得下一頁的方式一樣是加上before參數。

文章網址可透過 https://www.dcard.tw/f/{forumAlias}/p/{id} 組合取得。

文章內文

GET https://www.dcard.tw/service/api/v2/posts/{文章ID}

取得指定文章的資訊，等同於抓取 https://www.dcard.tw/f/{看板名稱}/p/{文章ID} 頁面內文章資訊。

有些資訊在文章列表就能抓取到了，但像是"文章完整內容"等資料就需要到此路徑取得。

文章內引用連結

GET https://www.dcard.tw/service/api/v2/posts/{文章ID}/links

取得指定文章內的引用連結，如下圖所示。

文章內引用連結

文章內留言

GET https://www.dcard.tw/service/api/v2/posts/{文章ID}/comments

取得指定文章內的留言。

預設使用 "由舊到新(樓層)" 作為排序，透過popular參數可以切換 "由舊到新" 與 "熱門"。

回傳的文章數量預設是前 30 筆，加上limit參數來限制文章數量，最多 100 筆 (熱門回應只取前3筆)，
而取得下一頁的方式不太一樣，是加上after參數(樓層)，，例如前一次的路徑是
https://www.dcard.tw/service/api/v2/posts/234266517/comments
而從回傳的資料中，取得最後一筆其floor(樓層)是30，因此下一頁的路徑即是
https://www.dcard.tw/service/api/v2/posts/234266517/comments?after=30

文章內留言回傳資料

文章內熱門留言

問題

1. Token is expired. Please refresh the token.

在用瀏覽器測試時，可能會遇到回應 {"error":2007,"message":"Token is expired. Please refresh the token."}，此時只要用無痕模式開啟，或打開 Dcard網頁讓他更新Token，即可解決。

(不確定是 2.0 版本多出的機制，還是原本舊 API 就有了)

2. 請求回傳 403 error (* 2021/01/21 新增)

發現抓不到資料，請求的回傳狀態是 403，但使用瀏覽器卻可以正常取得資料，而且就算 Headers 帶一樣也沒辦法。

將回傳的資料儲存成 html 網頁檔查看：

403錯誤

主要是因為 Dcard 使用了 Cloudflare 的驗證，會需要經過渲染 JavaScript 才能進入。

有幾種方式可以解決，改使用 Selenium 、 Pyppeteer 來模擬瀏覽器操作，或者使用 cloudscraper 專門就是要拿來繞過 Cloudflare 頁面的套件，而且它是建立在 Requests 之上，因此幾乎不用修改程式碼。

如有遇到問題或文章內容有誤，歡迎底下留言告知，感謝~🙂

參考：
Dccard 爬蟲，透過官方API
#99 串接 Dcard API，模仿開發 Dcard App

有一天，或許你會發現，最感動的不是你完成了，
而是你終於鼓起勇氣開始。

—— Peter Su

常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

jia@jiatool.com (Jia) — Fri, 12 Jun 2020 22:29:06 +0800

(2021/10/03 新增) 瀏覽器使用 CSS Selectors 搜尋教學。

最近開始接觸網路爬蟲，因此順便把一些常用網頁取得元素(element)的 CSS Selectors 方式整理一下，第一部分是純 CSS，第二部分則是 Python 搭配 BeautifulSoup 套件。

喜歡網路爬蟲也歡迎觀看 Python網路爬蟲實例系列文章~

純CSS

先上表格，後面還有範例。

說明	語法
tag 定位	span font
id 定位	#ID
class 定位	.CLASS
排除	:not()
屬性值	[name="NAME"]
屬性值(不等於)	[name!="NAME"]
屬性值包含	[title*="TITLE"]
屬性值開頭	[title^="start"]
屬性值結尾	[title$="end"]
第 1 個子元素 (全部)	ul li:first-child
最後 1 個子元素 (全部)	ul li:last-child
第 2 個子元素 (全部)	ul li:nth-child(2)
倒數第 2 個子元素 (全部)	ul li:nth-last-child(2)
第 1 個子元素 (指定)	ul li:first-of-type
最後 1 個子元素 (指定)	ul li:last-of-type
第 2 個子元素 (指定)	ul li:nth-of-type(2)
倒數第 2 個子元素 (指定)	ul li:nth-last-of-type(2)
第奇數個子元素 (指定)	ul li:nth-of-type(odd)
第偶數個子元素 (指定)	ul li:nth-of-type(even)
第 3 的倍數個子元素 (指定)	ul li:nth-of-type(3n)
第 3 的倍數+1個子元素 (指定)	ul li:nth-of-type(3n+1)
同一層往後尋找元素	#ID ~ i
同一層的"下一個"元素	#ID + *
同時尋找多種選擇器	#id1 , #id2

1
2
3
4


import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')

標籤定位(tag、id、class)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


<html>
<span>
<div><font>001</font></div>
<font>002</font>
</span>
<div id="ID">003</div>
<div class="CLASS CLASS2">004</div>
<i name="NAME" style="STYLE">005</i>
<i name="NAME2" style="STYLE">006</i>
<div title="TITLE">007</div>
<div title="start-TITLE">008</div>
<div title="TITLE-end">009</div>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# tag定位：
soup.select_one('span font')
# <font>001</font>
soup.select_one('span > font')
# <font>002</font>
# id定位：
soup.select_one('#ID')
soup.select_one('div#ID')
# <div id="ID">003</div>
# class定位：
soup.select_one('.CLASS')
soup.select_one('div.CLASS')
soup.select_one('div.CLASS.CLASS2')
# <div class="CLASS CLASS2">004</div>
# 同時尋找多種選擇器
soup.select('#ID , .CLASS')
# [<div id="ID">003</div>, <div class="CLASS CLASS2">004</div>]
# 排除
soup.select('div:not(#ID):not(.CLASS)')
# [<div><font>001</font></div>, <div title="TITLE">007</div>, <div title="start-TITLE">008</div>, <div title="TITLE-end">009</div>]

元素屬性

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 元素有某屬性：
soup.select_one('i[name]')
# <i name="NAME" style="STYLE">005</i>
# 屬性值：
soup.select_one('i[name="NAME"]')
soup.select_one('i[name="NAME"][style="STYLE"]')
# <i name="NAME" style="STYLE">005</i>
# 屬性值不等於：
soup.select_one('i[name!="NAME"]')
# <i name="NAME2" style="STYLE">006</i>
# 屬性值包含某字串：
soup.select_one('div[title*="TITLE"]')
# <div title="TITLE">007</div>
# 屬性值以某字串開頭：
soup.select_one('div[title^="start"]')
# <div title="start-TITLE">008</div>
# 屬性值以某字串結尾：
soup.select_one('div[title$="end"]')
# <div title="TITLE-end">009</div>

子元素

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


<html>
<div id="list">
<p>101</p>
<p>102</p>
<span>201</span>
<span>202</span>
<span>203</span>
<p>103</p>
<span>204</span>
<p>104</p>
</div>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


# -child
# 第1個、最後1個 子元素：
soup.select_one('ul#list li:first-child')
soup.select_one('ul#list li:last-child')
# <li>1001</li>
# <li>1004</li>
# 第2個、倒數第2個 子元素：
soup.select_one('ul#list li:nth-child(2)')
soup.select_one('ul#list li:nth-last-child(2)')
# <p>102</p>
# None
# 注意：倒數第2個元素不是"p"，因此找不到
# -of-type
# 第1個、最後1個 子元素：
soup.select_one('#list p:first-of-type')
soup.select_one('#list p:last-of-type')
# <p>101</p>
# <p>104</p>
# 第2個、倒數第2個 子元素：
soup.select_one('#list p:nth-of-type(2)')
soup.select_one('#list p:nth-last-of-type(2)')
# <p>102</p>
# <p>103</p>
# 以上兩種很像，他們的差別是：
# nth-child 會把全部的元素加進去算；nth-of-type 只會針對你指定的元素去算。
# 偶數、奇數 位置元素
soup.select('#list p:nth-of-type(odd)')
soup.select('#list p:nth-of-type(even)')
# [<p>101</p>, <p>103</p>]
# [<p>102</p>, <p>104</p>]

同一層元素

1
2
3
4
5
6


<html>
<div id="ID">301</div>
<div class="CLASS CLASS2">302</div>
<i name="NAME" style="STYLE">303</i>
<i name="NAME2" style="STYLE">304</i>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 在同一層往後尋找元素
soup.select_one('#ID ~ i')
# <i name="NAME" style="STYLE">303</i>
# 在同一層的"下一個"元素
soup.select_one('#ID + *')
# <div class="CLASS CLASS2">302</div>
# 在同一層，往後尋找"下一個"元素
soup.select_one('#ID + div')
# <div class="CLASS CLASS2">302</div>
# 在同一層，往後尋找中間跳過一個元素的"下一個"元素
soup.select_one('#ID + * + i')
# <i name="NAME" style="STYLE">303</i>

搭配 BeautifulSoup 套件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


<div>
<span>標題</span>
<span>副標題</span>
<span>第二副標題</span>
<div class="a" title="first" href="/link">這是一行句子</div>
<a href="/link1">這是超連結1</div>
<a href="/link2">這是超連結2</div>
<div data-target="value">data屬性</div>
<div class="CLASS CLASS2">多個class</div>
</div>

尋找標籤

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 返回符合的單個元素(如有多個符合，則回傳第一個)，當找不到則回傳None：
soup.select_one('span')
soup.find('span')
# <span>標題</span>
# 返回符合的全部元素(List)，當找不到則回傳空List：
soup.select('span')
soup.find_all('span')
# [<span>標題</span>, <span>副標題</span>, <span>第二副標題</span>]
# 限制尋找元素數量：
soup.select("span", limit=2)
# [<span>標題</span>, <span>副標題</span>]

取得元素文字、值

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 取得元素的文字：
soup.select_one('div.a').text
# 這是一行句子
# 如果需要更多擷取方式，可使用get_text()
# 取得元素屬性的值：
soup.select_one('div.a').get('title')
# first
soup.select_one('div.a').get('class')
# ['a']
soup.select_one('div.a').get('href')
# /link

元素屬性、文字

有些較複雜的也可以改用 find 或 find_all 來尋找。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 基本的
soup.find_all(title="first")
# [<div class="a" href="/link" title="first">這是一行句子</div>]
# 因為 class 在 Python 中是保留字，所以尋找class時改使用 class_：
soup.find_all(class_="CLASS")
# [<div class="CLASS CLASS2">多個class</div>]
# 當想比對全部class(注意順序)
soup.find_all(class_="CLASS CLASS2")
# [<div class="CLASS CLASS2">多個class</div>]
# 某些HTML的屬性直接寫的話，會發生錯誤(例如 data-* 這類的屬性)，
# 改使用另一種方式即可：
soup.find_all(attrs={"data-target": "value"})
# [<div data-target="value">data屬性</div>]
# 以正規表示式比對超連結網址：
soup.find_all(href=re.compile("^/link\d"))
# [<a href="/link1">這是超連結1</a>, <a href="/link2">這是超連結2</a>]
# 以文字內容尋找(也可搭配正規表示式)
soup.find_all("div", string="這是一行句子")
soup.find_all("div", string=re.compile("句子"))
# [<div class="a" href="/link" title="first">這是一行句子</div>]

父元素、同一層元素

前面說的是以其元素往下尋找子元素，那如果要找父元素或同一層元素，使用以下方式：

1
2
3
4
5
6
7
8
9


<div id="div2">
<div id="div1">
<p id="a">第一點</p>
<p id="b">第二點</p>
<p id="my">第三點</p>
<p id="c">第四點</p>
<p id="d">第五點</p>
</div>
</div>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 先以 <p id="my">第三點</p> 元素為基準
my_tag = soup.find(id="my")
# 函式名稱多加s，代表尋找多個
# 向上尋找父元素
my_tag.find_parent("div")
my_tag.find_parents("div")
# 在同一層往前尋找元素
my_tag.find_previous_sibling("p")
# <p id="b">第二點</p>
my_tag.find_previous_siblings("p")
# [<p id="b">第二點</p>, <p id="a">第一點</p>]
# 在同一層往後尋找元素
my_tag.find_next_sibling("p")
# <p id="c">第四點</p>
my_tag.find_next_siblings("p")
# [<p id="c">第四點</p>, <p id="d">第五點</p>]

其他

其他在擷取網頁可能還需要的功能：

1
2
3
4
5
6


# 去除某個元素
node = soup.select_one("#my").extract()
# 去除多個元素
# 注意：前面已經將 #my 移除了
node = [t.extract() for t in soup.select("p")]

瀏覽器使用 CSS Selectors 搜尋

你知道在撰寫網路爬蟲程式時，可以有什麼方式快速找到元素的標籤嗎？
瀏覽器的 開發人員工具 有許多方便的功能讓我們使用~

Q. 如何開啟瀏覽器的 開發人員工具 呢？

A. 有以下三種方式：

網頁空白處點擊滑鼠右鍵 > 檢查。
瀏覽器(Chrome)右上選單 > 更多工具 > 開發人員工具。
快捷鍵 F12。

第一種開啟方式

第二種開啟方式

Q. 那如何快速找到元素的標籤？

A. 切換到 Elements 分頁，點擊左上角箭頭，並滑鼠指到(或點選)網頁上的元素。
如此開發人員工具內會跳到此元素的位置，並標註出來。

找到元素的標籤

Q. 如何使用 CSS Selectors 或 XPath 搜尋元素？

A. 在 Elements 分頁，快捷鍵 Ctrl + F，會跳出下方搜尋欄，可以透過 "文字"、"CSS Selectors"、"XPath" 搜尋元素。

Elements 下方搜尋欄

使用 CSS Selectors 或 XPath 搜尋元素

Q. 有辦法自動產生元素的 "CSS Selectors"、"XPath" 嗎？

A. 是可以，但不那麼建議，因為網頁有時會更新、變動，建議自己找出較好的 Selector 寫法。
對元素點擊滑鼠右鍵 > Copy > Copy selector。

複製元素的 CSS Selector 或 XPath

如有發現任何錯誤，歡迎底下留言告知~

參考：
Python selenium —— XPath and CSS cheat sheet
Python 使用 Beautiful Soup 抓取與解析網頁資料，開發網路爬蟲教學

不用很厲害才開始，要先開始才會很厲害。

網路爬蟲 on IT 空間

[Python爬蟲實例] 591 房屋交易 -「新建案」搜尋與房屋詳情

前言

套件

搜尋建案

請求路徑與參數

回傳資料

範例程式

取得建案詳情

請求路徑與參數

回傳資料

範例程式

完整程式碼

結語

[Python爬蟲實例] Anue 鉅亨網：爬取最新財經新聞

前言

套件

流程說明

找找新聞如何被載入

請求方式與參數

回傳內容

完整程式碼

延伸練習

結語

[Python爬蟲實例] 爬取"Agoda"訂房網站的搜尋住宿結果

前言

套件

搜尋住宿

請求路徑與參數

回傳資料

範例程式

延伸練習

結語

[Python爬蟲實例] 591 租屋網 - 搜尋房屋與房屋詳情

前言

套件

搜尋房屋

請求路徑與參數

回傳資料

範例程式

取得房屋詳情

請求路徑與參數

回傳資料

範例程式

完整程式碼

延伸練習

結語

[Python爬蟲實例] 巴哈姆特 動畫瘋：新手入門基礎網路爬蟲教學

前言

套件

教學

網頁元素架構

發出請求

解析網頁元素

完整程式碼

延伸練習

結語

[Python爬蟲實例] 104人力銀行：抓取更詳細的職缺資訊，搶先別人一步收到通知！

前言

套件

搜尋職缺

請求路徑與參數

篩選條件

排序條件

回傳資料

範例程式

取得職缺詳細資料

請求路徑與參數

回傳資料

範例程式

完整程式碼

其他說明

延伸練習

結語

(圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式

前言

說明

頁數 (page)

偏移 (limit & offset)

指定ID (pid)

[Python爬蟲實例] 巴哈姆特動畫瘋：新手入門基礎網路爬蟲教學