Python on IT 空間

[Python爬蟲實例] 591 房屋交易 -「新建案」搜尋與房屋詳情

jia@jiatool.com (Jia) — Sat, 30 Nov 2024 20:40:00 +0800

前言

很久之前有寫一篇「 591 租屋網 - 搜尋房屋與房屋詳情」，是針對 591 內的租屋網站進行資料抓取。

不過後來網站有改版，那時的程式寫法就失效了。
最近有再嘗試，雖然有找出發請求的網址，但發現回傳資料有透過 AES 之類的加密方式加密過的，要解開的話還要從它的 JS 程式中尋找 KEY 值，因為太麻煩，我就沒有繼續研究了。

如果有需求的讀者，可以參考這篇文章： AWS 雲端 591 租屋爬蟲架構，他有針對新版的去做修正，而且還加入資料儲存、mail 通知、定時換 IP 等等機制。

今天，改來試試爬取 591 房屋交易網站的「新建案」"搜尋建案" 與 "取得房屋詳情"，說明如何發出請求、取得回傳數據資料。

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

安裝

1
2


pip install requests
pip install beautifulsoup4

搜尋建案

在 591 房屋交易網站的「新建案」主頁，我們先直接按搜尋，它會跳到另一個頁面。

在這個搜尋頁面，上方可以選擇不同的搜尋條件，下方則是房屋搜尋結果列表。

591 新建案搜尋頁面

請求路徑與參數

進到「 591 新建案」的搜尋頁面後，打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中找找看哪個是搜尋建案結果的請求。

稍微尋找後，可以確定是 https://newhouse.591.com.tw/home/housing/list-search 這個請求。

591 新建案搜尋 API 網址

591 新建案 API 回傳結果預覽

另外，我們可以透過帶入不同的搜尋參數值，來達到對結果做不同的篩選。

篩選條件參數

當我們選擇不同條件後，觀察剛剛的請求，會發現它在網址後方帶入不同的參數 (parameters 或稱 query string)，剛好對應我們選擇的條件。

例如：https://newhouse.591.com.tw/home/housing/list-search?page=1&device=pc&device_id=qdmsxxxxxxxrjy2&sectionid=251,253&total_price=3&regionid=17 後面這段 page=1&device=pc&device_id=qdmsxxxxxxxrjy2&sectionid=251,253&total_price=3&regionid=17。

以下我將其全部羅列出來，但 "按地區" 和 "按捷運" 有太多種類，就不一一呈現，可以自己選擇後再從 開發人員工具 查看。

* 以下某些選項在網頁上是可以多選的，則參數的數值用逗號 , 隔開即可。如 tag=1,4,5 代表 "特色" 勾選 近捷運、重劃區、近公園。

按地區

縣市	regionid
台北市	1
新北市	3
桃園市	6
台中市	8
台南市	15
高雄市	17

如果要更細分 "地區"、"生活圈" 的話，要再加上 sectionid、shop_id 參數，如下：

代表意思	參數
台北市	`regionid=1`
台北市 > 內湖區	`regionid=1&sectionid=10`
台北市 > 內湖區 > 內湖科技園區	`regionid=1&sectionid=10&shop_id=164`
高雄市 > 楠梓區	`regionid=17&sectionid=251`
高雄市 > 楠梓區 > 高雄大學特區	`regionid=17&sectionid=251&shop_id=385`
高雄市 > 鳳山區 > 衛武營生活圈	`regionid=17&sectionid=268&shop_id=290`

按捷運

要多加 search_type 代表按捷運篩選。

捷運	city
台北捷運	1
高雄捷運	2
新北捷運	3
桃園捷運	4
台中捷運	5

同樣如果要更細分 "路線"、"站點" 的話，要再加上 subway_line、subway_id 參數，如下：

代表意思	參數
台北捷運	`search_type=1&city=1`
台北捷運 > 淡水信義線	`search_type=1&subway_line=2&city=1`
台北捷運 > 淡水信義線 > 新北投	`search_type=1&subway_line=2&subway_id=4198&city=1`
高雄捷運 > 高雄紅線 > 凱旋	`search_type=1&city=2&subway_line=1&subway_id=4333`
台北捷運 > 高雄輕軌 > 五權國小	`search_type=1&city=2&subway_line=3&subway_id=66388`

單價

單價	unit_price
50萬/坪以下	1
50-70萬/坪	2
70-80萬/坪	3
80-100萬/坪	4
100-120萬/坪	5
120萬/坪以上	6

* 如果要自訂單價金額範圍，改用 unit_price_min 和 unit_price_max 參數(例如 "10-30萬/坪" 要用 unit_price_min=10&unit_price_max=30)。

總價

總價	total_price
1500萬以下	1
1500-2000萬	2
2000-3000萬	3
3000-4000萬	4
4000-6000萬	5
6000萬以上	6

* 如果要自訂總價金額範圍，改用 total_price_min 和 total_price_max 參數(例如 "500-1000萬" 要用 total_price_min=500&total_price_max=1000)。

* 要注意的是 "單價" 與 "總價" 好像會隨著不同的縣市，而代表不同的範圍。例如高雄市 unit_price=1 是代表 "15萬/坪以下"。

格局

格局	room
一房	1
二房	2
三房	3
四房	4
五房及以上	5

型態

型態	shape
住宅大樓	3
電梯公寓	7
華廈	10
別墅	1
透天	2
商辦大樓	8
廠辦	11
其他	9

狀態

狀態	build_type
預售屋	1
新成屋	2
預推案	4

用途

用途	purpose
住家用	1
住商用	2
商業用	3
工商用	4
工業用	5
其他	6

特色

特色	tag
近捷運	1
明星學區	2
重劃區	4
充電設備	piles
近公園	5
景觀宅	6
創意空間	8
制震宅	10
低首付	12
超值好房	100
優選建案	101
地上權	13

排序

也可以透過帶入排序參數 sort，來對搜尋結果建案作排序。

不過我發現有時候加入排序，搜尋結果好像怪怪的 (直接操作網頁也是)

排序	sort
默認排序	(無)
金額排序從小到大	1
金額排序從大到小	2
瀏覽人數從多到少	5
瀏覽人數從少到多	6
開案時間從新到舊	9
開案時間從舊到新	10

換頁

試著在瀏覽器繼續往下滾動，它會持續載入新資料，觀察請求 開發人員工具 > Network 新載入的網址變化：

https://newhouse.591.com.tw/home/housing/list-search?page=2&device=pc&device_id=qdmsxxxxxxxxxrjy2&regionid=1

https://newhouse.591.com.tw/home/housing/list-search?page=3&device=pc&device_id=qdmsxxxxxxxxxrjy2&regionid=1

會發現它是透過網址後的 page 參數，來切換不同頁數，並且每頁有 20 筆資料(建案)。

頁數	page
第一頁	1
第二頁	2
第三頁	3
第 X 頁	X

* 當然要它的 "總頁數" 有達到你指定的頁數才會有資料，至於怎麼知道 "總頁數"？可以從回傳資料裡找到，下面我們接著來看~

回傳資料

回傳資料主要有 bluekai_data 和 data 欄位。

仔細觀察可以發現 bluekai_data 可能是我們設定的篩選條件，但實際測試又不太一樣，反正不重要，我們不用理它。

而 data 欄位包含建案基本資料(items) 與總頁數(total_page)、當前頁數(page)、總筆數(total)、當頁筆數(per_page) 等等資訊，上一節說的 "總頁數" 就可以從這邊取得。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


{
"status": 1,
"data": {
"total": 1040,
"online_total": 241,
"per_page": 20,
"page": 2,
"total_page": 52,
"show_surround": 0,
"items": [ "建案基本資料..." ]
},
"bluekai_data": {
"region_id": "1",
"section_id": "",
"sale_price": 0,
"rental_price": 0,
"unit_price_per_ping": "",
"room": "",
"shape": "",
"mrt_city": "",
"mrt_line": "",
"tag": 0,
"type": "newhouse",
"kind": "",
"page": "newhouse_list"
}
}

而這邊取到的「建案基本資料」，會有像是 "名稱"、"地址"、"總價"、"單價"、"坪數"、"電話"、"特色"、"圖片"……等等資訊，如果還需要進一步的詳細資訊，就要參考下一節的「取得建案詳情」。

以下是我擷取其中一筆範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66


{
"hid": 121254,
"build_name": "太平洋之森",
"regionid": 1,
"sectionid": 1,
"region": "台北市",
"section": "中正區",
"addr_number": "XX路一段123號",
"status": 2,
"community_id": 35980,
"build_type": 2,
"build_type_val": 2,
"updatetime": "2024-10-01",
"address": "台北市中正區XX路一段123號",
"address_new": "中正區 XX路一段123號",
"is_full": 0,
"is_full_720": 0,
"is_full_sky": 0,
"cover": "https:\/\/img2.591.com.tw\/house\/2020\/03\/15\/158426288485027607.jpg!400x300.s2.jpg",
"tag": [
"近捷運",
"低公設",
"景觀宅",
"制震宅"
],
"purpose_str": "住家用",
"build_article": 0,
"sale_status": 3,
"is_upscale": 0,
"active_rank": {
"region": 0,
"section": 0
},
"service_time": {
"service_time_start": "10:00",
"service_time_end": "18:00",
"is_service_time": 0,
"service_time": "10:00-18:00"
},
"open_sell_year_month": "",
"shop_id": 80,
"shop_name": "古亭生活圈",
"is_competitor_status": 1,
"call_num": "688",
"phone": "0986-000-000",
"phone_ext": "21230",
"area": "3~4坪",
"room": "三房(45坪),四房(50、66坪)",
"price_unit_test": "110~120",
"total_price_test": "4388~6000",
"price": "110~120",
"price_unit": "萬\/坪",
"is_video": 0,
"im_status": 1,
"im_reply_avg_time": 86400,
"im_question": {
"entry_id": 27,
"question_id": 59,
"question": "我對這個建案感興趣，可以介紹一下嗎?"
},
"ad_sort": 0,
"expired_ad_sort": 0,
"tel_num": "688",
"is_vip": 0,
"is_article": 0
}

完整回覆資料範例： newhouse591_search.json (搜尋建案) | GitHub

* 如果看到類似 \u53f0\u5317\u5e02 的編碼，可以透過 Unicode 轉換即可。

範例程式

使用 Python 撰寫 "搜尋建案" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45


def search(self, filter_params=None, sort_param=None, want_page=1):
""" 搜尋新建案

 :param filter_params: 篩選參數
 :param sort_params: 排序參數
 :param want_page: 想要抓幾頁
 :return total_count: requests 建案總數
 :return house_list: requests 搜尋結果建案資料清單
 """
total_count = 0
house_list = []
page = 0
# 搜尋建案
url = 'https://newhouse.591.com.tw/home/housing/list-search'
params = 'device=pc&device_id=1234567890'
# 篩選參數
if filter_params:
params += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
# 排序參數
if sort_param:
params += ''.join([f'&{key}={value}' for key, value, in sort_param.items()])
self.headers['referer'] = urllib.parse.quote(f'https://newhouse.591.com.tw/list?{params}')
while page < want_page:
page += 1
params = f'page={page}&{params}'
print(f"Get 建案資料: {url}")
r = requests.get(url, params=params, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
data = r.json()
total_count = data['data']['total']
house_list.extend(data['data']['items'])
# 判斷是否為最後一頁
if page >= data['data']['total_page']:
break
time.sleep(random.uniform(2, 6)) # 隨機 delay 一段時間
return total_count, house_list

取得建案詳情

當上一步從搜尋結果找一個建案點進去後，會跳到此建案的頁面，呈現關於此建案的詳細資訊。
網址會類似這樣：https://newhouse.591.com.tw/135743?roster_type=1

有關建案的詳細資訊又可以包含「建案資料」、「周邊機能」、「實價登錄」 (其他的各位有需要可以自己試試)，以下會再分別介紹這三個請求 API。

591 新建案 > 建案頁面

請求路徑與參數

接下來我們分別從對應的頁面，一樣透過瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中可以找到請求這些資料的路徑與參數。

「建案資料」
url: https://bff.591.com.tw/v1/housing/detail-info?id={house_id}&is_auth=0

591 新建案 > 建案詳情

「周邊機能」
url: https://bff-newhouse.591.com.tw/v1/detail/surrounding?id={house_id}&is_auth=0

591 新建案 > 周邊機能

「實價登錄」
url: https://bff-market.591.com.tw/v1/price/list?community_id={community_id}&split_park=1&page=1&page_size=20&_source=0

591 新建案 > 實價登錄頁面

* 比較要注意的是，「實價登錄」網址使用的參數是 "community_id" (而不是 house_id)，所以程式裡面我還有先透過 BeautifulSoup，從網頁中找出 "community_id"。

回傳資料

回傳資料大致上也是與網頁上的一樣，關於此房屋的詳細資訊，你可以挑出需要的欄位來儲存，或進一步判斷執行其他動作。

建案資料 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59


{
"status": 1,
"msg": "請求成功",
"data": {
"hid": 135743,
"regionid": 1,
"sectionid": 3,
"region": "台北市",
"section": "中山區",
"addr_number": "xxxxxxxx",
"address": "台北市中山區xxxxxxxx",
"build_name": "xxxx美術館",
"price_unit": { ... },
"price_total": { ... },
"price": { ... },
"build_type_name": "預售屋",
"is_upscale": 0,
"status": 2,
"is_online": 1,
"layout": [ ... ],
"purpose_name": "住宅大樓",
"purpose_other_name": "住商用",
"deal_time": { ... },
"decorate": "標準配備",
"reception_address": "台北市中山區xxxxxxxx",
"park_price": { ... },
"base_area": { ... },
"build_area": { ... },
"terrace": { ... },
"ratio": "35.38%",
"jbrate": "41.9%",
"park_ratio": "1:0.81",
"park_planning": "平面式62個",
"park_piles": "有充電設備（含預留）",
"park_style": "暫無",
"manage_cost": { ... },
"structural_engine": "RC鋼筋混凝土結構",
"land_division": "商二特",
"households": "1幢，1棟，73戶住家，4戶店面",
"floor": "地上15層，地下4層",
"sell_time": { ... },
"down_pay": "25%",
"lend_rate": "75%",
"project_pay": "",
"direction_rule": "朝南",
"manage_committee": 0,
"build_intro": "依現場為主",
"facility": [ ... ],
"remark": "台北市有一座美術館即將誕生，純粹靜謐與藝術優雅...",
"room_rule": { ... },
"fav_num": 224,
"share_num": 377,
"meta": { ... },
"transportation": [ ... ],
"surrounding": [ ... ],
"building_design": [ ... ],
...其他
}
}

周邊機能 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


{
"status": 1,
"msg": "success",
"data": {
"housing": {
"hid": 135743,
"build_name": "xxxx美術館",
"address": "台北市中山區xxxxxxxx",
"map": { ... }
},
"facility": {
"traffic": { ... },
"education": {
"distance": 2,
"items": [
{
"id": 278987,
"name": "私立新生幼兒園",
"distance": 180,
"lat": 25.0596716,
"lng": 121.5280426,
"sub_type": "child"
},
{
"id": 103,
"name": "臺北市中山區吉林國民小學",
"distance": 447,
"lat": 25.05416379999999,
"lng": 121.5292245,
"sub_type": "grade"
},
...
],
"count": {
"grade": 5,
"middle": 5,
"child": 1,
"university": 1
}
},
"life": { ... },
"other": { ... },
"disgust": { ... }
}
}
}

實價登錄 回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62


{
"status": 1,
"data": {
"items": [
{
"id": 6584759,
"date": "113-06-11",
"trans_date": "2024-06-11",
"month": "113-06",
"address": "台北中山區xxxxxxxx",
"layout": "3房",
"layout_v2": "3房2廳",
"room_search": 3,
"build_area": "43.30坪",
"build_area_v": { ... },
"building_area": { ... },
"building_total_price": { ... },
"real_park_area": { ... },
"unit_price": { ... },
"src_unit_price": { ... },
"total_price": "4,777萬",
"total_price_v": "4,777",
"price_tips": "",
"context": "",
"is_special": 0,
"has_park": "1",
"unit_has_park": "0",
"shift_floor": "5樓",
"total_floor": "15樓",
"build_purpose_str": "住宅",
"real_park_total_price": "395",
"real_park_total_price_v": { ... },
"community": { ... },
"trans_rep_year": "113年",
"tag": [ "低樓層", "平面車位" ],
"park_type_str": "平面車位",
"match_type": 0,
"tips": "",
"park_count": 1,
"history_trans_count": 1,
"is_new_tag": 0,
"assoc_type": 0,
"business_circle_id": 0,
"build_date": "",
"original_shift_floor": "5",
"original_total_floor": 15
},
...
],
"per_page": 20,
"page": 2,
"total_page": 2,
"total": 30,
"has_sale_ctrl": 1,
"region_id": 1,
"meta": { ... },
"trans_rep_years": [ ... ],
"address_condition": [ ... ],
"special_num": 30,
"community_park": { ... }
}
}

各個完整回覆資料範例：
newhouse591_build_detail.json (建案資料) | GitHub
newhouse591_build_surrounding.json (周邊機能) | GitHub
newhouse591_build_price.json (實價登錄) | GitHub

* 如果看到類似 \u53f0\u5317\u5e02 的編碼，可以透過 Unicode 轉換即可。

範例程式

使用 Python 撰寫 "取得建案詳情" (包含建案資料、周邊機能、實價登錄) 的寫法如下，完整程式碼請至文末參考：

* 請求的 headers 內有 deviceid 參數，原本以為可以不用給，但後來發現不給會導致取不到 “房屋詳情 > 周邊機能”，不過好像可以給隨意值就行 (可以在完整程式碼內查看)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69


def get_newhouse_detail(self, house_id):
""" 取得建案詳情 (建案資料+周邊機能+實價登錄)

 :param house_id: 建案 ID
 :return house_detail: requests 建案詳細資料
 """
house_detail = {}
# 建案資料
url = f'https://bff.591.com.tw/v1/housing/detail-info?id={house_id}&is_auth=0'
self.headers['referer'] = 'https://newhouse.591.com.tw/'
print(f"Get 建案資料: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
data = r.json()
house_detail['detail'] = data['data']
time.sleep(random.uniform(1, 3)) # 隨機 delay 一段時間
# 周邊機能
url = f'https://bff-newhouse.591.com.tw/v1/detail/surrounding?id={house_id}&is_auth=0'
# https://bff-newhouse.591.com.tw/v1/detail/surrounding?id=120137&is_auth=0
self.headers['referer'] = 'https://newhouse.591.com.tw/'
print(f"Get 周邊機能: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
data = r.json()
house_detail['surrounding'] = data['data']
time.sleep(random.uniform(1, 3)) # 隨機 delay 一段時間
# 實價登錄
# 要先取得 community_id
url = f'https://newhouse.591.com.tw/{house_id}?roster_type=1'
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
else:
soup = BeautifulSoup(r.text, 'html.parser')
canonical_href = soup.select_one('section.market a.status-table')['href']
community_id = canonical_href.split("/control/")[-1].split("?")[0]
# 抓取實價登錄清單
price_list = []
page = 0
while page < 99:
page += 1
url = f'https://bff-market.591.com.tw/v1/price/list?community_id={community_id}&split_park=1&page={page}&page_size=20&_source=0'
# https://bff-market.591.com.tw/v1/price/list?community_id=5935592&split_park=1&page=2&page_size=20&_source=0
self.headers['referer'] = 'https://market.591.com.tw/'
print(f"Get 實價登錄: {url}")
r = requests.get(url, headers=self.headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
data = r.json()
price_list.extend(data['data']['items'])
# 判斷是否為最後一頁
if page >= data['data']['total_page']:
break
time.sleep(random.uniform(2, 5)) # 隨機 delay 一段時間
house_detail['price'] = price_list
return house_detail

完整程式碼

我將以上兩種請求整合起來到 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： newhouse591_spider.py | GitHub

結語

這次我們改練習爬取 591 房屋交易網站的「新建案」，分別取得 "搜尋建案" 與 "建案詳情 (建案資料、周邊機能、實價登錄)" 的資訊。

如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料，歡迎查看 Python網路爬蟲實例，或追蹤 FB 粉專『 IT空間』~ 🔔

失敗不是終點，而是一個學習和成長的機會。
Failure is not the end, it’s an opportunity to learn and grow.

使用 RAG 打造個人知識庫，LlamaIndex 搭配 Gemini 模型

jia@jiatool.com (Jia) — Sat, 13 Apr 2024 21:40:00 +0800

前言

現在各式 LLM (大型語言模型) 滿天飛，你有沒有想過讓模型可以參考你自己的資料來回答呢？
就像一個屬於你的 AI 知識庫管家，有問必答，還會標示引用文件的來源，讓你還可以回去原始文件參考。

今天要來帶大家使用 Python 中的 LlamaIndex 套件，搭配免費的 Gemini 模型 API，打造屬於你自己的 RAG (Retrieval Augmented Generation) 個人知識庫✨。

文章前半部會先介紹 RAG 架構 (什麼是 RAG、RAG 流程)，後半部再來使用 LlamaIndex 套件搭配 Gemini API 實際撰寫 RAG 架構程式碼。

LlamaIndex

什麼是 RAG？

RAG (Retrieval Augmented Generation，檢索增強生成) 是一種結合檢索搜尋和生成的自然語言處理架構。讓 LLM (大型語言模型)在生成回覆以前，從外部知識庫搜尋相關資料，並使用這些資訊生成更準確、更全面的答案。

純粹的語言模型僅依賴於訓練語料，而 RAG 則能在生成時動態地加入額外知識，生成更準確、更相關、更具可靠性的輸出。

來一個簡單的比喻，更容易理解：

想像你是一位學生，要寫一篇關於台灣歷史的報告。

一般 LLM 就像一個沒有外部資源的學生，只能憑藉自己的記憶和理解來寫報告，這可能會導致報告內容不準確、不全面，甚至出現錯誤。

而 RAG 架構的學生，會先去圖書館查閱資料，會找到一些有關台灣歷史的資料，然後用這幾個相關資料來彙總、寫報告，這樣可以大大提高報告的準確性和全面性 (而且還能看到資料是從哪本書來的)。

RAG 流程

RAG 模型的架構主要可分成以下兩個階段：

索引 (Indexing)：事前準備。從來源取得資料，並為其建立索引後儲存起來。
檢索和生成 (Retrieval and generation)：使用者發問後，會從索引中搜尋相關資料，然後將其傳遞給模型並生成回覆。

對應我下方自己畫的流程圖，灰色部分(A~C)就是「索引」、藍色部分(1~5) 就是「檢索和生成」。

RAG 流程

索引 (Indexing) 階段

A：將我們準備好的資料 (有可能是公司內部文件、產品常見問答集、專業文獻、特定領域的專業知識等等) 切分成較小的區塊(chunk)。因為區塊內容太多較難搜尋，而且 LLM 模型也有字數限制。
B：將區塊的內容透過 Embedding model 轉換成向量(一組數字)，因為後續能比對資料間的向量距離，來判斷其相似程度。
C：將轉換好的向量 (連同原始資料) 儲存至向量資料庫。

此流程只需要做一次就好，或者當原始資料有新增、更新時再執行即可。

索引 (Indexing) 階段流程 (圖片來源：LangChain 官網)

檢索和生成 (Retrieval and generation) 階段

1：將使用者的問題一樣透過 Embedding model 轉換成向量。
2、3：拿問題向量去向量資料庫中找出相關的區塊。
4、5：將 "相關區塊" 與 "使用者的問題" 一起給 LLM 生成答案。

索引 (Indexing) 階段流程 (圖片來源：LangChain 官網)

使用 Promt Enginerring (提示工程) 或 Fine-tuning (微調) 不行嗎？

Promt Enginerring (提示工程)：
透過一些提示(Promt)技巧來引導模型，輸出較高品質、正確性的結果。
例如：角色扮演、將複雜的任務拆分為更簡單的子任務、一步步思考……等等。
Fine-tuning (微調)：
在已經預訓練過（pre-trained）的模型基礎上，用自己準備的資料進一步訓練，讓模型的輸出能夠更符合我們的預期。
例如：特定口吻、風格、格式、或加入自己的資料。

RAG 相較於「Fine-tuning (微調)」或「Promt Enginerring (提示工程)」有幾點優勢：

節省成本：不用像 Fine-tuning 需要訓練模型，節省時間成本、金錢成本(和硬體成本)。
資料即時性：Fine-tuning 需要訓練模型，很難即時更新資料。
資訊正確性：RAG 會參照外部資訊，有效減少虛假訊息，使得回答更加可信、準確。
可信任性：RAG 回答可引用資訊來源，讓使用者可以審核答案，透明度高。
安全、隱私性較高：RAG 是查找自己向量資料庫的知識，存取權限方面比較容易管控。相較之下，Fine-tuning 的較容易外洩。

不過其實也不是只能選一種，你可以結合其中兩種、甚至三種，來讓模型達到更好、更符合自己的生成結果。

什麼是 LlamaIndex？

LlamaIndex 是一個資料框架，提供了抽象元件，可以更容易、更安全的使用 "資料提取"、"索引"、"查詢" 等功能。
適用於基於 LLM 的應用程序，主要是 RAG 架構 (也就是我們上面介紹的)。

LlamaIndex 支援 Python 和 Typescript，本篇文章會使用 Python 來示範，不過概念上是一樣的。

LlamaIndex

撰寫程式

需要先安裝 LlamaIndex 套件本身，以及我們要使用的 Gemini (LlamaIndex 已經有包好的介面可用)：

* 後來發現 Gemini 的 Embedding 不支援中文…所以改用 OpenAI 的 Embedding，因此最後的程式碼不需要 llama-index-embeddings-gemini，可不用安裝。

1
2


pip install llama-index
pip install llama-index-llms-gemini llama-index-embeddings-gemini llama-index-embeddings-openai

LLM 和 Embedding model

在開始建構 RAG 架構之前，我們先來分別試一下 LLM 和 Embedding model 是否都正常。

* Gemini 各種模型介紹與限制，可以看這篇官方的說明頁面：https://ai.google.dev/models/gemini
* 還沒有取得 Gemini API key 的人，可以參考我之前寫的文章：如何使用 Google 的 Gemini 模型 API？
* Gemini API Key 可以像官方說明設定在環境變數中(GOOGLE_API_KEY)，或者我這邊省麻煩直接寫在程式碼裡 (但就要注意不要不小心外洩了)。

首先來試試 Gemini 本身 LLM，基本的 Complete 和 Chat 使用：

* 以下參考官方提供的範例：https://github.com/run-llama/llama_index/blob/main/docs/docs/examples/llm/gemini.ipynb

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


from llama_index.llms.gemini import Gemini
from llama_index.core.llms import ChatMessage
GEMINI_API = "<YOUR_GEMINI_API>"
# Complete
response = Gemini(api_key=GEMINI_API).complete("誰是王建民？")
print(response)
# 王建民，是一名台灣職業棒球投手。他曾效力於美國職棒大聯盟（MLB）的紐約洋基隊、華盛頓國民隊......
# 如果想要改用最新的 gemini 1.5 pro 或調整參數，可以像這樣設定：
# response = Gemini(
# api_key=GEMINI_API,
# model_name="models/gemini-1.5-pro-latest",
# temperature=0.6,
# max_tokens=1024
# ).complete("誰是王建民？")
# Chat
messages = [
ChatMessage(role="user", content="誰是王建民？"),
ChatMessage(role="assistant", content="王建民是臺灣職業棒球運動員，擔任投手，在美國職棒大聯盟9個球季累計68勝。"),
ChatMessage(role="user", content="他是哪裡人？"),
]
response = Gemini(api_key=GEMINI_API).chat(messages)
print(response)
# assistant: 臺南市 王建民於1980年3月31日出生於臺灣臺南市。
# Streaming complete (串流的方式)
response = Gemini(api_key=GEMINI_API).stream_complete("誰是王建民？")
for r in response:
print(r.text, end="")

再來試試 Gemini 的 Embedding，將句子轉換為向量：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# Embedding
from llama_index.embeddings.gemini import GeminiEmbedding
GEMINI_API = "<YOUR_GEMINI_API>"
embed_model = GeminiEmbedding(api_key=GEMINI_API, model_name="models/embedding-001")
# 或者想使用最新的模型
# embed_model = GeminiEmbedding(api_key=GEMINI_API, model_name="models/text-embedding-004")
embeddings = embed_model.get_text_embedding("『IT空間』是一個有關基礎 IT 技術教學與分享的部落格。")
print(embeddings)
# [0.042481236, 9.7126205e-05, -0.06401828, -0.03270765, 0.066297136, -0.019318093, ......

沒問題~ 測試都正常。 (← 真的嗎…立旗)

RAG

一開始，先給大家看完整程式碼。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


import os.path
from llama_index.core import (
Settings,
VectorStoreIndex,
SimpleDirectoryReader,
StorageContext,
load_index_from_storage,
)
from llama_index.llms.gemini import Gemini
# from llama_index.embeddings.gemini import GeminiEmbedding
from llama_index.embeddings.openai import OpenAIEmbedding
PERSIST_DIR = "./storage"
GEMINI_API = "<YOUR_GEMINI_API>"
OPENAI_API = "<YOUR_OPENAI_API>"
# 更改全域配置
# Settings.embed_model = GeminiEmbedding(model_name="models/embedding-001", api_key=GEMINI_API)
Settings.embed_model = OpenAIEmbedding(api_key=OPENAI_API)
Settings.llm = Gemini(api_key=GEMINI_API)
if not os.path.exists(PERSIST_DIR):
documents = SimpleDirectoryReader("docs").load_data()
index = VectorStoreIndex.from_documents(documents)
index.storage_context.persist(persist_dir=PERSIST_DIR)
else:
storage_context = StorageContext.from_defaults(persist_dir=PERSIST_DIR)
index = load_index_from_storage(storage_context)
query_engine = index.as_query_engine()
response = query_engine.query("動畫《葬送的芙莉蓮》中的芙莉蓮角色是由哪位聲優配音？")
# response = query_engine.query("葬送的芙莉蓮是什麼？")
print(response)

這程式主要的部分是從官方文件來的： Starter Tutorial (OpenAI)

可以看到，其實透過 LlamaIndex 框架來實作 RAG 架構，根本不用幾行程式碼。
而且如果你是使用 OpenAI API，上方 Gemini 的部分甚至可以省略 (它預設是 OpenAI API)。還有中間 else 的部分也可以省略 (只是變成你每次執行都還要再 Embedding)，所以實際上所需的程式碼更少。

首先，我們先準備好原始資料，並放到 docs 資料夾內(這名稱是在程式碼內自訂的)。

我就拿我最近在看、而且前陣子很火紅的日本動畫《葬送的芙莉蓮》當範例。
我們去維基百科複製葬送的芙莉蓮的內容，並存到 docs 資料夾底下的 frieren.txt。

rag
├ docs
│ └ frieren.txt
│
└ llamaindex_rag.py

1
2
3
4


# 更改全域配置
# Settings.embed_model = GeminiEmbedding(model_name="models/embedding-001", api_key=GEMINI_API)
Settings.embed_model = OpenAIEmbedding(api_key=OPENAI_API)
Settings.llm = Gemini(api_key=GEMINI_API)

如同剛剛說的，LlamaIndex 框架預設的 LLM、Embedding model 都是採用 OpenAI API，如果你想要改變全域的配置，需透過 Settings 對象。

這邊我原本是打算 LLM 和 Embedding model 都使用 Gemini 的，結果我實際跑起來發覺結果很怪，每次找出來最相近的段落都是那兩個，網路查了才發現，Gemini 的 embedding-001 好像不支援中文……
而且就算我改嘗試前幾天 Google 發布的新一代文字嵌入模型 text-embedding-004，也還是不行。

沒辦法，最後在 Embedding 的部分還是改回使用 OpenAI 的 text-embedding-ada-002，所以也才同時需要 Gemini 和 OpenAI 的 API Key。

* OpenAI 的 API key 申請可以參考我之前的文章 ( OpenAI ChatGPT API 如何使用？(附上 Python 範例程式) )，但因為已經過一年了，實際介面與步驟可能有點不太一樣。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


PERSIST_DIR = "./storage"
...
if not os.path.exists(PERSIST_DIR):
documents = SimpleDirectoryReader("docs").load_data()
index = VectorStoreIndex.from_documents(documents)
index.storage_context.persist(persist_dir=PERSIST_DIR)
else:
storage_context = StorageContext.from_defaults(persist_dir=PERSIST_DIR)
index = load_index_from_storage(storage_context)

這邊的 if-else 是在第一次執行會去讀取 docs 資料夾下所有的檔案，將內容切割後做 Embedding (轉向量)，並把結果儲存下來，避免每次執行都要花時間、花金錢做 Embedding。

第二次之後執行，如果 ./storage 資料夾存在，我們就當已經做過 Embedding，直接從 ./storage 讀取向量資料。

因此如果我們有修改、新增原始資料，需要把 ./storage 資料夾刪除，讓它再重新 Embedding 一次。

1
2
3
4


query_engine = index.as_query_engine()
response = query_engine.query("動畫《葬送的芙莉蓮》中的芙莉蓮角色是由哪位聲優配音？")
# response = query_engine.query("葬送的芙莉蓮是什麼？")
print(response)

從原始資料讀取並轉換成向量之後，我們就可以開始詢問它問題。

例如我問它「動畫《葬送的芙莉蓮》中的芙莉蓮角色是由哪位聲優配音？」，他會回答「種崎敦美」✨。
非常正確~~🎉

結語

以上各個步驟的元件都有很多不同的可以替換，像是 LLM 可以換成 Azure OpenAI、Anthropic 的 Claude 3 Opus、生成超快的 Groq、本地跑 Ollama、甚至自訂 LLM 模型……等等 ( 詳細支援列表 )。還有文件載入方面，也可以連接 PDF、CSV、HTML、Google Docs 等等多種來源。

以上資訊可以在官方文件 Examples 和 LlamaHub 裡面找到。

學習完最基礎的範例後，各位可以從官方文件的常見問題 (FAQ) 來針對你感興趣的部分，進一步學習、嘗試。或者先去看看官方文件的 Learn 有針對以上不同的步驟做詳細的說明。

我後來整理一篇「 Query Transformations 技巧幫助 RAG 優化問題，提升檢索效果」。

有時候我們的問題太廣、太模糊，
導致找不出相關資料，甚至找到錯誤的資料，造成回應結果不靠譜。
有一種做法是將問題先請 LLM 做 “改寫”，再送進去檢索，那就是「查詢轉換 (Query Transformations)」技巧。

如果對於生成式 AI 有興趣的讀者，記得追蹤『 IT空間』FB 粉專，才不會錯過最新的發文通知呦~🔔

如果想的太多，就會做的很少

[Python爬蟲實例] Anue 鉅亨網：爬取最新財經新聞

jia@jiatool.com (Jia) — Sat, 23 Mar 2024 20:40:00 +0800

前言

好久沒有更新 Python網路爬蟲實例系列文章了，今天換來看財經與投資的相關新聞。

「Anue 鉅亨網」提供國內外財經相關資訊，我們來透過 Python 網路爬蟲抓取即時頭條新聞，掌握最新消息。

圖片來源：Anue鉅亨網 - 即時頭條新聞

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

流程說明

找找新聞如何被載入

首先進入 Anue 鉅亨網的即時新聞列表網頁，來觀察看看其新聞列表載入方式。

可以試著將滾輪往下滾，網頁會一直往下，它新聞也會被一直載入進來，推測應該是採用動態載入的方式。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到 "Network" > "Fetch/XHR"，往下滾動新聞頁面，會尋找到有個 headline?page=2&limit=30... 的請求，並且點開後在 "Preview" 分頁查看，就會發現裡面包含新聞的相關資料。

那就沒錯了，這就是我們想要抓取的部分！💪

請求 "Preview" 分頁，找到我們想要的資料

請求方式與參數

切換回 "Headers" 分頁，看一下此資料請求的方式與網址。
使用 GET 請求方式，網址類似 https://api.cnyes.com/media/api/v1/newslist/category/headline?page=2&limit=30&isCategoryHeadline=1&startAt=1710295609&endAt=1711159609。

請求 "Headers" 分頁

我們先來觀察網址後方的參數代表甚麼意思。

page=2&limit=30&isCategoryHeadline=1&startAt=1710295609&endAt=1711159609

page 和 limit 很明顯就是代表「頁數」跟「一頁幾則新聞」。
(如果不太懂這兩個參數，可以回去看看我之前寫的文章： (圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式 )

isCategoryHeadline 可以代入 0 或 1，差別是回傳資料的 coverSrc 欄位裡面有沒有包含新聞封面圖片。

而 startAt 和 endAt 是新聞範圍的時間 (以時間戳格式)，並且有限定指定的時間只能兩年內。

新聞時間範圍有限定兩年內

這些參數就算不代入，也會有預設值，所以以下程式範例只使用到 page 和 limit 參數來示範教學。

回傳內容

可以將網址貼到瀏覽器的網址欄位中，查看回傳的資料。

請求回傳資料

items 裡欄位代表意思如下表：

欄位	代表意思
`total`	全部新聞總數
`per_page`	一頁新聞數
`current_page`	當前頁數
`last_page`	最後頁數
`prev_page_url`	前一頁網址
`next_page_url`	下一頁網址
`from`	此頁新聞第一筆
`to`	此頁新聞最後一筆
`data`	各新聞資訊

而 items 裡的 data 新聞資訊，有包含新聞標題、內文、關鍵字、發布時間、分類……等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160


{
"items": {
"total": 1007,
"per_page": 30,
"current_page": 1,
"last_page": 34,
"next_page_url": "/media/api/v1/newslist/category/headline?limit=30&page=2",
"prev_page_url": null,
"from": 1,
"to": 30,
"data": [
{
"newsId": 5501189,
"title": "OpenAI旗下Sora進軍好萊塢電影產業",
"content": "&lt;p&gt;市場週五 (22 日) 傳出，OpenAI 計劃進軍電影業，已安排下週與好萊塢工作室和人才機構舉行會議，鼓勵電影製作人和工作室在工作中使用人工智慧。他們已經向一些大牌演員和導演推廣了人工智慧影片製作軟體 Sora。&lt;/p&gt;\n\n&lt;p&gt;OpenAI 試圖電影業人員構建娛樂產業的合作夥伴關係、並鼓勵眾多製片公司將 OpenAI 的新款 AI 影音生成器融入它們的工作中。&lt;/p&gt;\n\n&lt;p&gt;OpenAI 向好萊塢推廣其文字生成影音 AI 服務 Sora，OpenAI CEO Altman 已經在奧斯卡電影節週末出席洛杉磯的多場派對。&lt;/p&gt;\n\n&lt;figure&gt;&lt;img alt=&quot;(圖片：翻攝smartprix)&quot; data-height=&quot;416&quot; data-mime=&quot;image/jpeg&quot; data-ratio=&quot;1.8269230769230769&quot; data-src-m=&quot;https://cimg.cnyes.cool/prod/news/5501189/m/961b1580a9294bfceeccfc6b86fec545.jpg&quot; data-width=&quot;760&quot; src=&quot;https://cimg.cnyes.cool/prod/news/5501189/l/961b1580a9294bfceeccfc6b86fec545.jpg&quot;&gt;\n&lt;figcaption&gt;OpenAI 旗下 Sora 進軍好萊塢，下周將開會 (圖：OpenAI)&lt;/figcaption&gt;\n&lt;/figure&gt;\n\n&lt;p&gt;Sora 是 Open AI 公司繼文本模型 ChatGPT、圖像模型 Dall-E 撼動了全世界之後，於今年 2 月 15 日發布的文生影像模型，可根據文字描述產生 60 秒的影像，這引發好萊塢巨大震撼。&lt;/p&gt;\n\n&lt;p&gt;電影攝影師、動畫師和電影製片對其生成的影音品質大感震驚。Sora 目前只能生成約一分鐘的影片，且缺乏對物理作用的了解，但還在持續學習，而其學習方式正是好萊塢和其他產業的最擔心之處&lt;/p&gt;\n\n&lt;p&gt;好萊塢導演暨製片人派瑞已率先發出警告。他在看過 Sora 影音後已「無限期」暫緩 8 億美元的工作室擴展計畫。&lt;/p&gt;\n\n&lt;p&gt;大華國際投顧阮蕙慈表示，對於投資人來說，Sora 的橫空出世絕對是要留意的重要產業趨勢之一，其影響性又遠大於其他現有的生成式 AI 相關應用。Sora 的誕生，意味著影像生成門檻大幅降低，不僅對廣告、影視、短視頻等相關行業引發巨大變革，而且對於算力、傳輸速度、儲存空間的需求更是現有好幾倍的成長。&lt;/p&gt;\n",
"hasCoverPhoto": 1,
"isIndex": 1,
"summary": "市場週五 (22 日) 傳出，OpenAI 計劃進軍電影業，已安排下週與好萊塢工作室和人才機構舉行會議，鼓勵電影製作人和工作室在工作中使用人工智慧。他們已經向一些大牌演員和導演推廣了人工智慧影片製作軟體 Sora。",
"isCategoryHeadline": 1,
"stock": [],
"video": "",
"payment": 0,
"feature": 0,
"otherProduct": [],
"source": null,
"isOutsource": 0,
"keyword": [
"Sora",
"OpenAI",
"ChatGPT",
"好萊塢"
],
"is24h": 1,
"publishAt": 1711137477,
"coverSrc": {
"xs": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xs/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 100,
"height": 56
},
"s": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/s/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 180,
"height": 101
},
"m": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/m/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 380,
"height": 214
},
"l": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/l/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 640,
"height": 360
},
"xl": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xl/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 960,
"height": 540
},
"xxl": {
"src": "https://cimg.cnyes.cool/prod/news/5501189/xl/50120aeff052a284a8c5136c4cb945a5.jpg",
"width": 960,
"height": 540
}
},
"abTesting": null,
"categoryId": 831,
"categoryName": "美股雷達",
"columnists": null,
"fundCategoryAbbr": [],
"etf": [],
"fbShare": 0,
"fbComment": 0,
"fbCommentPluginCount": 0
},
{
"newsId": 5501177,
"title": "傳蘋果放棄自研手錶Micro LED計畫 裁員數十位工程師",
"content": "&lt;p&gt;根據彭博周五 (22 日) 援引知情人士消息報導，蘋果正逐步結束自研智慧手錶 Micro LED 螢幕計畫，而且已經在重組該團隊並在亞洲和美國裁撤數十位工程師。報導指出，原因是該工作的成本太高、過程也太複雜，因此決定結束這項耗資龐大的研發計畫。&lt;/p&gt;\n\n&lt;p&gt;報導指出，結束手錶螢幕自研計畫的同時，蘋果先前也取消研發自駕汽車的工作。在這兩種情況下，蘋果至少給一些受影響的員工在公司找到其他職缺的機會，倘若內部轉職未果便會遭到資遣命運。&lt;/p&gt;\n\n&lt;p&gt;蘋果目前認為 OLED 是其智慧手錶的最佳解決方案，但知情人士說，該公司仍在考慮在未來的其他專案中使用 microLED。蘋果正在尋找潛在的新供應商和流程，讓該技術能應用在其設備中，儘管這不太可能很快實現。&lt;/p&gt;\n\n&lt;p&gt;對於上述報導，蘋果發言人拒絕置評請求。截稿前，蘋果 (AAPL-US) 周五盤中股價上漲 0.69%，每股暫報 172.56 美元。&lt;/p&gt;\n\n&lt;p&gt;自研計畫是蘋果推動更多內部技術設計的更廣泛努力的一部分。雖然該公司已經在其產品中客製化螢幕，但在很大程度上是基於樂金顯示公司 (LG Display, LGD) 和三星 SDI 等合作夥伴的設計。透過在蘋果內部引入更多這項流程，該公司希望獲得相對於競爭對手的優勢。&lt;/p&gt;\n\n&lt;p&gt;蘋果硬體工程部門大約 7 年前開始了這項工作，後來這個代號為 T159 的計畫幾年前被轉移到了蘋果的硬體技術部門。&lt;/p&gt;\n\n&lt;p&gt;蘋果甚至在總部附近建立了自己的螢幕製造工廠，數百名員工可以在該廠測試 microLED 螢幕的生產。許多裁員都涉及該工廠的人員，以及蘋果在亞洲靠近其供應鏈中心的顯示工程中心。本周對蘋果位於聖克拉拉工廠的訪問顯示，該大樓仍在運行，停車場裡有汽車，少數員工進出大樓。&lt;/p&gt;\n\n&lt;p&gt;最近幾周，有關該計畫轉變的消息首次出現，當時供應商宣布他們正在失去與 microLED 相關的合約，其中包括 AMS-Osram AG。該公司表示，取消收購將迫使其裁員，可能會出售一家製造工廠，並記錄一筆可能接近 10 億美元的減記。&lt;/p&gt;\n\n&lt;p class=&quot;warning&quot;&gt;本篇文章不提供合作夥伴轉載&lt;/p&gt;\n",
"hasCoverPhoto": 1,
"isIndex": 1,
"summary": "根據彭博周五 (22 日) 援引知情人士消息報導，蘋果正逐步結束自研智慧手錶顯示螢幕 Micro LED 計畫，而且已經在重組該團隊並在亞洲和美國裁撤數十位工程師。報導指出，原因是該工作的成本太高、過程也太複雜，因此決定結束這項耗",
"isCategoryHeadline": 1,
"stock": [
"US-AAPL"
],
"video": "",
"payment": 0,
"feature": 0,
"otherProduct": [
"USS:AAPL:STOCK:COMMON"
],
"source": null,
"isOutsource": 0,
"keyword": [
"蘋果",
"Micro LED",
"裁員",
"產業",
"開發",
"Apple Watch"
],
"is24h": 1,
"publishAt": 1711132206,
"coverSrc": {
"xs": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xs/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 100,
"height": 56
},
"s": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/s/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 180,
"height": 101
},
"m": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/m/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 380,
"height": 214
},
"l": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/l/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 640,
"height": 360
},
"xl": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xl/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 960,
"height": 539
},
"xxl": {
"src": "https://cimg.cnyes.cool/prod/news/5501177/xxl/f888c80709d77e7ad0f2dfb96bbf8b1d.jpg",
"width": 1080,
"height": 607
}
},
"abTesting": null,
"categoryId": 831,
"categoryName": "美股雷達",
"columnists": null,
"fundCategoryAbbr": [],
"etf": [],
"fbShare": 0,
"fbComment": 0,
"fbCommentPluginCount": 0,
"market": [
{
"code": "AAPL",
"name": "蘋果",
"symbol": "USS:AAPL:STOCK"
}
]
}
...
]
},
"message": "成功",
"statusCode": 200
}

* 為了方便觀察，也可以使用 JSON Editor Online 線上工具來輔助。

可以使用 JSON Editor Online 線上工具來輔助觀察

完整程式碼

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55


import time
import random
import requests
class CnyesNewsSpider():
def get_newslist_info(self, page=1, limit=30):
""" 房屋詳情

 :param page: 頁數
 :param limit: 一頁新聞數量
 :return newslist_info: 新聞資料
 """
headers = {
'Origin': 'https://news.cnyes.com/',
'Referer': 'https://news.cnyes.com/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36',
}
r = requests.get(f"https://api.cnyes.com/media/api/v1/newslist/category/headline?page={page}&limit={limit}", headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return None
newslist_info = r.json()['items']
return newslist_info
if __name__ == "__main__":
cnyes_news_spider = CnyesNewsSpider()
newslist_info = cnyes_news_spider.get_newslist_info()
print(f'搜尋結果 > 全部新聞總數：{newslist_info["total"]}')
print(f'搜尋結果 > 一頁新聞數：{newslist_info["per_page"]}')
print(f'搜尋結果 > 當前頁數：{newslist_info["current_page"]}')
print(f'搜尋結果 > 最後頁數：{newslist_info["last_page"]}')
print(f'搜尋結果 > 前一頁網址：{newslist_info["prev_page_url"]}')
print(f'搜尋結果 > 下一頁網址：{newslist_info["next_page_url"]}')
print(f'搜尋結果 > 此頁新聞第一筆：{newslist_info["from"]}')
print(f'搜尋結果 > 此頁新聞最後一筆：{newslist_info["to"]}')
for news in newslist_info["data"]:
print(f' ------------ {news["newsId"]} ------------')
print(f' 新聞 > URL：https://news.cnyes.com/news/id/{news["newsId"]}')
print(f' 新聞 > 標題：{news["title"]}')
print(f' 新聞 > 概要：{news["summary"]}')
# print(f' 新聞 > 內文：{news["content"]}')
print(f' 新聞 > 關鍵字：{news["keyword"]}')
print(f' 新聞 > 發布時間：{time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(news["publishAt"]))}')
print(f' 新聞 > 分類：{news["categoryName"]} (id:{news["categoryId"]})')
print()
# 如果要爬取多頁新聞，建議加入隨機 delay 一段時間，避免被反爬蟲偵測
# time.sleep(random.uniform(2, 5))

延伸練習

除了我上面示範的 page 和 limit 參數，我們可以發現還有 isCategoryHeadline、startAt、endAt，你能試著將其加入到程式碼內嗎？
我們上面是抓取「即時頭條」，你有辦法改成只抓「台股新聞」這個分類嗎？

結語

學習了基本的網路爬蟲，後續還可以把新聞抓下來後，再透過關鍵字，將新聞做個人化的篩選、分類，甚至串接 LINE Notify 推播訊息📣給自己。

我陸續有在寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎參考和在底下留言支持我~💬

未來從現在開始！

Bright Data 手把手教學 — 輕鬆取得 Google、Yahoo 搜尋引擎結果 API

jia@jiatool.com (Jia) — Sat, 23 Dec 2023 21:00:00 +0800

此篇為商業合作文章

前言

Bright Data 跟我之前介紹過的 DataForSEO 、 Aves API 一樣，都有提供抓取搜尋引擎結果的服務，因此照理說穩定度應該會比較好，不過 Bright Data 是專注於商務客戶，所以要提醒目前個人是無法使用的 (不支持個人用途，如打遊戲之類的)。

Bright Data 的 SERP API 目前支援 Google、Bing、DuckDuckGo、Yandex、Yahoo、百度和 Naver 搜尋引擎，你可以用來做關鍵字追蹤、比較價格、市場研究、偵測版權侵權、廣告情報等等用途。

底下我會以最多人使用的「Google 搜尋 API」來當範例，一起從註冊、設定、測試到最後程式碼帶大家認識。

Bright Data 官網

註冊 Bright Data

首先，需要有一組 Bright Data 帳號。

如果願意透過此連結註冊，我可以獲得一絲絲分潤，就當支持我寫作吧~🫡

註冊 Bright Data 帳號：https://get.brightdata.com/fabjye

官方還提供我的讀者優惠~
透過上述連結註冊的新用戶，首次儲值 25 美元再送 25 美元，直接省一半!!

需要填寫姓名、工作用 Email、公司規模，就像文章一開始說的，它是面向商務的服務。
(不支持個人用途)

註冊 Bright Data

註冊後，在添加付款方式時，將收到 5 美元的額度可以讓你試用。或者可以聯絡你的客戶經理，會贈送一些額度可以讓你免費試用。

SERP API

SERP API 目前支援以下幾種搜尋，可以看出來涵蓋蠻多的：

Google Search
Google Images
Google Videos
Google Maps
Google Trends
Google Reviews
Google News
Google Jobs
Google Shopping
Google Hotels
Bing Search
DuckDuckGo Search
Yandex Search
Yahoo Search
百度 Search
Naver Search

SERP API 價格

SERP API 價格官方有詳細說明在這個網頁，

依照方案分為四種：PAY AS YOU GO、GROWTH、BUSINESS、ENTERPRISE。

CPM 指的是每一千次請求 API 的價格。
以方案 GROWTH 為例，$2.30/CPM 就是每一千個請求要 2.3 美金，等同於每個請求 0.0023 美金 (約 0.072 新台幣)。

GROWTH 和 BUSINESS 方案會有每月最低消費金額 (分別為 500 和 1000 美金)，但它們使用 API 的價格就會再便宜一些些。

* 以上價格為美金💵
* 針對費用、週期計算有疑慮的讀者，建議可以直接諮詢客戶經理。

SERP API 價格

建立新的 SERP API Zone

第一次使用可以先參考這篇官方文章去設定，或直接跟著我底下的教學來實作。

進到 " My Proxies " 頁面，找到「SERP API」點 "Get started" 來新增一個 Solution。

My Proxies > SERP API > Get started

接下來，設定一個 Solution 名稱 (在 Bright Data 內也等同 zone 名稱)，注意這個設定後就無法更改 (就只能把它刪除，再建一個新的)，其餘設定都可以之後再更改。

設定一個 Solution

SERP API Zone 上方可以看到有三個頁籤，可以自己隨意點點看看：

Access parameters (存取參數)
Configuration (配置)
Statistics (統計數據)

* 有幾個資訊後續 call API 時會用到，我也在這邊先標出來："host"、"account id"、"password"、"zone"。

SERP API Zone 設定

* Access parameters (存取參數)分頁底下有個 Limit 欄位，可以設定請求量限制，當到達限制後要關閉還是通知你，可以避免不小心意外耗費太多額度。

可限制 API 使用，避免超額

測試與範例頁面

Bright Data 也同樣提供 SERP API 相關測試與參數介紹頁面，在開始撰寫程式前，可以先來這邊透過網頁 UI 的方式嘗試、熟悉各參數與如何使用。

* 官方介紹中有看到支援 Google、Bing、DuckDuckGo、Yandex、Yahoo、百度和 Naver 搜尋，不過在這個頁面缺少百度、Yahoo、Naver，經過我向官方詢問，使用方式與參數都是一樣的，所以如果需要，稍微改一下應該就能使用了。

Playground - 測試頁面

在 SERP API Playground 測試頁面，透過 UI 介面選擇瀏覽器、設定關鍵字與參數 (下圖橘框處)，並實際查看它查詢後回傳的資料 (網頁與 JSON)，

而且使用 Playground 是 "免費" 的！！👍
你可以先在這邊先用不同關鍵字、參數去測試，沒問題後再整合進程式裡面。

SERP API Playground 測試頁面

下方有個 "Generate API code" 按鈕 (上圖藍框處)，可以查看假如依照你目前的參數設定，該如何下查詢指令(或程式碼)。
要注意你 proxy 設定 "同步" 或 "非同步" 請求 (下一個章節會說明)，這邊的範例也會跟著改變。

但有點可惜的是，"非同步請求" 的程式碼範例只有 Shell 跟 Node.js，而"同步請求" 雖然有 Python 範例，但不是使用我習慣的 Requests 套件，因此我花了一些時間研究與嘗試，後面章節我有將程式碼列出來供大家參考，

Generate API code 範例程式

* 如果你還沒註冊就等不及的話，可以到 SERP API 介紹網頁中的 SERP API Live Demo 先嘗試，不過就只有讓你測試 Google 搜尋就是了。

SERP API Live Demo

API Guide - 參數介紹與指令

這個 API Guide 頁面是介紹 SERP API 支援那些參數，以及該如何下這些參數。對於參數不了解的話，也可以先到這邊來看看。

同樣這頁也會因為你 proxy 設定 "同步" 或 "非同步" 請求，而有所對應改變。

SERP API Guide - 參數介紹與指令

發送請求

它的 SERP API 也有分成「同步請求」、「非同步請求」兩種請求方法。

預設是使用同步請求，使用上最簡單，只需要發送一個請求即可。但對於有大量請求需求的使用者，還是建議使用非同步請求，因為它有比較好的穩定性。

如果想切換同步/非同步請求，則在 SERP API Zone > Configuration 的最下面，有個「Asynchronous requests」開關

SERP API 切換同步/非同步請求

官方範例是使用我不熟悉的套件，但我比較習慣使用 requests 套件，因此底下範例程式是我自己改寫的~✍️

同步請求

只要發送一個 GET 請求即可取得結果。

它是透過 proxy 將請求轉給他們，proxy 設定為：
http://brd-customer-{ACCOUNT_ID}-zone-{ZONE}:{PASSWORD}@{HOST}
完整樣子會像是：
http://brd-customer-oooooooo-zone-serp_api:xxxxxxxx@brd.superproxy.io:22225

另外，出於資訊安全的考量，進行 HTTPS 連線時 Python 會檢查伺服器的 SSL 憑證是否有效，因此還需要安裝 SSL 憑證，否則會出現像下圖那樣的錯誤，可以參考官方文章：如何安裝 SSL 憑證

遇到 SSL 憑證問題

那假如只是要測試，我們可以 “忽略憑證” (verify=False，參考這篇文章 )，如同下方範例程式馬。

參數說明可以參考這篇，或者如果已經登入，可以在後台的 API Guide 頁面去查看各種查詢與參數該如何下。

Python 程式碼範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


url = 'https://www.google.com.tw/search'
params = {
"q": "Google Gemini", # 搜尋關鍵字
"gl": "tw",
"num": "100",
"brd_json": "1" # 回傳 JSON 格式，預設是 html
}
proxy_url = f"http://brd-customer-{ACCOUNT_ID}-zone-{ZONE}:{PASSWORD}@{HOST}"
proxies = {'http': proxy_url, 'https': proxy_url}
# 使用 verify=False 忽略 SSL 憑證
# 為了安全，建議還是安裝 SSL 憑證：https://help.brightdata.com/hc/en-us/articles/4413322250001
response = requests.get(url, params=params, proxies=proxies, verify=False)
print(response.json())

* 各個狀 SERP API 錯誤訊息意思如這個官方清單。

非同步請求

在說明用法之前，我們要先去產生一組 API Token ( 官方說明文章 )。

到後台的 Account Settings > User access 頁面，點擊最下方 API tokens 的右邊 "Add token" 按鈕。

Account Setting > Add token

並指定要給哪一位 User 使用，Permission 就選擇 "User" 即可，期限可以指定日期或勾選下方的"Unlimited (無期限)"。

* 因為這關係到權限，可能會需要去信箱收驗證信。

Add API token

它產生的 API Token 要複製起來，不然之後忘記就要重新產生了。

再來到你的 SERP API Zone 中 Configuration 分頁，最下方將「Asynchronous requests」開關打開。

SERP API 切換同步/非同步請求

這邊的 "Web Hook URL" 和 "Web Hook Request Method" 你可以設定，讓任務完成後會主動來呼叫你，或者像我下面將要說明的 — 由我們自己去取得結果，那就不需要填這兩個欄位了。

記得要 Save。

好了，終於要來講 "非同步請求" 該怎麼使用了。

它與 "同步請求" 使用方式有所不同，"非同步請求" 使用上分為兩個請求：

設定任務
取得任務的查詢結果

先使用 POST 請求「設定任務」，指定查詢參數、回傳格式。
如果成功的話，會在收到回覆的 Header 看到一個 "x-response-id"，這個代表 Response ID，也就是下一步要使用的。

第二步，送出 GET 請求「取得任務的查詢結果」，帶上第一步取得的 x-response-id。
如果查詢任務已完成，會收到 Status Code = 200，Body 內容即是查詢結果資料；如果查詢任務還沒完成，收到 Status Code = 404 (Not Found)，那就要等個幾秒再試一次。

可以直接參考下方範例程式碼，或參考這篇官方說明。

* 當然只有 "設定任務" 請求會收費 (如果成功的話)。
* 查詢結果最多會存在伺服器 24 小時，這段時間你還是可以使用 Response ID 去取得查詢結果。

Python 程式碼範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 記得要先去後台開啟 Asynchronous requests
url = f'https://api.brightdata.com/serp/req?customer={ACCOUNT_ID}&zone={ZONE}'
headers = {
'Content-Type': 'application/json',
'Authorization': f'Bearer {API_TOKEN}'
}
data = {
"country": "tw",
"query": {
"q": "Google Gemini", # 搜尋關鍵字
"gl": "tw",
"num": "100"
},
"brd_json": "json" # 回傳 JSON 格式，預設是 html
}
response = requests.post(url, headers=headers, json=data)
response_id = response.headers.get("x-response-id")
print(f"response id: {response_id}")
time.sleep(10) # 等待它完成查詢
url = f'https://api.brightdata.com/serp/get_result?customer={ACCOUNT_ID}&zone={ZONE}&response_id={response_id}'
headers = {'Authorization': f'Bearer {API_TOKEN}'}
response = requests.get(url, headers=headers)
print(response.json())

* 各個狀 SERP API 錯誤訊息意思如這個官方清單。

查詢結果說明

SERP API 回傳的查詢結果我以 JSON 格式來說明，以下直接貼出範例結果給大家參考，大部分欄位應該很容易就看出來意思。

其他說明可以直接參考官方說明：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67


{
"general": {
"search_engine": "google",
"results_cnt": 2030000000,
"search_time": 0.31,
"language": "zh-TW",
"mobile": false,
"basic_view": false,
"search_type": "text",
"page_title": "Google Pixel - Google 搜尋",
"timestamp": "2023-12-03T14:27:44.026Z"
},
"input": {
"original_url": "https://www.google.com.tw/search?q=Google+Pixel&gl=tw&lang=zh-TW&location=Kaohsiung+City%2CTaiwan&brd_json=1",
"request_id": "xxxxxxxx"
},
"organic": [
{
"link": "https://store.google.com/tw/category/phones?hl=zh-TW",
"display_link": "https://store.google.com › category › phones",
"title": "Google Pixel 手機- Google 商店",
"description": "Google 5G smartphones feature the latest technology so you always have that new phone feeling. Find out which Pixel is right for you.",
"rank": 1,
"global_rank": 1
},
{
"link": "https://store.google.com/tw/?hl=zh-TW",
"display_link": "https://store.google.com › ...",
"title": "Google 商店官網，專售Google 製造的裝置和配件",
"description": "全新Pixel 手機內建Google AI 技術，搭載最令人驚艷的Pixel 相機。 ... 支援大多數搭載Android 9.0 以上版本的手機，須有Google 帳戶、Google Pixel Watch 應用程式和網路連 ...",
"rank": 2,
"global_rank": 2
},
......
{
"link": "https://guidebooks.google.com/pixel?hl=zh-Hant",
"display_link": "https://guidebooks.google.com › pixel",
"title": "瞭解「Google Pixel」",
"description": "設定新的Pixel 手機. 瞭解如何從你的舊Android 手機或iPhone® 轉移資料。 接下來，你可以學習如何自訂各項設定、取得日常事務協助以及 因應緊急狀況等等。",
"rank": 10,
"global_rank": 10
}
],
"pagination": {
"current_page": 1,
"next_page_link": "https://www.google.com.tw/search?q=Google+Pixel&sca_esv=587474982&gl=tw&hl=zh-TW&ei=XZBsZxxxxxxxx4HIDg&start=10&sa=N",
"next_page_start": 10,
"next_page": 2
},
"related": [
{
"list_group": false,
"link": "https://www.google.com.tw/search?sca_esv=587474982&gl=tw&hl=zh-TW&q=google+pixel%E8%A9%95%E5%83%B9&sa=X&ved=2ahUKEwiS9uLuvPOCAxXYBogKHdNVAOkQ1QJ6BAgjEAE",
"text": "google pixel評價",
"rank": 1,
"global_rank": 11
},
......
{
"list_group": false,
"link": "https://www.google.com.tw/search?sca_esv=587474982&gl=tw&hl=zh-TW&q=google%E6%89%8B%E6%A9%9Fpixel+7&sa=X&ved=2ahUKEwiS9uLuvPOCAxXYBogKHdNVAOkQ1QJ6BAgeEAE",
"text": "google手機pixel 7",
"rank": 8,
"global_rank": 18
}
]
}

完整 Python 範例

首先要確認有安裝 Requests 套件：

1

pip install requests

完整 Python 程式碼：

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106


import time
import json
import requests
ZONE = "<your_zone>"
ACCOUNT_ID = "<your_account_id>"
PASSWORD = "<your_password>"
HOST = "<your_host>"
API_TOKEN = "<your_api_token>"
class Brightdata():
def __init__(self, zone, account_id, password, host, api_token):
self.zone = zone
self.account_id = account_id
self.password = password
self.host = host
self.api_token = api_token
self.username = f"brd-customer-{self.account_id}-zone-{self.zone}"
self.proxy_url = f"http://{self.username}:{self.password}@{self.host}"
def sync_get_search_result(self, keyword):
""" SERP API 同步請求 - 取得搜尋結果"""
proxies = {
'http': self.proxy_url,
'https': self.proxy_url
}
url = 'https://www.google.com.tw/search'
params = {
"q": keyword, # 搜尋關鍵字
"gl": "tw",
"lang": "zh-TW",
"location": "Kaohsiung City,Taiwan",
"num": "100",
"brd_json": "1" # 回傳 JSON 格式，預設是 html
}
# 使用 verify=False 忽略 SSL 憑證
# 為了安全，建議還是安裝 SSL 憑證：https://help.brightdata.com/hc/en-us/articles/4413322250001
response = requests.get(url, params=params, proxies=proxies, verify=False)
if response.status_code != 200:
print(f"Error: {response.status_code} - {response.reason}")
return {}
return response.json()
def async_set_search_job(self, keyword):
""" SERP API 非同步請求 - 設定搜尋任務

 * 記得要先去後台開啟 Asynchronous requests
 """
url = f'https://api.brightdata.com/serp/req?customer={self.account_id}&zone={self.zone}'
headers = {
'Content-Type': 'application/json',
'Authorization': f'Bearer {self.api_token}'
}
data = {
"country": "tw",
"query": {
"q": keyword, # 搜尋關鍵字
"gl": "tw",
"lang": "zh-TW",
"location": "Kaohsiung City,Taiwan",
"num": "100"
},
"brd_json": "json" # 回傳 JSON 格式，預設是 html
}
response = requests.post(url, headers=headers, json=data)
response_id = ""
if response.status_code == 200:
response_id = response.headers.get("x-response-id")
print(f"response id: {response_id}")
else:
print(f"Error: {response.status_code} - {response.reason}")
return response_id
def async_get_search_result(self, response_id):
""" SERP API 非同步請求 - 取得搜尋結果
 """
url = f'https://api.brightdata.com/serp/get_result?customer={self.account_id}&zone={self.zone}&response_id={response_id}'
headers = {'Authorization': f'Bearer {self.api_token}'}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Error: {response.status_code} - {response.reason}")
return {}
return response.json()
if __name__ == '__main__':
brightdata = Brightdata(ZONE, ACCOUNT_ID, PASSWORD, HOST, API_TOKEN)
# SERP API 同步請求
result = brightdata.sync_get_search_result("Google Pixel")
print(json.dumps(result))
# SERP API 非同步請求
# response_id = brightdata.async_set_search_job("Google Pixel")
# time.sleep(10) # 等待它完成查詢
# result = brightdata.async_get_search_result(response_id)
# print(json.dumps(result))

* 官方還有更多的說明文件，有需要都可以進去看看：

如果願意透過此連結註冊，我可以獲得一絲絲分潤，就當支持我寫作吧~🫡

註冊 Bright Data 帳號：https://get.brightdata.com/fabjye

官方還提供我的讀者優惠~
透過上述連結註冊的新用戶，首次儲值 25 美元再送 25 美元，直接省一半!!

結語

如果你有爬取(抓取)搜尋結果資料的需求，我覺得花點小錢還是蠻值得的，總比自己在那邊搞爬蟲、驗證碼(CAPTCHA)、換 IP、Proxy、被Ban帳號好太多了… (<- 過來人😭😭😭

Bright Data 除了這次介紹的 SERP API 工具外，他還有其他很多的服務，像是 Proxy、Scraping Browser API、Web Scraper IDE、Web Unlocker 等等，如果有這方面的需求，也可以跟他們詢問 (反正問又不用錢XD)。

參考：
BrightData 官方網站
 BrightData SERP-API 官方文檔1
BrightData SERP-API 官方文檔2
BrightData SERP-API 常見 Q&A
BrightData 使用者後台

只做能力範圍的事，就永遠無法進步。

如何使用 Google 的 Gemini 模型 API？(基礎教學，附上 Python 範例程式)

jia@jiatool.com (Jia) — Sun, 17 Dec 2023 21:45:00 +0800

前言

在上個禮拜(12/6)推出了 Google DeepMind 開發的 Gemini (雙子星) ，是第一個在 MMLU (大規模多任務語言理解) 方面超越人類專家的模型，要與 OpenAI 的 GPT-4 來抗衡。

我之前寫過一篇如何使用 OpenAI ChatGPT API ，而在前幾天(12/13) Google 也開放了 Gemini Pro 版本的 API ，可以透過「Google AI Studio 中的 Gemini API」或「Google Cloud 的 Vertex AI 平臺」來存取。

Google DeepMind 開發的 Gemini 多模態模型

右邊有目錄，可直接跳至你想看的章節 →

Gemini 簡介

Gemini 是一個原生多模態的 LLM (大型語言模型)，從訓練時就餵進去文字、影像、音訊等等多種形態的資料，使用 Google 自行開發的 TPU 晶片訓練而成，是第一個在 MMLU (大規模多任務語言理解) 方面超越人類專家的模型。

* 官方 Gemini 簡介文章：https://blog.google/technology/ai/google-gemini-ai

而官方有釋出一部試用 Gemini Ultra 的展示影片，我看完真的覺得很驚訝，在網路上也掀起了一陣熱烈討論。

* 有 CC 中文字幕

* 有文章版可以看： How it's Made: Interacting with Gemini through multimodal prompting

* Gemini 的訓練資料是到 2023 年初，在此之後的它可能就不知道了。

Gemini 模型三種尺寸

Gemini 依照尺寸分成三種版本：

Gemini Ultra：最強大，適用高度複雜的任務
Gemini Pro：最通用
Gemini Nano：可於行動裝置上運作

目前 Google 的 Bard 背後已經換成了 Gemini Pro (好像只有英文版)，Gemini Nano 也應用於 Google Pixel 8 上。
而 Gemini Ultra 應該明年初會推出。

Gemini 分成三種尺寸

* Gemini Ultra 對比 OpenAI GPT-4；Gemini Pro 對比 OpenAI GPT-3.5。
* 目前只開放 Gemini Pro 版本的 API。

API 價格

以下價格都是 12/16 查詢的金額。

在明年初全面上市之前，可以 "免費" 使用相同速率限制、相同模型來嘗試，不確定之後還會不會有免費方案(但降低使用速率)。
* 免費方案的輸入輸出資料會被拿去訓練，需要注意。

Gemini Pro 的 API 限制每分鐘最多 60 個請求(以個人使用絕對夠用)，預計明年初之後收費如下：

Price (input)
$0.00025 / 1K characters
$0.0025 / image
Price (output)
$0.0005 / 1K characters

Gemini Pro 版本的 API 價格

而 OpenAI GPT 的 API 收費如下 (以 GPT-3.5 Turbo 為例)：

Price (input)
$0.001 / 1K tokens
Price (output)
$0.002 / 1K tokens

OpenAI GPT 的 API 價格

* 以上價格皆為美金，撰寫文章當下約 1 美金 = 31.3 新台幣。

比較一下，可以看到 Google 的 Gemini 相較來說更划算，便宜了 4 倍，而且注意看他們的計算方式也不同，一個是用 character、一個是用 token，我們來看看不同的計算方式差多少。

底下我自己實際用它們官網計算 token 的工具，來比較兩者的差距。

先測試一段英文，兩者算出來的 token 是差不多的 (分別為 24 跟 25)：

Gemini is built from the ground up for multimodality — reasoning seamlessly across image, video, audio, and code.

Google Gemini token 計算 - 英文

OpenAI GPT-3.5 token 計算 - 英文

但是，如果是中文，因為計算方式的差異，整整差了兩倍！！ (分別為 25 跟 50)

Gemini 是一個原生多模態的大型語言模型，在大規模多任務語言理解方面甚至超越人類專家。

Google Gemini token 計算 - 中文

OpenAI GPT-3.5 token 計算 - 中文

Gemini Pro API

創建 API key

進到 Google AI for Developers 的網站，可以查看 Google AI 模型的介紹、價格、說明文件與範例。

建置 Gemini

點擊 "Get API key in Google AI Studio" 前往 Google AI Studio 來在網頁上測試 LLM AI 模型(類似 Playground 頁面的用途) 與取得 API key，

建置 Gemini

Google AI Studio 是以瀏覽器為基礎的 IDE，可使用生成式模型進行原型設計。Google AI Studio 可讓您快速試用模型並嘗試各種提示建構符合需求的項目後，您可以從 Gemini API 提供支援的程式語言，並將其匯出為程式碼。

關於 Google AI Studio 的使用我就不多介紹了。提醒如果想輸入圖片，右邊的 Model 記得要切換成 Gemini Pro Vision，才有支援圖像。

* Google AI Studio 官方教學文章

Google AI Studio

點擊左邊的 "Get API key" > "Create API key in new project" 來自動產生一個 Google Cloud 專案並創建一個 API key。

創建 Google Cloud API key

Gemini 模型種類說明

Gemini models 種類說明列出目前可使用的 Gemini 模型資訊，包含 "模型說明"、"模型更新時間"、"輸入輸出類型"、"Token限制"、"頻率限制"

Gemini Pro 用在文字輸入，而 Gemini Pro Vision 可以文字加影像輸入。

Gemini 可使用的模型種類

API 版本說明

目前 Gemini API 有 v1 和 v1beta 版本：

v1：API 的穩定版。在主要版本的生命週期內，穩定版本的功能都能完整支援。如有任何破壞性變更，系統會建立 API 的下一個主要版本，並在合理的時間內淘汰現有版本。
v1beta：包含可能處於開發階段的搶先體驗功能，且需要快速更新及破壞性變更。請勿使用此版本於正式版應用程式。

API 版本比較 (v1 與 v1beta)

傳入參數

我們使用的 generateContent 方法其 Request 相關資訊如下：

POST https://generativelanguage.googleapis.com/v1/models/{gemini-pro or gemini-pro-vision}:generateContent?key={API_KEY}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


{
"contents": [
{
"parts": [
{
"text": "prompt..."
}
],
"role": "user or model"
}
],
"safetySettings": [
{
"category": "<enum (HarmCategory)>",
"threshold": "<enum (HarmBlockThreshold)>"
}
],
"generationConfig": {
"temperature": "<number>",
"topP": "<number>",
"topK": "<number>",
"candidateCount": "<integer>",
"maxOutputTokens": "<integer>",
"stopSequences": ["<string>"]
}
}

contents 放 prompt 提示 (text) 與角色 (role，可以是 user 或 model，不填則預設 user)。

safetySettings 是 OpenAI GPT 沒有的參數，用於封鎖不安全的回覆內容。

safetySettings > category 類別，可以使用以下數值：

數值	代表意思
HARM_CATEGORY_HARASSMENT	騷擾內容。
HARM_CATEGORY_HATE_SPEECH	仇恨言論和內容。
HARM_CATEGORY_SEXUALLY_EXPLICIT	情色露骨內容。
HARM_CATEGORY_DANGEROUS_CONTENT	危險內容。

* 其他還有 HARM_CATEGORY_UNSPECIFIED、HARM_CATEGORY_DEROGATORY、HARM_CATEGORY_TOXICITY、HARM_CATEGORY_VIOLENCE、HARM_CATEGORY_SEXUAL、HARM_CATEGORY_MEDICAL、HARM_CATEGORY_DANGEROUS，不過那是給 PaLM 2（舊版）模型使用的，Gemini 模型不支援。

safetySettings > threshold 封鎖門檻，可以使用以下數值：

數值	代表意思
HARM_BLOCK_THRESHOLD_UNSPECIFIED	未指定門檻。
BLOCK_LOW_AND_ABOVE	允許含有「NEGLIGIBLE」的內容
BLOCK_MEDIUM_AND_ABOVE	允許含有「NEGLIGIBLE」、「LOW」的內容。
BLOCK_ONLY_HIGH	允許含有「NEGLIGIBLE」、「LOW」、「MEDIUM」的內容。
BLOCK_NONE	允許所有內容。

generationConfig 用於設定模型生成和輸出的設定參數，其中幾個比較會用到的是：

temperature：輸出內容的隨機性。越接近 1.0，產生的回應會豐富、多元、更有創意；反之越接近 0.0，則會產生較有確定性、可能性較高的回覆。
maxOutputTokens：最大輸出回應 Token 數量。Gemini Pro 模型預設 2048；Gemini Pro Vision 模型預設 4096。
candidateCount：要傳回的回應數量。預設 1，可設定 1~8，但目前好像限制只能用 1。

用法可以直接看下一章節的 Python 範例程式碼。其他更詳細的說明，請參考以下官方文件：

回覆內容

API 範例回覆內容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


{
"candidates": [
{
"content": {
"parts": [
{
"text": "我知道王建民。王建民，1980年3月31日出生於台灣台中市，是一位前台灣棒球選手，司職投手。他曾效力於中華職棒的興農牛隊，美國職棒的紐約洋基隊、華盛頓國民隊和芝加哥白襪隊，以及中國棒球聯賽的北京猛虎隊。\n\n王建民是台灣史上第一位大聯盟先發勝投破百的投手，也是第一位入選大聯盟全明星賽的台灣選手。他在2006年締造19勝6敗、 防禦率3.63的優異成績，並在季後賽拿下3勝0敗的戰績，幫助洋基隊奪得世界大賽冠軍。王建民也因此成為台灣的棒球英雄，並獲得「台灣之光」的稱號。\n\n然而，王建民在2008年季初因傷缺陣，並在2009年進行了韌帶移植手術。此後，他的成績大幅下滑，並在2012年離開了大聯盟。王建民於2013年回歸中華職棒，效力於義大犀牛隊。2016年，他宣布正式退休。\n\n王建民的職業生涯戰績為127勝72敗， 防禦率3.92，三振數1718次。他是台灣棒球史上最成功的投手之一，也是台灣人民的驕傲。"
}
],
"role": "model"
},
"finishReason": "STOP",
"index": 0,
"safetyRatings": [
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HARASSMENT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"probability": "NEGLIGIBLE"
}
]
}
],
"promptFeedback": {
"safetyRatings": [
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_HARASSMENT",
"probability": "NEGLIGIBLE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"probability": "NEGLIGIBLE"
}
]
}
}

candidates 就是回應候選內容，目前好像只會有一個，因為輸入的 generationConfig > candidateCount 它也只讓我設定 1。

content：生成回應內容，格式跟輸入的 contents 一樣。
finishReason：模型停止產生 token 的原因。

數值	代表意思
FINISH_REASON_UNSPECIFIED	預設值。這個值未使用。
STOP	模型的自然停止或提供的停止序列。
MAX_TOKENS	已達到請求中指定的 token 數量上限。
SAFETY	內容因安全原因而被標記。
RECITATION	內容因遭檢舉為引用原因而被標記。
OTHER	未知原因。

index：此候選內容在候選清單中的索引 (目前只有一則)。
safetyRatings：安全性評級清單。顯示此回覆內容在各項安全性類別的等級(可能性)。

我自己在測試時，有時會如下回應，不知道是不是剛推出，所以還不太穩。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


{
"candidates": [{"finishReason": "OTHER", "index": 0}],
"promptFeedback": {
"safetyRatings": [
{"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_HATE_SPEECH", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_HARASSMENT", "probability": "NEGLIGIBLE"},
{"category": "HARM_CATEGORY_DANGEROUS_CONTENT", "probability": "NEGLIGIBLE"}
]
}
}

其他更詳細的說明，請參考以下官方文件：

Gemini API GenerateContentResponse 參考資料

Python 範例程式碼

在官網的範例是使用他們創建的 google-generativeai 套件。
不過這邊我想改用我們熟悉的 Requests 套件來嘗試、示範。

首先要確認有安裝 Requests 套件：

1

pip install requests

那我們開始吧~🏃

單個純文字

純粹問它一段話：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# 單個純文字
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [{"text": "你知道王建民嗎？"}]
}
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

單個純文字 + 參數

問它一段話，並且加上一些參數設定：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


# 單個純文字 + 參數
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [{"text": "你知道王建民嗎？"}]
}
],
"safetySettings": [
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"threshold": "BLOCK_NONE"
}
],
"generationConfig": {
"temperature": 1.0,
"maxOutputTokens": 30,
"topP": 0.8,
"topK": 10
}
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

多輪純文字對話（聊天）

像在 Bard 或 ChatGPT 上一樣，可以多輪對話，它會記得之前的內容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 多輪對話（聊天）
import json
import requests
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"role": "user",
"parts": [{"text": "你知道王建民嗎？"}]
},
{
"role": "model",
"parts": [{"text": "我知道王建民。王建民，1980年3月31日出生於台灣台中市，是一位前台灣棒球選手，司職投手。他曾效力於中華職棒的興農牛隊，美國職棒的紐約洋基隊、華盛頓國民隊和芝加哥白襪隊，以及中國棒球聯賽的北京猛虎隊。\n\n王建民是台灣史上第一位大聯盟先發勝投破百的投手，也是第一位入選大聯盟全明星賽的台灣選手。他在2006年締造19勝6敗、 防禦率3.63的優異成績，並在季後賽拿下3勝0敗的戰績，幫助洋基隊奪得世界大賽冠軍。王建民也因此成為台灣的棒球英雄，並獲得「台灣之光」的稱號。\n\n然而，王建民在2008年季初因傷缺陣，並在2009年進行了韌帶移植手術。此後，他的成績大幅下滑，並在2012年離開了大聯盟。王建民於2013年回歸中華職棒，效力於義大犀牛隊。2016年，他宣布正式退休。\n\n王建民的職業生涯戰績為127勝72敗， 防禦率3.92，三振數1718次。他是台灣棒球史上最成功的投手之一，也是台灣人民的驕傲。"}]
},
{
"role": "user",
"parts": [{"text": "他現在在哪裡？"}]
},
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

單個文字和圖片

如果需要 AI 可以看圖片，需要改用 Gemini Pro Vision 模型 (支援文字和圖片輸入)，並且圖片要轉換為 Base64 編碼的字串，

圖片的 mime_type 參數目前支援「image/png」、「image/jpeg」、「image/heic」、「image/heif」、「image/webp」幾種格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


# 單個文字和圖片
import json
import requests
import base64
# 讀取圖片檔案，並轉換成 Base64 編碼的字串
with open("gemini_test_image.jpg", "rb") as image_file:
image_base64_string = base64.b64encode(image_file.read()).decode('utf-8')
# print(image_base64_string)
url = f'https://generativelanguage.googleapis.com/v1/models/gemini-pro-vision:generateContent?key={API_KEY}'
headers = {'Content-Type': 'application/json'}
data = {
"contents": [
{
"parts": [
{"text": "詳細說明你在這張圖片中看到什麼？"},
{
"inline_data": {
"mime_type": "image/jpeg",
"data": image_base64_string
}
}
]
},
]
}
response = requests.post(url, headers=headers, json=data)
print(f"response status_code: {response.status_code}")
print(json.dumps(response.json(), indent=4, ensure_ascii=False))

結語

v1 Beta 版本還有更多功能，像是函數呼叫(Function calling) 、語意檢索器(Semantic Retriever、RAG) ，雖然還在測試中，不建議用於正式版應用，但有興趣的還是可以去玩玩看🤖。

至少在今年底前使用 Google Gemini API 都是「免費」使用，你想要拿來練習、做專案、做 Side Project 都可以使盡玩(?)，但要注意不要上傳任何敏感資料，因為目前方案所有的輸入輸出都可能會被拿去當訓練資料。

參考：
Google Gemini 官方網站
 Google Gemini API 說明文件
 Google AI Studio
Google for Developers Blog

The sky’s the limit
一切皆有可能

DataForSEO 教學 — Google、Yahoo 搜尋結果 SERP API

jia@jiatool.com (Jia) — Sat, 18 Nov 2023 21:50:00 +0800

(先澄清，以下非業配，純粹依個人使用過程描述。)

前言

在很久之前，我有寫一篇關於第三方 Google 搜尋結果的 API (Aves API) 。而最近又在因緣際會下，被迫(?)接觸了另一個類似的服務平台 — DataForSEO。

DataForSEO 提供了更多的服務，包括 Google Search、Google Maps、Google News、Google Images、YouTube、Yahoo Search、Bing Search、百度 Search、Google Play 和 Apple App，還有一些其他商業應用的服務。可以看的出來還蠻多樣的，如果有這方面的需求或許可以參考。

這次就改以「Yahoo 搜尋 API」當範例，來跟著我一起嘗試這個 API 服務吧，這篇也算把我自己的使用經驗記錄下來。

DataForSEO 官網

SERP API

官方的 SERP API 頁面有一些簡單的介紹，SERP API 目前支援以下幾種搜尋：

Google SERP
Google 圖片
Google 新聞
Google 地圖
Yahoo SERP
Bing SERP
百度 SERP
YouTube SERP

SERP API 支援的搜尋引擎

搜尋測試頁面

在 DataForSEO 官網上有提供一個 Google SERP 搜尋測試頁面，可以實際輸入關鍵字，並查看它回傳的資料，只可惜好像沒有提供台灣的選項。

但它在使用者後台(需註冊)也有提供一個 API Explorer (就是 Playground) 的 GUI 介面，會完整許多，各種支援的搜尋引擎都可以選，地區也有台灣(並細分到縣市)，也有許多參數可以設定，但這邊就會直接花到錢的 (新帳戶有送 1 美元的額度可供試用)。

關於使用者後台頁面，我文章後續章節會再介紹。

Google SERP 搜尋測試頁面

SERP API 價格

搜尋 API 價格官方有詳細說明在這個網頁，依照你使用的模式它分為三種價格：STANDARD QUEUE、PRIORITY QUEUE、LIVE MODE。

STANDARD QUEUE：每一次查詢 $0.0006，平均等 5 分鐘。
PRIORITY QUEUE：每一次查詢 $0.0012，平均等 1 分鐘。
LIVE MODE：每一次查詢 $0.002，平均等 6 秒。

* 以上價格為美金

SERP API 價格

LIVE MODE 使用上最簡單，只要單一請求就會回傳結果，速度也最快，但價格當然也最貴。
STANDARD QUEUE 和 PRIORITY QUEUE 則是要先發送查詢任務請求，再來定時去問問它查好了沒，最後再取得查詢結果，要分成三段，在程式上寫起來比較麻煩，但它比較便宜(窮人的悲哀QQ)，而 STANDARD QUEUE 和 PRIORITY QUEUE 兩者看起來只差在等待時間及價格。

以下文章我會以 STANDARD QUEUE 和 PRIORITY QUEUE 模式來示範。

API 使用

SERP API 使用上分為三個請求：

Task POST (task_post)：設定任務
Tasks Ready (tasks_ready)：取得已完成任務
Task GET (task_get)：取得任務的結果

* STANDARD QUEUE、PRIORITY QUEUE 模式的區分是在送出 task_post 請求時，帶上 priority 參數來指定，1 (預設)代表 STANDARD、2 代表 PRIORITY。

SERP API 流程

首先使用 "Task POST" 設定查詢任務，指定關鍵字以及其餘參數，讓它開始去抓我們想要的搜尋結果，這邊最多可以一次給 100 組關鍵字，不過稍微注意有限制每分鐘最多只能發送 2000 個 API 請求。

* 你也可以指定 pingback_url，當任務完成時它會主動通知你；
* 或指定 postback_url，當任務完成時它會主動將結果傳送給你。
再來使用 "Tasks Ready" 查詢它執行完哪些任務，可以每 10 秒檢查一次，或一分鐘檢查一次，它只有限制每分鐘最多進行 20 次 API 請求。另外，已經被收集的任務(我猜是指已使用 task_get 取得的任務)和放超過三天未收集的任務會被移除不會在裡面。
最後，使用 "Task GET" 帶上任務 ID 取得任務的查詢結果，它有分三種 Regular、Advanced、HTML，Regular 就是以 JSON 格式整理好的結果；Advanced 跟 Regular 一樣，只是好像還有多一些特定資訊，我也不是很清楚；HTML 就是回傳搜尋結果的 HTML 格式。

* 而且任務結果在 30 天內都會保留，用 ID 都可以取得結果。
* 關於搜尋結果不同類別(type)各自代表甚麼，在這邊有官方的圖文說明：https://dataforseo.com/serp-features

* 以上三種請求，只有 "Task POST" 會收費，其餘兩個並不會產生費用。

送出的請求 Header 皆需要帶上憑證，確認是哪個帳號發出的，其格式如下：

Authorization: Basic ${credentials}

其中 credentials 是將你的 "API login" 與 "API password" 組的字串 {login}:{password} 經過 Base64 編碼的結果。

例如帳號是 jia@gmail.com、密碼是 abc123，組成 jia@gmail.com:abc123，再經過 Base64 變成 amlhQGdtYWlsLmNvbTphYmMxMjM=。

* "API login" 與 "API password" 可以在使用者後台 API Dashboard 網頁找到。

對了，
它們 API 還有提供 📦 沙盒模式(Sandbox)，讓我們可以在撰寫程式時做測試，不會花費到費用，但當然回傳的資料就是它們的範例資料，但可以讓我們確認 API 回傳的資料格式、測試程式有沒有問題。

官方文件：https://docs.dataforseo.com/v3/appendix/sandbox/

* 官方文件有更完整的說明：https://docs.dataforseo.com/v3/serp/yahoo/overview/

* 其他常見的 Q&A：https://dataforseo.com/help-center/category/serp-api

Python 範例

首先要確認有安裝 Requests 套件：

1

pip install requests

完整 Python 程式碼：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79


import json
import requests
class DataforseoSerp():
def __init__(self, credentials, open_sandbox=False):
self.base_url = 'https://api.dataforseo.com/v3/serp'
if open_sandbox:
self.base_url = 'https://sandbox.dataforseo.com/v3/serp' # 沙盒模式
self.search_engine = 'yahoo'
self.headers = {
'Authorization': f'Basic ${credentials}',
'Content-Type': 'application/json',
}
self.location_code = 1012825 # New Taipei City,Taiwan
# https://docs.dataforseo.com/v3/serp/yahoo/locations/
self.language_code = 'zh-TW'
# https://docs.dataforseo.com/v3/serp/yahoo/languages/
self.device = "desktop" # mobile
self.os = "windows" # macos android ios
def task_post(self, keywords, depth=100):
"""
 設定查詢任務，keywords 最多一次可以 100 個，每分鐘最多可以發送 2000 個 API 呼叫
 https://docs.dataforseo.com/v3/serp/yahoo/organic/task_post/
 """
if (keywords is None) or (len(keywords) == 0):
return None
url = f'{self.base_url}/{self.search_engine}/organic/task_post'
data = []
for keyword in keywords:
data.append({
"keyword": keyword,
"location_code": self.location_code,
"language_code": self.language_code,
"device": self.device,
"os": self.os,
"depth": depth
})
response = requests.post(url, headers=self.headers, json=data)
return response.json()
def tasks_ready(self):
"""
 取得已完成的查詢任務
 https://docs.dataforseo.com/v3/serp/yahoo/organic/tasks_ready/
 """
url = f'{self.base_url}/{self.search_engine}/organic/tasks_ready'
response = requests.get(url, headers=self.headers)
return response.json()
def task_get(self, task_id):
"""
 取得查詢任務的結果
 https://docs.dataforseo.com/v3/serp/yahoo/organic/task_get/regular/
 """
if task_id is None:
return None
url = f'{self.base_url}/{self.search_engine}/organic/task_get/regular/{task_id}'
response = requests.get(url, headers=self.headers)
return response.json()
if __name__ == "__main__":
dataforseo_serp = DataforseoSerp("xxxxxxxxxxxxxxxxxxxxxxxxxxx", open_sandbox=True)
result = dataforseo_serp.task_post(["飲料"])
print(json.dumps(result))
result = dataforseo_serp.tasks_ready()
print(json.dumps(result))
result = dataforseo_serp.task_get("11171539-6790-0066-2000-fa82270464a2")
print(json.dumps(result))
with open('dataforseo_serp_result.json', 'w') as f:
json.dump(result, f)

當然比較好的做法，是還要判斷它回傳結果的 status_code 欄位和 tasks 底下的 status_code 欄位，確保任務執行 OK 才去取資料，如果有錯誤，程式內要做相對應處理。

這邊只是為了示範，我就沒有寫出來了。

* 各個狀態代碼意思如這個官方清單。

使用者後台

當註冊後登入，即可進入使用者後台頁面去查看更多相關資訊。

其中有幾個重要的頁面：

API Dashboard (儀錶板)
API Usage (使用紀錄)
API Errors (錯誤紀錄)
API Explorer (API Playground)
API Settings (設定 API 限制)

API Dashboard (儀錶板)

有顯示你的 "API login" 與 "API password"，以及圖表化顯示每天的花費。

API Dashboard (儀錶板) 頁面

API Usage (使用紀錄)

就是你 API 的呼叫紀錄，它有將不同種類的 API 區分開來，方便我們查找。
有紀錄任務 ID、執行時間、執行狀態、花費、送出的參數，甚至可以從這邊看到查詢結果(等同於 "Task GET" 請求)。

API Usage (使用紀錄) 頁面

API Errors (錯誤紀錄)

發生錯誤的 API 請求會在這頁列出來。

API Errors (錯誤紀錄) 頁面

API Explorer (API Playground)

以圖形化的操作頁面，讓你實際測試 API 的結果是否符合你的預期，有輸入框讓你設定 API 不同參數，像是用哪個搜尋引擎、地區(有細分到縣市)、語言、電腦版或手機版、作業系統、關鍵字。

但要稍微注意，這邊是會直接花到錢的 (新帳戶有送 1 美元的額度可供試用)。

API Explorer (API Playground) 頁面

API Settings (設定 API 限制)

能設定可以呼叫 API 的 IP 白名單、限制每日最大花費額度(總共額度，或也可以細到 by 不同 API 去限制)。

API Settings (設定 API 限制) 頁面

注意事項

我在使用 Yahoo 搜尋 API 時發現，我明明設定要 100 筆結果(depth=100)，結果回傳只有 70 筆、甚至 40 幾筆而已的，我也有透過 API 回傳的 check_url 網址去確認，經過詢問與確認，官方是這樣答覆我：

Today, you contacted our Support Team and provided us with ID of your task sent to the Yahoo Serp API that returned fewer results than expected.
Our developers have carefully checked the situation and explained that such a search engine has some limitations. To avoid timeouts, we have a restriction that allows us to crawl up to 6 pages of the ordinary SERP (the one you can see in a browser). Taking into account that each page contains 7-8 results. In total, the API does not return more than 50 results.
If we remove such a restriction globally, this API will return 500 errors, and since we will have to send numerous requests to this search engine, it may harm it due to high traffic coming from us. I hope it makes sense.
Hope for your understanding!

也就是可能他們的 Yahoo 搜尋 API 很可能沒辦法抓到我們指定的筆數，除非你只需要第一頁，或前三頁之類的，不然這也是很困擾，要特別注意。

結語

相比上次使用的 Aves API 來說，DataForSEO 真的多了非常多的服務，而且價格貌似也比較便宜。官方同樣有線上客服，有相關需求都可以直接詢問，回應速度還蠻快的。

當然我目前只是短暫的嘗試，還不確定它長久、大量地使用下來穩定性如何，這部分有需求的人可以自行比較看看。

參考：
DataForSEO 官方網站
 DataForSEO 官方文檔
 DataForSEO Dashboard 後台

「失敗很正常，如果沒有經歷失敗，表示你還不夠創新。」
Failure is an option here. If things are not failing, you are not innovating enough.

—— Elon Musk 伊隆·馬斯克 (著名企業家)

(2023年新版) 使用 Streamlit 簡單又快速建立 Dashboard 網頁

jia@jiatool.com (Jia) — Sun, 17 Sep 2023 21:35:00 +0800

前言

之前寫這篇 Streamlit 的教學文章已經過去兩年多了，陸續官方還增加了許多功能與優化，而且從我部落格後台的數據來看，發現那篇文章還蠻多人觀看。因此決定再寫篇更新的內容，並多補充一些細節。

此篇文章使用的 Streamlit 是 v1.26.0 版本。

Streamlit 幫助我們快速製作 Web 應用程式，而且不需要任何前端技能，全部都採用 Python 語法完成。讓你輕鬆分享網路爬蟲、數據科學和機器學習的資料，是一個非常方便的套件。

* 文章最後會附上完整的範例程式碼，請一定看到最後~

Demo

這是最後將程式碼放到 GitHub，並使用 Streamlit Cloud 部署的成果。

Streamlit 成果範例：streamlit_2023_demo

Streamlit Demo 範例

安裝與執行

Streamlit [ 官方網站 ] [ 官方文檔 ]

安裝

1

pip install streamlit

撰寫本篇文章時最新版為：v1.26.0

執行

1
2
3
4


streamlit run <py程式檔案路徑>
# 以我下方文章範例的話，就是：
streamlit run streamlit_app.py

如果想指定 Streamlit 的 port 埠號，只要在後方加上--server.port 參數：

1

streamlit run <py程式檔案路徑> --server.port 8888

需要終止該應用程式只需在終端中按 Ctrl + c。

創建 Streamlit 應用程式

除了跟著我以下的文章流程學習，也可以參考官方文檔 Get started 的流程操作。

新增 py 程式碼

新創建一個 Python 檔案 streamlit_app.py，以下教學都只會編輯這個檔案。

打開它，在一開始導入 Streamlit 與範例需要的其他套件：

1
2
3
4
5
6


import time
import streamlit as st
import numpy as np
import pandas as pd

打開 "命令提示字元" 或 "終端機"，開始執行程式：

1

streamlit run streamlit_app.py

* 第一次執行時，它可能會問你 Email，這可以不用理它，直接按 Enter 即可。

執行 Streamlit 程式，第一次會遇到 Email

它應該會顯示如下資訊，並自動開啟一個瀏覽器網頁。

執行 Streamlit 程式

然後網頁裡面顯示… 一片空白？！
沒錯！我們又還沒有添加元件進去，怎麼會有東西呢~ 😆

添加文字和數據

先幫我們的應用程式上個標題，加入以下程式碼：

1

st.title('我的第一個應用程式')

存檔，回到瀏覽器的網頁上。

可以重整網頁，或點擊右上角菜單內 "Rerun" 的按鈕，

Rerun 重整網頁

網頁上就會顯示一個標題文字了：

試著加入標題吧

如何？簡單吧，那我們再繼續接著下去~

使用 `st.write` 和 Magic Commands

在 Streamlit 內有個神奇的指令，他們把它叫 st.write 和 Magic Commands ，不管給它 "字串"、"Markdown"、"數據資料" 還是 "圖表"，Streamlit 都會自動辨別並以合適的方式顯示出來。

在程式碼中只要把想顯示的東西放進 st.write，甚至單一行只有變數或字串，根本不需要使用 st.write，它都會自動套用並顯示。

1
2
3
4
5
6
7


st.write("嘗試創建**表格**：")
df = pd.DataFrame({
'first column': [1, 2, 3, 4],
'second column': [10, 20, 30, 40]
})
df

呈現 Markdown 與表格

但是官方有提到有以下三個原因，如果可以的話還是使用更具體的方法比較好：

Magic 和 st.write() 會檢查您傳入的數據類型，然後決定如何最好地呈現，但有時你可能想以另一種方式呈現它。
其他方法返回一個可以使用和修改的對象，可以通過向其添加數據或替換它。
如果使用更具體的 Streamlit 方法，您可以傳遞其他參數來自定義其行為。

繪製圖表和地圖 Chart

折線圖 `st.line_chart()`

使用 Numpy 生成一個隨機樣本，然後將其繪製成折線圖。

1
2
3
4


chart_data = pd.DataFrame(
np.random.randn(20, 3),
columns=['a', 'b', 'c'])
st.line_chart(chart_data)

而且它本身有下載、全螢幕觀看等功能。

繪製折線圖

地圖 `st.map()`

使用 Numpy 生成一個隨機樣本，繪製到地圖上。

1
2
3
4


map_data = pd.DataFrame(
np.random.randn(100, 2) / [50, 50] + [22.6, 120.4],
columns=['lat', 'lon'])
st.map(map_data)

繪製地圖

更多圖表元件請參考：官方文件 Chart elements

輸入類元件

除了上述標題、圖表，還有其他小工具，像是按鈕、選擇框、複選框、滑塊等等。

按鈕 `st.button()`

1
2


if st.button('不要按!'):
st.text("不是叫你不要按了嗎！")

按鈕元件

但你可能會注意到，每次點擊按鈕時，上方的折線圖也會產生變化。
這是因為 Streamlit 只要元件有輸入值的改變，整個程式(網頁)就會重新運行，因此折線圖裡的 random 才會出來不同資料。

複選框 `st.checkbox()`

使用複選框來顯示/隱藏數據，例如將剛剛繪製地圖的程式改成：

1
2
3
4
5


if st.checkbox('顯示地圖圖表'):
map_data = pd.DataFrame(
np.random.randn(100, 2) / [50, 50] + [22.6, 120.4],
columns=['lat', 'lon'])
st.map(map_data)

選擇框 `st.selectbox()`

使用選擇框提供使用者選擇：

1
2
3
4


option = st.selectbox(
'你喜歡哪種動物？',
['狗', '貓', '鸚鵡', '天竺鼠'])
st.text(f'你的答案：{option}')

複選框與選擇框

調整佈局 Layout

除了剛剛示範的一行一個元件，Streamlit 有提供幾種佈局容器元件供使用、排版。

側邊欄 `st.sidebar`

例如我們能將元件移到側邊欄中，這邊範例將剛剛的選擇框移入側邊欄：

1
2
3
4


option = st.sidebar.selectbox(
'你喜歡哪種動物？',
['狗', '貓', '鸚鵡', '天竺鼠'])
st.sidebar.text(f'你的答案：{option}')

將元件移到側邊欄

列容器 `st.columns()`

也有左右兩邊的方式來排列的容器：

1
2
3


left_column, right_column = st.columns(2)
left_column.write("這是左邊欄位。")
right_column.write("這是右邊欄位。")

展開容器 `st.expander()`

也可以通過能展開的容器，來隱藏大量內容來節省空間：

1
2


expander = st.expander("點擊來展開...")
expander.write("如果你要顯示很多文字，但又不想佔大半空間，可以使用這種方式。")

將內容摺疊起來，節省空間

分頁容器 `st.tabs()`

或者切出不同分頁，來放置不同種類的資料：

1
2
3
4
5
6
7
8
9


tab1, tab2 = st.tabs(["Cat 介紹", "Dog 介紹"])
with tab1:
st.header("A cat")
st.image("https://static.streamlit.io/examples/cat.jpg", width=200)
with tab2:
st.header("A dog")
st.image("https://static.streamlit.io/examples/dog.jpg", width=200)

不同分頁，放置不同種類的資料

其他更多佈局和容器請參考：官方文件 Layouts and Containers

狀態元件 Status

進度條 `st.progress()`

使用 time.sleep() 來模擬進度條的等待：

1
2
3
4
5
6


bar = st.progress(0)
for i in range(100):
bar.progress(i + 1, f'目前進度 {i+1} %')
time.sleep(0.05)
bar.progress(100, '載入完成！')

而且網頁右上角還會顯示"RUNNING…"，並有多個運動圖示跳動，讓使用者知道目前網頁中還有東西正在運行。

進度條載入時，網頁右上角 RUNNING... 字樣

消息通知 `st.toast()`

當有時候我們會需要跳出一個消息通知使用者，但並不想太干擾使用者，這時候就可以使用 st.toast()：

* 也可以為文字加上顏色，和加上 icon。

1
2
3
4


if st.button('儲存', type="primary"):
st.toast(':rainbow[你編輯的內容已經保存]', icon='💾')
# 或是簡單點，只顯示文字
# st.toast('你編輯的內容已經保存')

box 訊息 `st.success()`、`st.info()`、`st.warning()`、`st.error()`

或者想要在頁面上顯示較醒目的錯誤訊息：

1
2
3
4


st.success('Success!')
st.info('Info!')
st.warning('Warning!')
st.error('Error!', icon='🚨')

box 訊息和右下角的 toast 消息

特效 `st.balloons()` 與 `st.snow()`

還有看似無用，但真的好像無用(?)的特效，慶祝氣球 st.balloons() 與慶祝降雪 st.snow()：

慶祝氣球特效

聊天元件 Chat

聊天元件 `st.chat_message()` 與 `st.chat_input()`

最近因為 ChatGPT 之類的 LLM 熱門而新增的 "聊天元件" st.chat_message()、st.chat_input()：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


with st.chat_message("user"): # 或者寫 "human"
st.write("Hi 👋，請問你是誰？")
# 另一種寫法
message = st.chat_message("assistant") # 或者寫 "ai"
# message = st.chat_message("assistant", avatar="🦖") # 自訂頭像
message.write("你好！我是 ChatBot 🤖，可以回答各種問題，提供資訊。")
message.write("有什麼我可以幫助你的嗎？")
st.chat_input("Say something...")

因應最近 LLM 熱門而新增的聊天元件

官方還特別寫兩篇教你如何搭建一個對話式的應用程式，甚至示範如何串接 OpenAI 的 GPT 模型，或透過 LangChain 串接：

表單元件

表單 `st.form()`

經過上面的嘗試，我們都發現在 Streamlit 中，操作每個元件都會導致整個應用程式重新運行。

但是，有時我們可能希望像表單那樣，全部填寫好後再一次觸發(提交)，這時候就可以使用 st.form() 表單元件：

1
2
3
4
5
6
7
8


with st.form(key='my_form'):
form_name = st.text_input(label='姓名', placeholder='請輸入姓名')
form_gender = st.selectbox('性別', ['男', '女', '其他'])
form_birthday = st.date_input("生日")
submit_button = st.form_submit_button(label='Submit')
if submit_button:
st.write(f'hello {form_name}, 性別:{form_gender}, 生日:{form_birthday}')

使用表單元件，一次一起提交

使用快取 Caching

如同前面所述，只要元件輸入值有改變，整個程式(網頁)就會重新運行，但假如有較耗費時間、資源的運算，會造成使用者每調一個參數，就浪費時間在等待，或者產生的物件被重置。

因此 Streamlit 內提供兩種快取(Caching)機制，將之前運算過的結果快取起來，如果下次遇到一樣的輸入值，就能直接使用之前的結果，節省時間，也有助於在重新運行時持久保存物件。

這兩種快取機制以裝飾器(Decorator)寫法使用，用途區分如下：

@st.cache_data：計算後的結果、從 CSV 加載 DataFrame、查詢 API…，大多情況都可以使用 @st.cache_data。
@st.cache_resource：全域資源，例如 ML 模型或資料庫連接。

Streamlit 提供兩種緩存(Caching)機制

對於會變動的資料來源，建議可以設定 ttl (time to live)，例如設定 ttl=300，則快取會在 3600 秒 (1小時) 後失效，並在重新運行函數時，再次執行、緩存快取。

對於資料量太大造成記憶體可能不足問題，則可以設定 max_entries=1000 來限制最大資料筆數。

* 更多說明請參考官方文件： Caching

要使用 @st.cache_data 裝飾器，就需要將運算部分的程式碼包成函式(def)。

1
2
3
4
5
6
7


@st.cache_data(ttl=3600, show_spinner="正在加載資料...") # 👈 Add the caching decorator
def load_data(url):
df = pd.read_csv(url)
return df
df = load_data("https://raw.githubusercontent.com/plotly/datasets/master/26k-consumer-complaints.csv")
st.dataframe(df)

第一次載入時會跑比較久(上面範例是讓它到網路上下載 csv 資料後顯示)，之後再重整網頁時，因為有快取的關係，它應該一瞬間就顯示出來了。

如果想要清除快取再測試，可以從右上角的選單選擇 "Clear caches"：

右上角選單 "Clear caches" 可以清除快取

網頁配置設定

網頁配置程式碼要寫在所有 Streamlit 命令之前，而且只能設定一次。

此函式有五個參數：

page_title：網頁標題，顯示在瀏覽器分頁的標籤上，預設是程式碼的檔名。
page_icon：網頁圖標，顯示在網頁標題前，可以使用 st.image 或 Emoji，或者使用"random"讓它隨機產生XD。
layout：網頁中佈局寬度，預設是"centered"，還可以使用"wide"。
initial_sidebar_state：側邊欄顯示狀態，"expanded"打開或"collapsed"隱藏，預設是"auto"，代表在手機尺寸的設備上是隱藏，否則是打開顯示。
menu_items：右上角的菜單設定，共有以下三項可以設定：
- “Get help”：設定 URL，如果沒有，則會隱藏此菜單選項。
- “Report a Bug”：設定 URL，如果沒有，則會隱藏此菜單選項。
- “About”：顯示在 "關於" 彈跳視窗中的 Markdown 字串，如果沒有，則僅顯示 Streamlit 預設的內容。
- URL 也可以設定為電子郵件地址，像是 mailto:john@example.com。

官方文件： st.set_page_config

自訂網頁標題與 icon

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


st.set_page_config(
page_title="自定義網頁標題",
page_icon="random",
layout="centered",
initial_sidebar_state="expanded",
menu_items={
'Get Help': 'https://blog.jiatool.com/about/',
'About': "# 這是什麼網頁？ \n**[IT空間](https://blog.jiatool.com/)** 示範 streamlit 之用網頁"
}
)

在網頁右上方選單，除了之前提過的 Rerun 和清除快取，還有網頁設定與螢幕錄影功能，將你的操作流程直接錄影起來，展示給其他人。

而選單內的"設定"有幾個選項：

Run on save：程式存檔後網頁自動重跑，不需要再手動點 Rerun
Wide mode：佈局寬度調寬
Theme：選擇或自訂佈景主題

* 自定義主題可參考官方介紹說明。

右上角選單 "Settings" 網頁設定

部署應用程式

除了將程式在自己的電腦執行，或架在伺服器之外，官方有提供「 Streamlit Community Cloud 」，可以在上面部署、管理、共享你的 Streamlit 應用程式。你只要將專案上傳自己的 GitHub 存儲庫(公開或私有都可以)，再到 Streamlit Community Cloud 設定連接即可，算是蠻方便的。

* 關於 Streamlit Community Cloud 官方說明可在這邊查看： Welcome to Streamlit Community Cloud

完整部署介紹請參考官方說明，只需要四個步驟：

先確認你的資料夾內有程式執行需要的依賴套件文件：
- Python 依賴文件 [必要]：requirements.txt、Pipfile、environment.yml、pyproject.toml 這幾種擇一，指定程式需要哪些 Python 套件。
- apt-get 依賴 [非必要]：需要哪些 apt-get 的依賴套件。
將專案推到自己的 GitHub (公開或私有都可以)。
前往 share.streamlit.io 工作區，連接你剛剛上傳的 GitHub 存儲庫。
部署完成！！

推上 GitHub 的專案資料夾內大致會長這樣：

your-repository/
├── streamlit_app.py
└── requirements.txt

推上 GitHub Repository

前往 share.streamlit.io 工作區，連接你剛剛上傳的 GitHub 存儲庫。

點擊右上角 "New app"

右上角 "New app"

第一次需要給 Streamlit 擁有讀取 GitHub Repository 的權限：

第一次需要給 Streamlit 讀取 GitHub 權限

下一步，指定 GitHub Repository、分支、程式檔案名稱，以及是否要自訂網址名稱(你可以為你的應用程式自訂一個獨一無二的名稱)：

部署設定

下方還可以打開 "Advanced settings…"，這邊可以更改 Python 版本、設定環境變數。
我們這個範例不需要編輯這邊。

部署進階設定

點擊 "Deploy!"，等個一、兩分鐘安裝。

部署中...

部署完成，網址列上顯示的就是你這個應用程式的專屬網址，把它分享給其他人炫耀你努力的成果吧~🎉

部署完成

前往 share.streamlit.io 工作區，可以查看你全部的 Streamlit 應用程式，它還提供統計來訪人數的功能。

share.streamlit.io 工作區

來看看我 2021 年發布的 Demo 範例，共有 1,522 名讀者來訪~ (而且是計算不重複的)
* 這個統計功能是從 2022 年 4 月才開始，所以實際上會再更多。

統計來訪人數

完整範例程式碼

附上完整範例程式碼： streamlit_app.py

此範例程式碼部署在 Streamlit Cloud (share.streamlit.io) 的 Demo：

Streamlit 成果範例：streamlit_2023_demo

結語

從之前第一次嘗試 Streamlit 到現在過了兩年多，它又陸續新增了不少功能，看起來還有積極再發展。

經過上方教學實際操作後，會發覺這個套件真的可以很簡單、快速的建立一個顯示資料用的儀表板(Dashboard)，因此特別寫這篇文章來分享給大家~

參考：
Streamlit 官方網站
 Streamlit 官方文檔

每一個你討厭的現在，
都有一個不夠努力的曾經。

—— 幾米 (台灣繪本作家)

[Python爬蟲實例] 爬取"Agoda"訂房網站的搜尋住宿結果

jia@jiatool.com (Jia) — Sat, 08 Jul 2023 21:35:00 +0800

前言

今天的 Python網路爬蟲實例系列將來介紹 Agoda 訂房網站該如何搜尋住宿結果，看看它是如何發出請求、解析回傳資料，它 WebAPI 的查詢語言有別於我們之前遇過的 REST 風格，它是採用比較新的 GraphQL。

會寫這篇文章，是之前有網友詢問，我稍微試了一下，並將結果記錄下來，因此本篇不會有太詳細的介紹。

旅館 (來源：Unsplash)

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋住宿

請求路徑與參數

我直接在 Agoda 首頁搜尋 "台北市" 的住宿，接下來打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)並重整網頁。

切換到 Network(網路) > Fetch/XHR 分頁，會看見一個 /search 的請求，裡面包含我們這次搜尋住宿的結果。

開發人員工具 > Network > Fetch/XHR

切到 Headers 查看請求的方式與參數。

網址是 https://www.agoda.com/graphql/search、使用 POST 方法、需要帶 payload。

其實從網址就可以猜的出來，它可能是採用 GraphQL 查詢語言。

"搜尋住宿"請求的方式與參數

我將其整理出來，相關參數如下：

GraphQL 查詢語言會把需要的欄位全部列在 Request Body 的 json 格式字串內，所以它請求的 Request Body 會很~長~一串，我文章中就不全部列出來了，可以直接參考這個檔案( agoda_query.json )或自行用瀏覽器的開發人員工具查看。

Request URL：https://www.agoda.com/graphql/search
Request Methon：POST
Request Headers：

1
2
3
4
5


{
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
"Content-Type": "application/json",
"Ag-Language-Locale": "zh-tw"
}

Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


{
"operationName": "citySearch",
"variables": {
"CitySearchRequest": {...},
"ContentSummaryRequest": {...},
"PricingSummaryRequest": {...},
"PriceStreamMetaLabRequest": {...}
},
"query": "query citySearch($CitySearchRequest: CitySearchRequest!, $ContentSummaryRequest: ContentSummaryRequest!, ......"
}

城市代表 ID (cityId) 可以從我們查詢時的網址列 (city) 找到：
https://www.agoda.com/zh-hk/search?city=4951&checkIn=2023-06-19&los=1&rooms=1&... 裡面的 city=4951。

回傳資料

GraphQL 查詢語言的特點就是，其回傳資料的格式等同於你發出請求時所指定的欄位(也就是我們 agoda_query.json 檔案的內容)。

住宿搜尋結果會列在 ["data"]["citySearch"]["properties"] 裡面。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


{
"data": {
"citySearch": {
"aggregation": {},
"featuredPulseProperties": [],
"properties": ["住宿搜尋結果會列在這裡"],
"searchEnrichment": {},
"searchResult": {}
}
}
}

範例程式

使用 Python 搭配 requests 套件的寫法如下：

* 因為請求需要夾帶的 JSON 太長，我存在另外一個檔案( agoda_query.json )內再讀取進來。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


import requests
import json
# 因為請求需要夾帶的 JSON 太長，我存在另外一個檔案內再讀取進來
f = open('agoda_query.json')
data = json.load(f)
response = requests.post(
'https://www.agoda.com/graphql/search',
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36',
'Content-Type': 'application/json',
'Ag-Language-Locale': 'zh-tw'
},
json=data
)
print(response.json())
# 將回傳結果儲存在 JSON 檔案
with open('agoda_result.json', 'w') as fp:
json.dump(response.json(), fp)

延伸練習

我們在搜尋住宿時，會給他許多不同的篩選欄位，例如價格、地點、星級、床型、評價得分…，你知道如何將這些篩選條件加入請求嗎？
(提示：可以觀察 agoda_query.json 這個檔案內容)
Agoda 網站除了找住宿以外，它還可以搜尋機票，試著自己實際找找看吧。
(提示：它好像有一個 POST 請求 https://www.agoda.com/api/gw/flight/searchunbundled，不知道是不是)

結語

Agoda 訂房網站的 WebAPI 是採用比較新的 GraphQL，它可以精確地選擇所需的資料、避免請求過多或過少的資料，有別於我們之前遇過、常見的 REST。

關於 GraphQL 的介紹與 REST 的差異比較，如果有人想看的話(按讚或留言讓我知道)，之後考慮整理一篇出來。

之後會繼續陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言，或追蹤 FB 粉專『 IT空間』~ 🔔

所謂失敗，並非被打倒，而是倒地不起。

OpenAI ChatGPT API 如何使用？(附上 Python 範例程式)

jia@jiatool.com (Jia) — Sat, 18 Mar 2023 21:10:00 +0800

前言

ChatGPT 是由 OpenAI 所開發的一個基於 GPT-3.5 架構的大型語言模型，自從去年底發表到現在依然話題不斷、人氣超高。而在三月初，OpenAI 公開了 ChatGPT 的 API，也就是 gpt-3.5-turbo 模型的 API，讓我們不再被限制只能透過官方網頁使用，並且提供更多可調整的參數選項。

這篇文章就是要一起來了解 ChatGPT API，並實際使用 Python 串接 API (當然有 Python 範例程式碼)，帶著大家快速上手。

這兩份官方文件建議可以看看：

OpenAI 公開 ChatGPT API

API key 申請

進到帳號的 API key 頁面，登入帳號後，點擊 “Create new secret key” 來產生 API key，這時候就要把 key 複製並保存下來了，如果忘記的話，再產生一次即可。

API key 申請

使用量與計費方式

而帳號實際的總使用量可以到帳號 Usage 頁面查看。

目前每個帳號會贈送 18 美元的額度讓你試用 (如果你是用同一組手機去開多個帳號，那就不一定了)，並且有使用期限要留意，不要白白浪費了~
如果免費額度用完過到期，就應該要綁信用卡才能使用了。

每種模型的計費方式可參考官網 Pricing 頁面說明。

帳號實際的總使用量

範例程式碼

馬上給各位看看範例程式碼。

這邊分別使用使用兩種套件來示範，我們之前常用的 requests，與官方提供的 openai 套件。

Model 使用 ChatGPT 的 gpt-3.5-turbo，如果之後 GPT-4 的也開放後可以使用 gpt-4。
目前 OpenAI API 有提供這些 Model ，裡面有對每一種 Model 做詳細說明。

使用 requests 套件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


import requests
API_KEY = '<YOUR_API_KEY>'
response = requests.post(
'https://api.openai.com/v1/chat/completions',
headers={
'Content-Type': 'application/json',
'Authorization': f'Bearer {API_KEY}'
},
json={
'model': 'gpt-3.5-turbo',
'messages': [{"role": "user", "content": "說句話吧"}],
}
)
print(response.json())

使用官方 openai 套件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


import openai
openai.api_key = '<YOUR_API_KEY>'
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "user", "content": "說句話吧"}
]
)
print(completion)

參數

輸入參數除了上方範例中的 model 和 messages，還有以下這些。

此表格是依照官方 API Reference 所整理出來的。

參數名稱	資料型態	必填/選填	預設值	說明
`model`	string	必填	-	要使用的 Model ID。 ( 可使用的model )
`messages`	array	必填	-	以對話格式生成對話的訊息。 ( 格式參考，或以下說明)
`temperature`	number	選填	1	介於 0 和 2 之間。較高的值(如 0.8)將使輸出更加隨機，而較低的值(如 0.2)將使輸出更加集中和確定。
`top_p`	number	選填	1	一種替代`temperature`的方法(nucleus sampling)。Model 考慮具有 top_p 概率質量的標記的結果。所以 0.1 意味著只考慮構成前 10% 概率質量的標記。
`n`	integer	選填	1	輸出幾種回覆結果。 (參考以下說明)
`stream`	boolean	選填	false	開啟 stream 方式傳送，就像 ChatGPT 網頁版那樣會一個一個字跑出來。( 官方範例 )
`stop`	string or array	選填	null	指定字串，如果回覆有出現這些字串將會停止輸出。
`max_tokens`	integer	選填	inf	聊天完成時生成的最大令牌數。如果太小它可能回覆到一半就會斷掉，但每種 Model 都有各自的最大值。
`presence_penalty`	number	選填	0	-2.0 和 2.0 之間的數字。正值會根據到目前為止是否出現在文本中來懲罰新標記，從而增加 Model 談論新主題的可能性。
`frequency_penalty`	number	選填	0	-2.0 和 2.0 之間的數字。正值會根據新標記在文本中的現有頻率對其進行懲罰，從而降低 Model 逐字重複同一行的可能性。
`logit_bias`	map	選填	null	修改指定標記出現在完成中的可能性。
`user`	string	選填	-	代表你的用戶的ID，幫助 OpenAI 監控和檢測濫用行為。 ( 更多說明 )

* 官方建議不要同時更改 temperature 和 top_p，可以參考這邊的說明。

* 表格內有幾個說明你可能看不懂，因為我也不太懂 XP

messages 是個陣列的格式，放著你們之間的對話。
裡面的 role 欄位可以放三種身分：“system”、“user”、“assistant”。

對話可以先有一則 “system”，對 Model 先做出指示，例如 “你是一隻貓” (？，不過官方說 gpt-3.5-turbo 對 “system” 消息的關注度不高，因此重要的說明建議還是放在 “user” 的消息比較好。
“user” 是我們使用者的發問；“assistant” 則是 Model 的回話。

如果你想要讓對話有上下文關係(要讓 Model 記得之前講過的話)，要把全部對話紀錄都在傳給它，然後這些都算進 token(使用量) 裡…，像是底下這樣。

第一次問它：

1
2
3


"messages": [
{"role": "user", "content": "王建民是誰"}
]

它回覆：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


"usage": {
"prompt_tokens": 14,
"completion_tokens": 217,
"total_tokens": 231
},
"choices": [
{
"message": {
"role": "assistant",
"content": "\n\n王建民是一位台灣籍棒球運動員，曾效力於美國職棒大聯盟紐約洋基隊、匹茲堡海盜隊、倫敦青年隊、堪薩斯城皇家隊等隊伍，擅長投球，被譽為是台灣最優秀的投手之一。他在職業生涯期間獲得多項獎項，包括台灣大賽MVP、亞洲聯盟MVP、美國聯盟先發投手等。他在2015年正式宣布退役，現在是一位棒球分析師和教練。"
}
}
]

想再繼續深入詢問，第二次問它，就要把剛剛我問的跟他回的都放進去：

1
2
3
4
5


'messages': [
{"role": "user", "content": "王建民是誰"},
{"role": "assistant", "content": "\n\n王建民是一位台灣籍棒球運動員，曾效力於美國職棒大聯盟紐約洋基隊、匹茲堡海盜隊、倫敦青年隊、堪薩斯城皇家隊等隊伍，擅長投球，被譽為是台灣最優秀的投手之一。他在職業生涯期間獲得多項獎項，包括台灣大賽MVP、亞洲聯盟MVP、美國聯盟先發投手等。他在2015年正式宣布退役，現在是一位棒球分析師和教練。"},
{"role": "user", "content": "他在美國大聯盟最多一年曾經拿過幾勝"},
]

它回覆：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


"usage": {
"prompt_tokens": 268,
"completion_tokens": 63,
"total_tokens": 331
},
"choices": [
{
"message": {
"role": "assistant",
"content": "王建民在美國大聯盟生涯中最多一年的勝場數為19勝，是在2008年效力於倫敦青年隊時所取得的成績。"
}
}
]

可以感受到 total_tokens 的使用量了嗎？
如果想讓它記得以前講過的話，每次請求所消耗的 token 是要繼續往上疊的，也是蠻恐怖的 XD

以上內容可以參考官方說明。

參數 n 是代表你想要它給出幾種回覆，例如 n=3 會產生如下三則訊息回覆：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


"choices": [
{
"message": {
"role": "assistant",
"content": "\n\n你好，有什麼我可以幫助您的？"
},
"finish_reason": "stop",
"index": 0
},
{
"message": {
"role": "assistant",
"content": "\n\n您好，有什麼我能幫助您的嗎？"
},
"finish_reason": "stop",
"index": 1
},
{
"message": {
"role": "assistant",
"content": "\n\n您好，有什麼我可以為您做的嗎？"
},
"finish_reason": "stop",
"index": 2
}
]

回覆內容

依照上方的範例程式，他回傳的格式與內容會類似這樣：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


{
"id": "chatcmpl-6v4faabcd9gXfUerJvBf123Co",
"object": "chat.completion",
"created": 1679060660,
"model": "gpt-3.5-turbo-0301",
"usage": {
"prompt_tokens": 14,
"completion_tokens": 24,
"total_tokens": 38
},
"choices": [
{
"message": {
"role": "assistant",
"content": "\n\n你好，有什麼我可以為你效勞的嗎？"
},
"finish_reason": "stop",
"index": 0
}
]
}

usage 欄位顯示你本次消耗的 token 數量。

prompt_tokens：你問他(輸入)所消耗的 token。
completion_tokens：它回覆(輸出)所消耗的 token。
total_tokens：本次請求總共消耗多少 token，也就是 prompt_tokens 加 completion_tokens。

如果想知道一句話代表幾個 token，可以使用官方提供的 Python 套件 — tiktoken：https://github.com/openai/tiktoken
也有計算 token 相關的使用說明。

本來想說可以使用官方的 Tokenizer 網頁來計算，但它是 GPT-3 Model 的，官方有說轉換 token 的計算方式可能因不同 Model 而異，因此我實際使用其實跟 gpt-3.5-turbo 出來的結果有落差。

帳號實際的總使用量可以到帳號 Usage 頁面查看。

* 你會發現中文消耗的 token 比英文還多很多😭

choices 內就是主要我們想知道的部分 — ChatGPT 的回覆。

message > content：回覆的內容。
index：代表第幾種回覆。(如果輸入參數有設定 n 的話)
finish_reason：代表此次回覆結束的原因(狀態)，可能會有以下四種值：
- stop：完整的輸出。
- length：由於 max_tokens 參數或 token 限制，導致輸出不完整。
- content_filter：由於內容過濾器中的標誌而省略了內容。
- null：API 響應仍在進行中或未完成。

Playground 遊樂場

OpenAI 還有提供 Playground 遊樂場，可以在上面測試不同的模型、調整不同的參數，觀察其結果，方便我們去快速了解。

Playground 遊樂場：https://platform.openai.com/playground

Playground 遊樂場

對了，使用 Playground 也是會消耗你自己的 token，這點要稍微注意一下，不要以為是 ChatGPT 網頁而玩過頭了🤣

其他說明

串接 OpenAI API 發出請求可能會收到錯誤，而完整詳細的錯誤代碼說明與進一步的解決辦法，可以參考這邊官方的文章：https://platform.openai.com/docs/guides/error-codes

OpenAI API 在使用上還有一些速率限制，如果使用會比較大量的朋友可以過去了解一下：https://platform.openai.com/docs/guides/rate-limits/overview

結語

使用 OpenAI API 上非常簡單，只是有些小地方要注意一下。
在看完以上介紹，趕快實際動手做，看看有沒有什麼 idea 可以進一步放大 ChatGPT 的用途~

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
OpenAI 官方說明文件
 OpenAI 官方 API 參考
 OpenAI 帳號後台
 OpenAI 各種 Model 說明
 OpenAI 各種 Model 價格
 OpenAI Playground 遊樂場
 OpenAI API 錯誤代碼
 OpenAI API 速率限制

別讓沒有夢想的人摧毀你的夢想。

Heroku 的替代方案？ Fly.io 平台 — Python Flask 實際範例

jia@jiatool.com (Jia) — Sat, 03 Sep 2022 20:50:00 +0800

前言

上禮拜著名的佈署平台神器 Heroku 公告說將在 11 月 28 日停止免費方案，之後不付錢不給用了 QAQ，包括旗下的 Heroku Dynos、Heroku Postgres、Heroku Data for Redis 等服務的免費版本。
( 平臺即服務Heroku將在今年終止免費服務 | iThome )

Heroku 公告

所以看到有網友推薦 Fly.io ，那我就來試用看看並記錄過程吧，也順便給需要的網友參考~

* 以下流程及範例程式參考官方文檔。

Fly.io 官網

費用

既然要使用，那當然要先了解一下此平台的收費機制，免費版提供：

最多 3 個 shared-cpu-1x 256MB VM (虛擬機)
3GB 持久卷(volume)存儲
160GB 出站數據傳輸量

* 迷之音：奇怪？我記得上禮拜看的時候，他應該還有限制每月的小時數，不知道是我記錯了，還是他們想透過更多免費額度來吸引 Heroku 那邊來的使用者。

部署步驟

準備專案

我們直接下載官方在GitHub提供的範例範例專案下來，我將資料夾改名(fly_flask)方便我自己區分。

主要會需要以下四個檔案(剩下的非必要)：

fly_flask
├─ templates
│ └─ hello.html
├─ hellofly.py
├─ Procfile
└─ requirements.txt

首先 hellofly.py 是我們 flask 主要的入口 (這個簡單的範例也只有這支XD)。

而當你網址輸入根目錄(/)或後面隨便帶字串(/<name>)，它會進到 hello 這個函式，並渲染 hello.html 這個網頁(檔案位於 templates > hello.html)。

我們先在本機實際運行這個應用程式看看。
(非必要的步驟，但可以先確保整個專案是可以運作的)

首先要安裝相關套件，在此資料夾打開命令提示字元 CMD，
我還有搭配 pipenv 虛擬環境&套件管理工具，所以指令有些不同：

創建一個虛擬環境
pipenv --python 3

安裝 requirements.txt 裡面列出來的套件
pipenv install

Python虛擬環境建置&安裝套件

其實主要就是 Flask 與 gunicorn 兩個套件。
gunicorn 是用來在正式環境運行 Flask 之用，它是個 WSGI(Web Server Gateway Interface) HTTP Server，因為 Flask 內建的只適合開發測試用，看看再下一張執行它跳出的紅字就在提醒你了。

查看已安裝套件

執行 Flask

試著在瀏覽器的網址列輸入
http://127.0.0.1:5000
和
http://127.0.0.1:5000/<隨便你打>

在瀏覽器確認執行結果

OK，看來很正常，沒問題。

來源：Meme 梗圖倉庫

專案設定

來到重要的一步，要先設置一些文件，告訴 Fly 我們的應用程式開如何運行及相關設定。

當然，第一步還要要到 Fly.io 網站註冊一組帳號，完成後會看到這個畫面。

Fly.io 登入後頁面

接下來，依照你的作業系統安裝 flyctl ，這個工具就跟 Heroku 裡的 Heroku CLI 是同樣的概念。

以 Windows 為例，在 Powershell 內輸入 iwr https://fly.io/install.ps1 -useb | iex 來安裝 flyctl。

Windows 安裝 flyctl

每個應用程式(APP)都需要一個 fly.toml 檔案來告訴 Fly 系統如何部署它。

可以使用 flyctl launch 指令來自動生成。
(如果你剛剛才安裝 flyctl，那命令提示字元 CMD 可能要重開它才會生效)

flyctl 登入

啊，第一次要先登入，輸入 flyctl auth login 來自動打開網頁登入。
登入完成後再次輸入 flyctl launch。

喔喔喔~它會自動辨識我們使用 Python 創建應用程式，但我們已經有範例的 Procfile 檔案，這邊輸入 N 跳過即可。

輸入名稱後(名稱只能包含數字、小寫字母和破折號)，接下來它會讓你選擇看要架在哪個地區的伺服器上。

flyctl launch

這是官網展示的伺服器分布，看來離我們最近的就是東京或香港了。

Fly 伺服器分布城市

然後我們這個專案不需要資料庫。
完成~

flyctl launch

它就會自動產生 fly.toml 檔案，內容我們沒有特別需求就不用去改它。

另外，說明一下 Procfile 檔案用途，它是說明如何啟動我們的應用程式：

web: gunicorn hellofly:app

前面說過，我們使用 gunicorn 這個 WSGI HTTP Server 來運行，後面的 hellofly 就是我們 Flask 的進入點 hellofly.py 的檔名。

專案佈署

接下來就是重頭戲 — 要將我們的應用程式佈署到 Fly.io 平台了。

在命令提示字元 CMD 輸入指令：
flyctl deploy

等它跑一連串的東西……
有興趣也可以觀察它做了哪些步驟。

結束後，輸入指令來看看應用程式部屬的狀態：
flyctl status

flyctl deploy 完成後執行 flyctl status

在 Hostname 那行顯示了我這個應用程式的網址(fly-flask.fly.dev)，或者輸入 flyctl open 也可自動從瀏覽器中打開。

來看看部屬是否有成功吧

如果要查看 IP 可以使用：flyctl ips list

查看 IP (flyctl ips list)

Dashboard 頁面

在 Fly.io 平台後台有 Dashboard 頁面，可以依據每個 App 去看更詳細的資訊、統計、設定等等。

Dashboard 頁面

其他程式語言

除了上述 Python 範例外，官方文件還提供更多不同程式語言的文章，目前看到的有 Crystal、Deno、Elixir、Go、Node、Laravel、Rails、Redwood、Remix、NuxtJS、NextJS、Ruby、靜態網站。

甚至也可以使用 Dockerfile 部署在 Docker，所以照理來講它應該可以運行大部分的程式。

結語

實際操作過一遍後，也會發現其實也蠻容易的。

如果你想像 Heroku 一樣，程式碼推送到 GitHub 後自動佈署到 Fly.io，則可以參考這篇官方文章： Continuous Deployment with Fly and GitHub Actions

之後如果有資料要儲存，可以起個 Postgres 、 MySQL 、 EdgeDB 資料庫(DB)，這幾個官方都有寫詳細的文件說明。

題外話
Fly.io 並不是使用 Docker 去運行 container 容器，而是使用 Firecracker micro-VMs 開源的虛擬化技術，說是 Docker 的隔離性還不太夠，這方面我就不太了解，有興趣的網友可以閱讀官方說明： Docker Without Docker

參考：
Fly.io 官方網站
 Fly.io 官方文件
 Fly.io 官方教學影片—Tutorial: Deploy a non-web Python application to Fly.io

珍惜今天，珍惜現在，誰知道明天和意外，哪一個先來。

—— 《螢火蟲之墓》

「TDX 運輸資料流通服務平台」含 Python 範例程式，PTX 平台的升級版~

jia@jiatool.com (Jia) — Sun, 19 Jun 2022 21:25:00 +0800

前言

在之前文章介紹 PTX 公共運輸整合資訊流通服務平台，它整合多項公共運輸的資料服務 API，供我們串接取得相關數據。

但經網友提醒，才發現 PTX 竟然只服務到今年(2022年)底，之後會改以「TDX 運輸資訊整合流通服務平台」代替，因此本篇文章將帶大家快速了解一下 TDX 平台，以及實際使用 Python 來串接，取得相關數據資料。

PTX 平台關閉

後來我有寫一篇 Google Apps Script 範例程式可以參考哦~

TDX 運輸資訊整合流通服務平台

TDX 平台說明

按照官網的說法，TDX 整合交通部運輸數據五大平台(PTX、Traffic、GIS-T、TICP、LINK)，並使用全新的認證授權方式管控資源存取權限，提供單一服務查詢與介接入口。短時間內五大平台與 TDX 平台將持續並行運作，但未來會以 TDX 為主要的數據流通平台。
(參考： TDX 平台常見問題 )

TDX 整合五大平台 (圖片來源：TDX官網)

實際使用其實「TDX 運輸資訊整合流通服務平台」服務及概念是跟「PTX 公共運輸整合資訊流通服務平台」差不多的，只是相較於 PTX 平台，TDX 平台又多了許多種類的資料，像是 "即時路況"、"停車資訊"、"GIS圖資"、"道路編碼" 等等也把它整合進來。

TDX 平台服務範疇

TDX 平台也有個詳細各項服務查詢頁面，可依照 "服務類型"、"資料主題"、"領域類型"、"資料類型" 來做篩選。

TDX 各項服務查詢

註冊會員 & 取得API金鑰

同樣為了系統資源使用之公平性與資通訊安全考量，要先註冊會員來取得 API 金鑰( TDX 註冊頁面 )，但不知道是不是因為平台還在試營運階段的關係，審核完成並沒有寄 Email 通知，是我主動登入平台才發覺已審核通過……

註冊 TDX 平台會員

登入 TDX 平台後，前往會員中心 > (左邊) > 資料服務 > API金鑰頁面，對預設的API Key (或建立新的金鑰) 點擊 "編輯"，即可查看 "Client Id" 和 "Client Secret"，這兩組字串先記錄下來，之後 call API 時需要帶上。

API金鑰頁面

API 呼叫次數限制：

使用 API 金鑰呼叫，每個呼叫來源端 IP 呼叫次數限制為 50 次/秒 (無每日上限)。
不使用 API 金鑰呼叫，則僅能透過瀏覽器呼叫 API，且每個呼叫來源端 IP 的上限為每日 50 次。

有關 API 金鑰服務使用流程說明，請參考官方說明。

Swagger 工具

從上方導航欄開發指引 > API說明，前往 TDX 平台的 Swagger 工具，能查看有提供哪些 API，與各自的請求參數與回傳欄位說明。
詳細使用說明可以查看之前我寫的 PTX 介紹 (含 Odata 說明) 文章。

TDX 平台 Swagger 工具

右方有 Authorize 按鈕，填入 "Client Id" 與 "Client Secret" 驗證，即可使用你的 API 金鑰來呼叫。不使用 API 金鑰呼叫，有每日 50 次的上限。

API 認證授權機制

API 認證授權機制與 PTX 平台有蠻大的差異，簡單來說每次請求前要先身份認證取得 Access Token，才能使用 Access Token 來取得 TDX API 服務的數據資料。
(或使用尚未過期的 Access Token，有效期限預設為 1 天)

詳細步驟說明如下:

取得 Access Token

依照以下格式發出請求：

Request URL: https://tdx.transportdata.tw/auth/realms/TDXConnect/protocol/openid-connect/token
Request Method: POST
Request Headers:
content-type: application/x-www-form-urlencoded
data:
grant_type: client_credentials
client_id: <your_client_id>
client_secret: <your_client_secret>

data 參數說明如下:

Key	Value
`grant_type`	固定使用 `client_credentials`
`client_id`	您的 Client Id，從 TDX 會員中心取得
`client_secret`	您的 Client Secret，從 TDX 會員中心取得

回傳資料是 JSON 格式，其中包含 access_token 參數，就是我們要的 Access Token。

呼叫 TDX API 服務，取得數據資料

Request URL: TDX_API_URI
Request Method: GET
Request Headers:
authorization: Bearer <Access_Token>

* 若 Access Token 時間超過有效期限(第一步驟收到回應中的 expires_in 參數)，則再重新透過第一步驟取得即可。

* 官方的說明文件： https://github.com/tdxmotc/SampleCode

完整 Python 程式範例

因為 TDX 平台的 API 一樣使用 OData (Open Data Protocol) 標準介面，所以這邊我就不再寫一次了，還不太懂的可前往「PTX 平台」API 介紹 (含 Odata 說明) 了解。

同樣以下方條件當範例查詢：

台鐵"台北"車站即時的列車到離站看板資訊，並且只要"逆行"的列車

查詢的 URL 會長得像這樣：
https://tdx.transportdata.tw/api/basic/v2/Rail/TRA/LiveBoard/Station/1000?$filter=Direction eq 1&$format=JSON

會發現與 PTX 平台根本一樣，只差在網址前方的部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


import requests
client_id = '<your_client_id>'
client_secret = '<your_client_secret>'
class TDX():
def __init__(self, client_id, client_secret):
self.client_id = client_id
self.client_secret = client_secret
def get_token(self):
token_url = 'https://tdx.transportdata.tw/auth/realms/TDXConnect/protocol/openid-connect/token'
headers = {'content-type': 'application/x-www-form-urlencoded'}
data = {
'grant_type': 'client_credentials',
'client_id': self.client_id,
'client_secret': self.client_secret
}
response = requests.post(token_url, headers=headers, data=data)
# print(response.status_code)
# print(response.json())
return response.json()['access_token']
def get_response(self, url):
headers = {'authorization': f'Bearer {self.get_token()}'}
response = requests.get(url, headers=headers)
return response.json()
if __name__ == '__main__':
tdx = TDX(client_id, client_secret)
# url = 'https://tdx.transportdata.tw/api/basic/v2/Rail/TRA/LiveBoard/Station/1000?$filter=Direction eq 1&$format=JSON'
base_url = "https://tdx.transportdata.tw/api"
# 取得指定[車站]列車即時到離站電子看板(動態前後30分鐘的車次)
endpoint = "/basic/v2/Rail/TRA/LiveBoard/Station/1000"
filter = "Direction eq 1" # 順逆行: [0:'順行', 1:'逆行']
url = f"{base_url}{endpoint}?$filter={filter}&$format=JSON"
response = tdx.get_response(url)
print(response)

如此應該就能順利取得資料 🎉🎉🎉

其他程式範例

除了參考我上面的 Python 範例，TDX 官方有提供 JavaScript 與 C# 程式語言的範例程式碼，需要的可前往參考 ( GitHub )。

我有寫一篇 Google Apps Script 範例程式可以參考。

也感謝熱心網友 meebox，提供 "適用在嵌入式系統的 MicroPython 環境、token 有效期判斷" 的版本：
https://github.com/codemee/tdx

結語

這次快速(?)帶大家了解「TDX 運輸資料流通服務平台」，看起來就是 PTX 平台的升級版，加入更多不同服務的資料。
如果你之前已經用 PTX 做些作品出來，不妨試著將其改串接至 TDX，畢竟可能明年 PTX 平台就無法使用了。

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
TDX 運輸資料流通服務平台 | 官網
 TDX API 說明 | Swagger 文件工具
 TDX 官方介接說明與範例程式碼 | GitHub
TDX 平台常見問題 | 官網

你不可能有先見之明，只能有後見之明，
因此，你必須相信，這些小事一定會和你的未來產生關聯。

—— 史蒂夫·賈伯斯

[Python爬蟲實例] 591 租屋網 - 搜尋房屋與房屋詳情

jia@jiatool.com (Jia) — Sat, 04 Jun 2022 20:55:00 +0800

前言

之前某天在社團看到網友詢問 591 租屋網的網路爬蟲，因此才有這篇文章的誕生，距離 Python網路爬蟲實例系列上一篇文章已經隔了半年了呢 (好久~

這次要來分別說明 591 租屋網的 "搜尋房屋" 與 "取得房屋詳情" 兩個請求，以及如何發出請求、取得回傳數據資料。

經網友提醒網站有改版，這篇文章的方法已過時，我雖然有再嘗試找出發請求的網址，但發現回傳資料有加密過的，要解開的話還要從它的 JS 程式中尋找 KEY 值，因為太麻煩就沒繼續研究了。

不過後來我還有寫一篇 591 房屋交易「新建案」的搜尋與房屋詳情，有需要的讀者也可以過去逛逛：[Python爬蟲實例] 591 房屋交易 -「新建案」搜尋與房屋詳情

感謝 FB 網友補充 591 反爬蟲機制：https://www.threads.com/@cjs.shawn/post/DPJil0fga33

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

安裝

1
2


pip install requests
pip install beautifulsoup4

搜尋房屋

首先到「 591 租屋網」的搜尋頁面，我們想可以給不同篩選條件，並取得底下結果的房屋資訊。

搜尋房屋結果

請求路徑與參數

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中找找看哪個是搜尋房屋結果的請求。

稍微比對後，即可確定是 https://rent.591.com.tw/home/search/rsList 這個請求。

rsList 請求

但透過 Python 的 requests 直接發送 https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&region=3 請求，卻會收到失敗的訊息。
HTTP 狀態碼 (HTTP Status Code) 為 419，網頁內容顯示 "The page has expired due to inactivity."，推測可能是我們缺少哪些必要參數。

HTTP 狀態碼 419

經過我的測試，發現它需要代上 Cookie 與 X-CSRF-TOKEN 這兩個必要參數，才能夠順利取得資料。

X-CSRF-TOKEN 參數

可以直接在開發人員工具 > Network 搜尋(Ctrl+F)來尋找這個值是從何來。

搜尋 X-CSRF-TOKEN 參數

在 https://rent.591.com.tw/ 的 <meta name="csrf-token"> 裡能找到此字串。
另外 Cookie 也是請求此網址後可取得。

因此在我們實際要搜尋房屋資料前，要先請求 https://rent.591.com.tw/ 將 Cookie 與 X-CSRF-TOKEN 這兩個參數字串準備好。

另外，
我們可以透過帶入不同的搜尋參數值，來達到對結果做不同的篩選。

篩選條件參數

以下我將其全部羅列出來，但第一項 "位置" 有太多種類，就不一一呈現，可以自己選擇後再從 開發人員工具 查看。

* 以下某些選項在網頁上是可以多選的，則參數的數值用逗號 , 隔開即可。
* 如 multiArea=10_20,20_30 坪數 10-20坪和 20-30坪。

房屋類型

類型	kind:
不限	0
整層住家	1
獨立套房	2
分租套房	3
雅房	4
車位	8
其他	24

租金

租金	multiPrice:
5000元以下	0_5000
5000-10000元	5000_10000
10000-20000元	10000_20000
20000-30000元	20000_30000
30000-40000元	30000_40000
40000元以上	40000_

* 如果要自訂租金範圍，改用 rentprice 參數(如 "3000~6000元" 要用 rentprice=3000,6000)。

格局

格局	multiRoom:
1房	1
2房	2
3房	3
4房以上	4

特色

特色	other:
新上架	newPost
近捷運	near_subway
可養寵物	pet
可開伙	cook
有車位	cartplace
有電梯	lift
有陽台	balcony_1
可短期租賃	lease

而以下選項在網頁中需要點擊展開，觀察它 API 再加入以下選項時，還多附加 showMore=1 參數，但實測貌似沒有影響(？)，但建議還是加上比較保險。

型態

型態	shape:
公寓	1
電梯大樓	2
透天厝	3
別墅	4

坪數

坪數	multiArea:
10坪以下	0_10
10-20坪	10_20
20-30坪	20_30
30-40坪	30_40
40-50坪	40_50
50坪以上	50_

* 如果要自訂坪數範圍，改用 area 參數(如 "20~50坪" 要用 area=20,50)。

樓層

樓層	multiFloor:
1層	0_1
2-6層	2_6
6-12層	6_12
12層以上	12_

設備

設備	option:
有冷氣	cold
有洗衣機	washer
有冰箱	icebox
有熱水器	hotwater
有天然瓦斯	naturalgas
有網路	broadband
床	bed

須知

須知	multiNotice:
男女皆可	all_sex
限男生	boy
限女生	girl
排除頂樓加蓋	not_cover

* 要注意，不同 "類型" 的房屋，可附加的篩選條件有些不同，可以實際在網頁先點選嘗試。

排序

還有可通過帶入不同的排序參數，來對搜尋結果房屋作排序。

排序依據	order:
發佈時間	posttime
租金	money
坪數	area

排序順序	orderType:
由小到大	asc
由大到小	desc

換頁

而一次請求只會傳回 30 筆資料，就等同於網頁顯示"一頁"的資料，我們可以試著在瀏覽器切換不同頁數，觀察請求的網址變化：

第 1 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&
第 2 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=30&totalRows=11227
第 3 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=60&totalRows=11227
第 10 頁
https://rent.591.com.tw/home/search/rsList?is_format_data=1&is_new_list=1&type=1&firstRow=270&totalRows=11227

最後的 totalRows 是代表此條件的搜尋結果總筆數，但經過我的嘗試，貌似有沒有帶此參數，並不影響結果。

重點是在 firstRow 參數，代表要從第幾筆資料開始取得，這跟我們以前在其他文章提過的 offset 概念類似。
(可參考我之前整理的 (圖解) 網路爬蟲 API 常見的 3 種「翻頁」方式文章)

firstRow=0 -> 代表第 1 頁；
firstRow=30 -> 代表第 2 頁；
firstRow=60 -> 代表第 3 頁；

再補充一點，在以 "鄉鎮" 為條件搜尋時，需要在 cookie 內加入一個參數，否則搜尋出來會沒有結果。
'urlJumpIp', '17', domain='.591.com.tw', path='/'

這是經網友留言提問，另一位熱心網由找到解答並回覆，我稍微調整一下寫法，使其加入範例程式碼內。

回傳資料

回傳資料會有此條件搜尋出來的房屋總筆數(records)，以及房屋基本資訊(data > data)，而房屋基本資訊會有像是 "標題"、"價格"、"圖片"、"房屋類型"、"樓層"、"地區"、"標籤"……等等，大致上就是你在網頁可以看到的那些資訊。

回覆資料範例： house591_search.json (搜尋房屋)

範例程式

使用 Python 撰寫 "搜尋房屋" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


 def search(self, filter_params=None, sort_params=None, want_page=1):
""" 搜尋房屋 """
total_count = 0
house_list = []
page = 0
# 紀錄 Cookie 取得 X-CSRF-TOKEN
s = requests.Session()
url = 'https://rent.591.com.tw/'
r = s.get(url, headers=self.headers)
soup = BeautifulSoup(r.text, 'html.parser')
token_item = soup.select_one('meta[name="csrf-token"]')
headers = self.headers.copy()
headers['X-CSRF-TOKEN'] = token_item.get('content')
# 搜尋房屋
url = 'https://rent.591.com.tw/home/search/rsList'
params = 'is_format_data=1&is_new_list=1&type=1'
if filter_params:
# 加上篩選參數，要先轉換為 URL 參數字串格式
params += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
else:
params += '&region=1&kind=0'
# 在 cookie 設定地區縣市，避免某些條件無法取得資料
s.cookies.set('urlJumpIp', filter_params.get('region', '1') if filter_params else '1', domain='.591.com.tw')
# 排序參數
if sort_params:
params += ''.join([f'&{key}={value}' for key, value, in sort_params.items()])
while page < want_page:
params += f'&firstRow={page*30}'
r = s.get(url, params=params, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
break
page += 1
data = r.json()
total_count = data['records']
house_list.extend(data['data']['data'])
# 隨機 delay 一段時間
time.sleep(random.uniform(2, 5))
return total_count, house_list

取得房屋詳情

"取得房屋詳情" 是指從搜尋頁面選一間房屋後點進來，所呈現關於此房屋的詳細資訊。

房屋詳細資訊

請求路徑與參數

一樣打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network 分頁，在 "Fetch/XHR" 分類中就可以找到是哪個請求。

經過比對，確認是 https://bff.591.com.tw/v1/house/rent/detail?id=1254xxxx 請求，網址後方也可以發現是代表此房屋的 ID，也等同於目前瀏覽器網址後方的數字。

detail 請求

不過相比 "搜尋房屋" API 所需要的參數，"取得房屋詳情" 還多了 device、deviceid 兩個必備參數，

device 就固定 pc 即可，而 deviceid 我們透過搜尋(Ctrl+F)發現，它隱藏在 "cookie" 之中，所以之後程式要將其字串抓出來代上。

deviceid 參數

回傳資料

回傳資料大致上也是與網頁上的一樣，關於此房屋的詳細資訊，你可以挑出需要的欄位來儲存，或進一步判斷執行其他動作。

回覆資料範例： house591_detail.json (房屋詳情)

範例程式

使用 Python 撰寫 "搜尋房屋" 的寫法如下，完整程式碼請至文末參考：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


 def get_house_detail(self, house_id):
""" 房屋詳情 """
# 紀錄 Cookie 取得 X-CSRF-TOKEN, deviceid
s = requests.Session()
url = f'https://rent.591.com.tw/home/{house_id}'
r = s.get(url, headers=self.headers)
soup = BeautifulSoup(r.text, 'html.parser')
token_item = soup.select_one('meta[name="csrf-token"]')
headers = self.headers.copy()
headers['X-CSRF-TOKEN'] = token_item.get('content')
headers['deviceid'] = s.cookies.get_dict()['T591_TOKEN']
# headers['token'] = s.cookies.get_dict()['PHPSESSID']
headers['device'] = 'pc'
url = f'https://bff.591.com.tw/v1/house/rent/detail?id={house_id}'
r = s.get(url, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return
house_detail = r.json()['data']
return house_detail

完整程式碼

我將以上兩種請求寫到 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： house591_spider.py | GitHub

延伸練習

在上面教學與範例中，我們都是搜尋 "所有物件" 的房屋，那如果我想搜尋 "優選好屋" 該如何帶 API 參數呢？
你能試著找出全台最貴的租屋要多少租金嗎？並且是在哪個縣市鄉鎮？
台中市的房屋中 "整層住家"、"獨立套房"、"分租套房"、"雅房" 之間的數量與比例是多少呢？會是分租套房最多嗎？

結語

最後也要提醒，不要太頻繁地發出請求，這對伺服器來說算是種攻擊，也容易被擋，建議請求之間要加入 delay。

如果有找到適合或有趣的題材，會繼續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言，或追蹤 FB 粉專『 IT空間』~ 🔔

要成就一件大事業，必須從小事做起。

—— 列寧

「PTX 公共運輸資訊平台」Python 範例程式

jia@jiatool.com (Jia) — Sat, 30 Apr 2022 20:55:00 +0800

因部內目前已收攏資料於TDX運輸資訊整合流通服務平台，本平台預計將於2022/12/1落日，屆時您的會員金鑰將於2022/12/1起停用。
為避免您短時間內需移轉之困擾，即日起本平台不再受理審核會員註冊。
建議您依據身分類型至TDX申請會員，非常感謝您的支持。

前言

在上一篇文章中，我們介紹了 PTX 公共運輸整合資訊流通服務平台，它整合公車、臺鐵、高鐵、捷運等多項公共運輸的資料服務 API，以及說明 OData（Open Data Protocol）標準介面格式如何使用。

本篇文章將帶你實際使用 Python 來串接 PTX 平台，取得這些相關數據資料 💾。

關於 PTX 平台我寫了三篇文章來介紹與程式教學：

PTX 公共運輸整合資訊流通服務平台

後來發現 PTX 竟然只服務到今年(2022年)底，之後會改以 TDX 運輸資訊整合流通服務平台，因此又特別寫一篇文章帶大家快速了解一下 TDX 平台：
「TDX 運輸資料流通服務平臺」含 Python 範例程式，PTX 平台的升級版~

API 認證授權機制

目前 PTX 平台採用 HMAC 認證授權機制，在送出請求時 headers 需代上規定的資料，它會依照 HTTP header 資訊來判別用戶是否有授權身份 🔓。

官方說明如下：

HMAC 機制：以 HMAC 簽章驗證使用者的身份，用戶在請求 API 服務時，將 APP Key 與當下時間(格式請使用GMT時間) 做 HMAC-SHA1 運算後轉成 Base64 格式，帶入 signature 屬性欄位，服務器端將驗證用戶請求時的 header 欄位，驗證使用者的身份及請求服務的時效性。

HMAC Signature 簽章時效性：於 MOTC Helper 該網頁測試時，請在最上方輸入 API Key 與 API ID (請再次確認是否有把 APP Key 跟 ID 填寫正確，若欄位資訊相反會無法執行)。點選 Explore ，每次請求下方 API 時，會於 header 帶入 Authorization 及 x-date ，依照請求當下的時間 & API Key 製作簽章。

參數如下：

Key	Value
`Authorization`	`hmac username="APP ID", algorithm="hmac-sha1", headers="x-date", signature="Base64(HMAC-SHA1("x-date: " + x-date , APP Key))"`
`x-date`	`Wed, 19 Apr 2017 08:37:50 GMT`

※ 建議於每次請求 API 服務當下建立新的 signature，簽章時效性為 5 分鐘。

如果 HMAC 認證有問題、未符合身份驗證，它會回覆下列訊息：

HTTP Status Code 403：
- (1) HMAC signature cannot be verified, a valid date or x-date header is required for HMAC Authentication （x-date 的間隔時間超過定義的 clock skew 秒數）
- (2) HMAC signature does not match （日期格式正確，但簽章演算法有問題）
HTTP Status Code 401：
- (1) Unauthorized （未帶簽章，未經授權）

依照上方說明，使用 Python 把這個 HMAC 編碼寫出來，這邊我也是參考範例來做修改的。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


class Auth():
def __init__(self, app_id, app_key):
self.app_id = app_id
self.app_key = app_key
def get_auth_header(self):
xdate = datetime.utcnow().strftime("%a, %d %b %Y %H:%M:%S GMT")
hashed = hmac.new(self.app_key.encode('utf8'), (f'x-date: {xdate}').encode('utf8'), sha1)
signature = base64.b64encode(hashed.digest()).decode()
authorization = (f'hmac username="{self.app_id}", algorithm="hmac-sha1"' +
f', headers="x-date", signature="{signature}"')
return {
'Authorization': authorization,
'x-date': xdate,
'Accept-Encoding': 'gzip'
}

Python 程式範例

我們來實際舉個例子，像是我想抓：

台鐵"台北"車站即時的列車到離站看板資訊，並且只要"逆行"的列車

先進到 PTX 平台的 Swagger 文件，找到 " 取得指定[車站]列車即時到離站電子看板 "：

列車即時到離站電子看板

填入 "台北車站" 代碼 1000 ( 車站代碼表 )，並依照下方 Responses 欄位說明 "Direction" 代表順逆行(0:'順行', 1:'逆行')，在 $filter 填入 Direction eq 1，指定 JSON 格式，最後點擊藍色 "Execute" 按鈕，看看回傳結果是不是我們想要的~

(關於這些 Odata 的寫法，我在上一篇文章有說明，忘記的可以回去看看)

它顯示的 "Request URL" 長得像這樣：
https://ptx.transportdata.tw/MOTC/v2/Rail/TRA/LiveBoard/Station/1000?%24filter=Direction%20eq%201&%24format=JSON

這是以下這句經過 URL 編碼後的結果：
(程式中 requests 會自動幫我們編碼，因此輸入底下這句也可以)
https://ptx.transportdata.tw/MOTC/v2/Rail/TRA/LiveBoard/Station/1000?$filter=Direction eq 1&$format=JSON

接下來將這些代入程式中：

1
2
3
4


auth = Auth(app_id, app_key)
url = "https://ptx.transportdata.tw/MOTC/v2/Rail/TRA/LiveBoard/Station/1000?$filter=Direction eq 1&$format=JSON"
response = requests.get(url, headers=auth.get_auth_header())
print(response.json())

如此應該就能順利取得資料 🎉🎉🎉

完整 Python 程式範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


import hmac
import base64
import requests
from datetime import datetime
from hashlib import sha1
app_id = '<YOUR APP ID>'
app_key = '<YOUR APP KEY>'
class Auth():
def __init__(self, app_id, app_key):
self.app_id = app_id
self.app_key = app_key
def get_auth_header(self):
xdate = datetime.utcnow().strftime("%a, %d %b %Y %H:%M:%S GMT")
hashed = hmac.new(self.app_key.encode('utf8'), (f'x-date: {xdate}').encode('utf8'), sha1)
signature = base64.b64encode(hashed.digest()).decode()
authorization = (f'hmac username="{self.app_id}", algorithm="hmac-sha1"' +
f', headers="x-date", signature="{signature}"')
return {
'Authorization': authorization,
'x-date': xdate,
'Accept-Encoding': 'gzip'
}
if __name__ == '__main__':
auth = Auth(app_id, app_key)
base_url = "https://ptx.transportdata.tw"
# 取得指定[車站]列車即時到離站電子看板(動態前後30分鐘的車次)
endpoint = "/MOTC/v2/Rail/TRA/LiveBoard/Station/1000"
filter = "Direction eq 1" # 順逆行: [0:'順行', 1:'逆行']
url = f"{base_url}{endpoint}?$filter={filter}&$format=JSON"
response = requests.get(url, headers=auth.get_auth_header())
print(response.json())

其他程式範例

除了參考我上面的 Python 範例，PTX 官方也提供不同程式語言的範例程式碼提供開發者下載 ( GitHub )。

平台提供
- ASP.NET
- Java
- JavaScript
網友提供
- Bourne Shell
- C# 與 .NET Standard 2.0
- Go
- Go Client SDK - Code generated by go-swagger
- Node.js
- python
- Ruby
- Swift
- PHP
- Postman

另外，在下一篇文章裡，我會分享 Google Apps Script 的範例程式，它跟一般 JavaScript 有一些些不同，Google Apps Script 中預設應該是不能使用 jQuery，還有編碼的寫法也有些不同。

結語

除了以上文章的解說，也可以看看官方的文件說明。
有針對 "航空"、"公車"、"雙鐵(台鐵/高鐵)" 資料做進一步的說明，如果有使用到此 API 服務的人，建議進入先了解。
* 不過我看此文件上次更新時間 2018/04/12，可能有些資料不是最新的。

上一篇了解 PTX 平台的說明與 OData 介面，本篇則教你如何透過 Python 程式來發出請求、獲取資料，快將你有趣的 idea 來動手做實現它吧~

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
公共運輸整合資訊流通服務平台 | 官網
 PTX 資料服務使用注意事項 | GitHub
PTX 官方範例程式碼 | GitHub

專注你喜歡的事，就能感受到那股強大的力量。

—— 戴資穎 (台灣羽球國手)

[Python爬蟲實例] 巴哈姆特動畫瘋：新手入門基礎網路爬蟲教學

jia@jiatool.com (Jia) — Sat, 11 Dec 2021 20:55:00 +0800

前言

這次文章比較面向網路爬蟲初學者，以爬取" 巴哈姆特動畫瘋 "的本季新番動畫資訊示範，從如何使用開發人員工具尋找網頁元素，到如何轉為可實際運作的程式碼，從頭到尾的流程。

來源：巴哈姆特動畫瘋

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 網路爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

教學

先說明本篇網路爬蟲目標，只針對較容易爬取的欄位來教學，分別是"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"等資料，以下瀏覽器以 Chrome 版本 96.0.4664.45 示範。

來到 " 巴哈姆特動畫瘋 " 網頁後打開"開發人員工具" (F12 或 Ctrl + Shift + i)。

巴哈姆特動畫瘋網頁

網頁元素架構

想要知道網頁上的資料在哪個元素中，有個好用的選擇工具，位於開發人員工具地左上角。
點它一下後，可以直接在網頁上點擊想要查看的區塊，Elements(元素)視窗裡的程式碼會自動跳到相應的地方。

開發人員工具內的選擇工具

但在找元素的定位之前，我們先來觀察元素的架構，這也會影響到後續程式碼的流程。

搭配以上說的"選擇工具"(Ctrl + Shift + C)，可以看出這部分的架構如下圖：

網頁元素架構

外圈會有一個 <div class="newanime-block"> 開頭，一直到下面以 </div> 結尾 (因為太長，所以圖片沒有擷取到結尾)，圖片中我以黃色方框表示。

而裡面每一部動畫的元素我以綠色方框表示，一個黃色框底下包含許多綠色框(動畫資訊)，在右邊開發人員工具中我以灰色框所圈起來的，每一個都對應著左邊網頁中一部動畫資訊。

發出請求

好，來寫網路爬蟲程式吧~💪
從請求網頁開始。

首先引入 requests 套件，來對"巴哈姆特動畫瘋"網址(https://ani.gamer.com.tw/)發出 GET 請求，再從它回傳的狀態碼(HTTP Status Code)來判斷請求是否成功。

* 我們網路爬蟲最常使用的 HTTP 請求方法為 "GET" 和 "POST"，兩者介紹與差異可以參考別人撰寫的文章： http Post 和 Get 差異 | Medium

1
2
3
4
5
6
7


import requests
r = requests.get('https://ani.gamer.com.tw/')
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

執行後……ㄟㄟ？！
為什麼請求失敗，回傳的狀態碼是"503"，不過使用瀏覽器網頁卻是正常顯示的。
(各個狀態所代表的意思： HTTP狀態碼 | 維基百科 )

很有可能是我們送出的請求中缺少某些要素(資料)，以至於動畫瘋的伺服器不回傳資料給我們，
最一開始，可以先加上 Headers 內的 "User-Agent" 試試：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

果然，這樣再執行程式碼就請求成功了~

你可能會想問「User-Agent」是什麼？從哪來的？

「User-Agent」(使用者代理)簡單來說是要"自我介紹"，說明自己是誰、版本號多少、使用什麼作業系統這類資訊。
例如我這邊是使用 Chrome 瀏覽器、版本為 96.0.4664.45、作業系統為 Windows 10 64 位元。如果你是使用 Android 或 iOS 系統的手機，那它送出去的 User-Agent 也會有所不同。

「User-Agent」算是一個讓伺服器最簡易判斷送出請求的人是誰，是電腦瀏覽器？是手機瀏覽器？還是Google爬蟲？
不過就像我們上面程式操作的，它也很容易自己去更改。

* 要怎麼辨別使用者瀏覽者用哪種瀏覽器呢？用UserAgent是最簡單的方式喔！

那該如何取得請求的「User-Agent」？

在開發人員工具視窗裡切換到 "Network" 分頁，篩選確認是在 "All"，重整網頁(F5)，這樣它才會抓到我們送出的請求。
然後會在下方列表的最上面看到 "ani.gamer.com.tw" 的請求。

開發人員工具 > Network

點擊 "ani.gamer.com.tw" 請求後，在右邊出現的視窗中切到 "Headers" 分頁 (正常來說預設就是"Headers"分頁)。
找到在 Request Headers 底下的 "user-agent" 欄位，這個數值就是你瀏覽器發出請求時，所包含的 User-Agent。

Headers > Request Headers > user-agent

* 此圖片是後來截圖的，所以瀏覽器版本號有些不同。

解析網頁元素

我們在請求成功後，將網頁原始碼顯示出來看看：

1

print(r.text)

接下來要從網頁原始碼解析出我們要的資料，雖然你可以直接從網頁原始碼"字串"切出想要的資料，但光想就知道很麻煩。

網頁原始碼 HTML 是有一定的規則，依循此規則架構可以容易地取出資料。我們將藉助 BeautifulSoup 套件，解析 HTML 文件，方便我們提取資料。

一樣要先將套件引入：

1

from bs4 import BeautifulSoup

* BeautifulSoup 基礎常用說明參考： Python 使用 Beautiful Soup 抓取與解析網頁資料，開發網路爬蟲教學

將剛剛取得的網頁原始碼傳入，並選擇使用內建的 html.parser 解析器：

1

soup = BeautifulSoup(r.text, 'html.parser')

要抓取元素，需要給程式依據，讓它可以正確定位到你想抓取哪個元素。

那照上面的 "網頁元素架構" 圖片所示，動畫資料的元素都被包在 <div class="newanime-block"> 之中，是不是只要抓 class 等於 newanime-block 就完事了呢？

可惜這樣會有個小問題，在此網頁中 class 等於 newanime-block 的元素有兩個啊 😕

怎麼知道的？！
在 "開發人員工具" 的 "Elements" 分頁中開啟搜尋框(鍵盤 Ctrl + F)，並輸入 .newanime-block (注意前面有小數點)。
.newanime-block 等於告訴它我要尋找 class 等於 newanime-block 的元素，可以看見它找到兩個符合此條件的元素。

* 你可能還不清楚如何寫 CSS Selector (選擇器)，之前我整理一篇常用的幾種寫法，可以搭配練習：
常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

"Elements" 分頁中搜尋

原來這兩個分別是代表 "本季新番" 和 "週期表" 的動畫。

從 <div class="newanime-block"> 再往上看一層，會發覺兩者有不同之處(用來定位元素)，一個 class 有 timeline-ver，另一個是 normal-ver，因此我們可以改用 .timeline-ver > .newanime-block 來更準確定位，也就是跟程式說 "我要抓取 class 有包含 timeline-ver 元素底下一層 class 有包含 newanime-block 的元素"。

* class 不一定要全部都寫，主要找出它代表性的、盡量不要跟別的元素重複的 class 即可。

網頁元素架構

程式中以這樣撰寫：

1

newanime_item = soup.select_one('.timeline-ver > .newanime-block')

再往下一層可抓到每一個動畫資料元素，我就以 newanime-date-area 這個 class 來定位。
每個綠框代表一組動畫的元素。

動畫資料元素

這邊程式碼有一些些不同，剛剛是只要抓一個元素，所以使用 select_one()，但這邊是要抓全部的動畫元素，有很多個就必須使用 select()，它會以"陣列"的形式回傳：

1

anime_items = newanime_item.select('.newanime-date-area')

到目前為止，程式部分如下。
為了察看結果，我先暫時用 len() 來看共抓到幾組動畫元素。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
print(len(anime_items))
else:
print(f'請求失敗：{r.status_code}')

終於要進入抓取 "動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結" 的時候了🎉

一樣使用"選擇工具"(Ctrl + Shift + C)輔助，觀察動畫資料元素的架構：

動畫資料元素

一樣像前面說明，先透過 CSS Selector (選擇器)抓到元素，再來可以使用 text 提取文字，最後的 strip() 只是將字串的前後空格和換行去除。

1
2
3
4
5
6
7
8
9


# 取得元素
anime_name = anime_item.select_one('.anime-name > p')
print(anime_name)
# <p class="">無職轉生，到了異世界就拿出真本事</p>
# 取得元素裡的文字
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
# 無職轉生，到了異世界就拿出真本事

而 "觀看連結" 稍微特別一點，連結並不是以文字形式被包在元素之間，而是在元素裡的 href 屬性，這時要透過 get('href') 方法來取得。

而且只有網址的後半段，所以我們要再補上前半部才完整。

動畫觀看連結

1
2


anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)

到這部分的程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
# 依序針對每個動畫區塊擷取資料
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

好耶~ 快來執行看看~

怎麼發生錯誤了... OAQ...

抓取動畫元素失敗

檢查後發現，原來是最後這個"付費比例"區塊搞的鬼，它也同樣有 newanime-date-area 這個 class，一樣會被抓出來，但它沒有動畫名稱，所以才會造成後續在取得文字時發生錯誤。

付費比例區塊

沒關係，可以看見它有個獨特的 class premium-block，我們程式只要使用 :not() 將其排除即可。

1
2
3
4


# 原先寫法
anime_items = newanime_item.select('.newanime-date-area')
# 改成將"付費比例"區塊排除
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')

好了，花費九牛二虎之力(?)
網頁中"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"的資料都如期取得啦~👍

兎田ぺこら

最終程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

對了，動畫還有"日期"與"時間"資料，"時間"資料不難取得，和上方教學的方式一樣，不過"日期"在這邊就稍微麻煩點了，本篇文章屬於基礎教學，就先跳過它，但我會附在"完整程式碼"中。

完整程式碼

附上完整程式碼供參考： gamer_ani_spider.py | GitHub

延伸練習

你能試著抓取動畫的圖片網址嗎？會遇到什麼問題？最後如何解決？
除了"本季新番"這個畫面的資料，它還可以切換到"週期表"的畫面。
這邊交由你試試看，能不能藉由文章的教學，實際自己爬取資料？

結語

在上方教學範例中，使用哪些 class 來定位都不是絕對，你可以嘗試不同的組合、不同的寫法。
從實作中摸索、犯錯後尋找解答是學習程式的一個很好的方法。

我陸續都有在寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言🔖，或追蹤 FB 粉專『 IT空間』~ 🔔

我們總是在注意錯過太多，卻不注意自己擁有多少。

—— 《未聞花名》

Playwright 瀏覽器自動化工具，應用於網路爬蟲和測試

jia@jiatool.com (Jia) — Sat, 20 Nov 2021 21:00:00 +0800

前言

你還在使用 Selenium 來網路爬蟲或自動化測試嗎？或許你可以來試試另一個工具 — Playwright。

(圖片來源：Unsplash)

[小廣告] 我製作了一款可愛的「企鵝魔法師」貼圖~
歡迎下載：LINE 貼圖、Telegram 貼圖 (免費)

Playwright 套件簡介

Playwright 是微軟 Microsoft 開發的一個開源瀏覽器自動化工具，可以選擇 Chromium、Firefox、WebKit 瀏覽器，目前有 Python、JavaScript、TypeScript、.NET、Java 的 API 可供使用。

* 本篇文章以 Python 為範例，但各程式語言的 API 應該是差不多的。

	Linux	macOS	Windows
Chromium 98.0.4708.0	✅	✅	✅
WebKit 15.4	✅	✅	✅
Firefox 94.0.1	✅	✅	✅

* 此版本會持續更新，以官方文檔為主。

Playwright 第一次輸入指令就會自動下載瀏覽器，與自己使用的瀏覽器是分開的。不用像 Selenium 要手動下載，版本更新還要去更新驅動。

Playwright 在對元素(elements)操作之前，會自動等待元素準備完成(可見的、啟用的…)，不用怕元素還沒載入就執行造成錯誤，也不需要自己加等待。

就像省去了 Selenium 內的 WebDriverWait：

1
2
3


WebDriverWait(self.driver, timeout).until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#search'))
)

* 詳細可以參考官方文檔：https://playwright.dev/python/docs/actionability

* Playwright 支援同步和異步(搭配 asyncio)，本篇文章皆使用同步來示範。
* Playwright 甚至能自動產生程式碼，這部分可以參考大數學堂的影片教學： [爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

教學

先來試試官方文檔內的基本程式：

1
2
3
4
5
6
7
8


from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page()
page.goto("http://playwright.dev")
print(page.title())
browser.close()

首先創造一個瀏覽器實例，開新分頁，再來前往 http://playwright.dev 網頁，並取得網頁的 title，最後關閉瀏覽器。

它預設是以「無頭模式」啟動，但為了在寫程式時觀察它運作，我們可以先將其關閉：

1

browser = p.chromium.launch(headless=False)

常見的基本操作

以下是幾種常見的網頁基本操作：

1
2
3
4
5
6
7
8


# 點擊
page.click('div')
# 輸入文字
page.fill('#search', 'query')
# 複選框和單選按鈕
page.check('#agree')
# 下拉選擇欄
page.select_option('select#colors', 'blue')

更多進階用法與參數可參考官方文檔：

滑鼠 Mouse：https://playwright.dev/python/docs/api/class-mouse
鍵盤 Keyboard：https://playwright.dev/python/docs/api/class-keyboard

元素定位

基本操作或取得元素皆使用 CSS Selector 元素定位。

關於 CSS Selector (選擇器)的寫法可以參考我以前整理的文章：
常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

Playwright 除了有一般的 Selector 用法以外，還有個比較特別且好用的 "文字(text)" 選擇方式：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 取得包含此段文字的元素 (不分大小寫)
page.click('text=Log in')
# 取得與此段文字一模一樣的元素 (注意裡面還有引號)
page.click('text="Log in"')
# 如果要與 CSS Selector 結合，要使用以下方式
# 概念同等於上方的 'text=Log in'，包含此段文字 (不分大小寫)
page.click('button:text("Log in")')
# 概念同等於上方的 'text="Log in"'，文字要完全一樣
page.click('button:text-is("Log in")')
# 使用正則表達式
page.click('button:text-matches("[+-]?\\d+")')
# 還有一種是匹配內部包含文字的任何元素，可能在子元素或後代元素中
# 例如底下會匹配 <article><div>Playwright</div></article>。
element = page.wait_for_selector('article:has-text("Playwright")')

在文字匹配會對空格進行正規化，例如將多個空格轉換為一個，將換行符變成空格並忽略開頭和結尾的空格。

因為這部分有多種狀況、較複雜，我只是初步嘗試，如有錯誤歡迎底下留言告知。
參考：https://playwright.dev/python/docs/selectors/#text-selector

以及一些其他的選擇方式：

1
2
3
4


# 返回 <article> 具有 <div class=promo> 內部元素的文本內容
page.text_content("article:has(div.promo)")
# 僅點擊可見 class=button 的元素
page.click(".button:visible")

選取元素

如果要取得元素，可以使用：

1
2
3
4


# 取得元素
page.query_selector('#promo')
# 取得元素，加入等待
page.wait_for_selector('#promo')

獲取元素的文字及屬性：

1
2
3
4


# 取得元素的文字
page.query_selector('h3').text_content()
# 取得元素的屬性(attribute)
page.query_selector('section').get_attribute('class')

瀏覽器參數

在教學一開始說到無頭模式，在 launch 加入 headless=False，它還有其他參數可以設定。
詳見：https://playwright.dev/python/docs/api/class-browsertype#browser-type-launch

像是傳遞給瀏覽器實例的附加參數，想讓它靜音就使用：

1
2
3


browser = playwright.chromium.launch(
args=["--mute-audio"] # 靜音
)

更多 Chromium flags 的列表：https://peter.sh/experiments/chromium-command-line-switches/

Cookies 和 Local Storage

儲存與載入 Cookies 和 Local Storage，可以用作保存登入狀態。

1
2
3
4
5


# 將存儲狀態保存到文件中
storage = context.storage_state(path="state.json")
# 使用保存的存儲狀態創建新上下文(context)
context = browser.new_context(storage_state="state.json")

結語

它還有個 GUI 工具 Trace Viewer，可以在程式執行後幫助探索操作過程，感覺非常的厲害，但這部分我就還沒嘗試過，有興趣可以參考：https://playwright.dev/python/docs/trace-viewer

Playwright 相比 Selenium 來說是比較新出來的工具(不過都已經是正式版了)，許多功能更好用，如果你原先是使用 Selenium 來寫網路爬蟲或做自動化測試，或許可以試試 Playwright，搞不好你就會愛上囉。😆

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
Playwright 官方網站
 Playwright 文檔
 Playwright API
Playwright for Python GitHub

對於自己想做的事，就放手去挑戰吧！不是因為覺得能成功就去做，而是發自內心的想要嘗試看看，這樣不管結果如何，自己都不會後悔。

—— 鈴木一朗 (棒球選手)

FinMind API 取得"台股、匯率、黃金"等金融相關資料

jia@jiatool.com (Jia) — Sun, 17 Oct 2021 20:40:00 +0800

前言

許多人接觸到 Python，開始學習" 網路爬蟲 "、"資料分析"、"機器學習"，有一部分的人是因為「股票」。但要自己爬取資料確實有點麻煩，而且不同網站可能還有反爬蟲的機制，這對於想要資料來做資料分析、預測股價的人來說，可能就是一個卡在前面的阻礙。

之前我發現一個 FinMind API，主要以台股為主，提供很多項的金融開源數據，方便讓我們來使用。

本篇文章會挑幾項功能來說明，以及 Python 範例程式碼。

(圖片來源：Unsplash)

FinMind 套件簡介

FinMind 提供以台股為主，超過 50 種金融相關數據資料，除了 API 可以取得資料、回測、繪製 k 線圖、儀表板，也提供網頁版的操作介面、策略分析與資料集下載功能。

因為是透過 API 串接，不限制程式，你想要使用 Python、JavaScript、PHP、C++、Java、Ruby……都可，或直接透過它的官網下載資料，對於想要做大數據、資料分析、預測股價的人來說，應該算是一個很方便的工具。

從官方 API 文檔可以看到大概有以下資料：

技術面 : 台股股價 daily、歷史 tick 逐筆交易、PER、PBR、每5秒委託成交統計、台股加權指數。
基本面 : 綜合損益表、現金流量表、資產負債表、股利政策表、除權除息結果表、月營收。
籌碼面 : 外資持股、股權分散表、融資融券、三大法人買賣、借券成交明細。
消息面 : 台股相關新聞。
衍生性商品 : 期貨、選擇權 daily data、交易明細、期貨三大法人買賣，期貨各卷商每日交易、選擇權各卷商每日交易。
國際市場 : 美股股價 daily、minute、美國債券殖利率、貨幣發行量(美國)、黃金價格、原油價格、G8 央行利率、G8 匯率、

ℹ 但比較可惜的一點是目前「不提供即時資料」，看文檔的說明是說由於資料源問題，移除即時報價：https://finmind.github.io/WhatIsNew/

教學

FinMind API 文檔內都有簡單的程式碼範例，這邊我就挑其中的五種來示範說明。

程式一開始，先將需要的套件匯入，pandas 不一定要有(這裡只是拿來方便看資料)：

1
2


import requests
import pandas as pd

股價日成交資訊

這項資料就是臺灣證交所的個股日成交資訊

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


url = "https://api.finmindtrade.com/api/v4/data"
parameter = {
"dataset": "TaiwanStockPrice",
"data_id": "2330",
"start_date": "2021-09-13",
"end_date": "2021-09-17"
}
r = requests.get(url, params=parameter)
data = r.json()
stock_deal_info = data["data"]
print(pd.DataFrame(stock_deal_info))

輸出結果如下：

股價日成交資訊輸出結果

欄位依序代表：“日期”、“股票代碼”、“成交股數”、“成交金額”、“開盤價”、“最高價”、“最低價”、“收盤價”、“漲跌價差”、“成交筆數”

股票當日逐筆成交資訊

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


url = "https://api.finmindtrade.com/api/v4/data"
parameter = {
"dataset": "TaiwanStockPriceTick",
"data_id": "2330",
"start_date": "2021-09-27"
}
r = requests.get(url, params=parameter)
data = r.json()
stock_history_info = data["data"]
print(pd.DataFrame(stock_history_info).tail()) # 顯示最後五筆資料

輸出結果如下：

股票當日逐筆成交資訊輸出結果

欄位依序代表：“日期”、“股票代碼”、“成交金額”、“成交量”、“時間”、“漲跌(1:漲；2跌)”

股票綜合損益表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


url = "https://api.finmindtrade.com/api/v4/data"
parameter = {
"dataset": "TaiwanStockFinancialStatements",
"data_id": "2330",
"start_date": "2021-06-01",
"end_date": "2021-09-01" # 不加則抓到現在日期
}
r = requests.get(url, params=parameter)
data = r.json()
stock_income_statement = data["data"]
print(pd.DataFrame(stock_income_statement))

輸出結果如下：

股票綜合損益表輸出結果

股利政策表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


url = "https://api.finmindtrade.com/api/v4/data"
parameter = {
"dataset": "TaiwanStockDividend",
"data_id": "2330",
"start_date": "2021-01-01"
}
r = requests.get(url, params=parameter)
data = r.json()
stock_dividend = data["data"]
print(pd.DataFrame(stock_dividend).head()) # 顯示前五筆資料

輸出結果如下：

股利政策表輸出結果

外幣對台幣匯率

共有 19 種幣別與新臺幣(TWD)的匯率，資料來源為台灣銀行，應該就是此網頁。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


url = "https://api.finmindtrade.com/api/v4/data"
parameter = {
"dataset": "TaiwanExchangeRate",
"data_id": "USD",
"start_date": "2021-01-01"
}
r = requests.get(url, params=parameter)
data = r.json()
exchange_rate = data["data"]
print(pd.DataFrame(exchange_rate).tail()) # 顯示最後五筆資料

輸出結果如下：

外幣對台幣匯率輸出結果

欄位依序代表：“日期”、“貨幣”、“現金匯率>銀行買入”、“現金匯率>銀行賣出”、“即期匯率>銀行買入”、“即期匯率>銀行賣出”

範例程式碼

我將以上功能包裝成 class 的完整範例程式碼，附上給需要的人參考。

GitHub Gist： stock_finmind.py

流量限制 & 會員機制

FinMind API 有流量限制，每小時最多 300 次請求，如果註冊成為會員(免費)，則提升至 600 次 / 小時。

另外還有兩種付款的會員，除了差在每小時的請求限制外，某些功能只有付費會員能使用，例如一次拿特定日期中全部股票的資料。

更多詳細會員機制的 "贊助方案" 參考官網說明：https://finmindtrade.com/analysis/#/Sponsor/sponsor。

結語

以上是直接對 API 請求，如果你是使用 Python，還有官方包裝好的套件( GitHub )，還幫你寫好幾項量化工具 (回測、K 線、客製化看盤儀表板) 可方便使用。

更多其他資料或範例，參考 FinMind API 官方文檔。

除了本篇介紹的 FinMind，還有其他許多股票相關的套件可以嘗試：

twstock https://github.com/mlouielu/twstock
yahooquery https://github.com/dpguthrie/yahooquery
pandas-datareader https://github.com/pydata/pandas-datareader

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
FinMind 官方網站
 FinMind API 文檔
 FinMind GitHub

People at work, money at work.
人可以工作，錢也可以幹活。

[Python爬蟲實例] 104人力銀行：抓取更詳細的職缺資訊，搶先別人一步收到通知！

jia@jiatool.com (Jia) — Sat, 07 Aug 2021 20:30:00 +0800

前言

最近這兩年受到疫情的衝擊，不少人遭到公司裁員，接下來可能就該思考尋找下份工作了。

台灣老字號、最大的人力銀行— 104人力銀行，我們來看看其網頁是如何向後端請求職缺資料，實際用 Python 來在 104 上搜尋職缺、查看職缺詳細資料。

來源：Unsplash

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋職缺

當在104人力銀行網頁上方，輸入職缺的篩選條件後搜尋，下方會顯示出搜尋結果，中間也有許多篩選條件、排序方式供我們使用。

我們來找找"python"在"台北市"內現在有哪些職缺吧~

搜尋職缺 104人力銀行

請求路徑與參數

跟以前的步驟一樣，一開始先打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，找找網頁有沒有透過動態載入的方式請求職缺資料。

此時重新整理(F5)網頁，好像沒看見有關職缺資料的請求。
先別放棄，可以往下滾頁面或更改篩選條件，有了！發現到一個 list 開頭的請求，包含著職缺相關資料。

* 一開始點搜尋、網頁第一次載入卻沒有職缺的請求，應該是因為它已經崁入在網頁內一起傳送過來顯示了。

搜尋職缺請求 104人力銀行

切回到 Headers 查看請求的方式與參數。

"搜尋職缺"請求的方式與參數

並且在用程式測試此請求時，發現還要帶上 Headers 內的 Referer 參數，才可正常取得資料。

將其整理出來，相關參數如下：

Request URL：https://www.104.com.tw/jobs/search/list
Request Methon：GET
Headers Referer：https://www.104.com.tw/jobs/search/

Query String Parameters：

ro: 0
kwop: 7
keyword: python
expansionType: area,spec,com,job,wf,wktm
area: 6001001000
order: 1
asc: 0
page: 1
mode: s
jobsource: 2018indexpoc

請求網址後方代的參數有很多，代表我們對職缺的篩選條件與排序條件，經過我的實測整理出以下。

篩選條件

某些條件可以多選(使用 , 連接)，某些條件只能單選。
例如我要查詢"台北市"與"新北市"的職缺，就需要帶上 area=6001001000,6001002000。

頁數 page
關鍵字 keyword
地區 area

地區	數值
台北市	6001001000
新北市	6001002000
桃園市	6001005000
台中市	6001008000
彰化縣	6001010000
台南市	6001014000
高雄市	6001016000

上班時段 s9

上班時段	數值
日班	1
夜班	2
大夜班	4
假日班	8

是否輪班 s5

是否輪班	數值
不需輪班	0
輪班	256

休假制度 wktm

休假制度	數值
沒有週休二日	0
週休二日	1

更新日期 isnew

更新日期	數值
本日最新	0
三日內	3
一週內	7
兩週內	14
一個月內	30

經歷要求 jobexp

經歷要求	數值
1 年以下	1
1-3 年	3
3-5 年	5
5-10 年	10
10 年以上	99

科技園區 newZone

科技園區	數值
竹科	1
中科	2
南科	3
內湖	4
南港	5

公司類型 zone

公司類型	數值
上市上櫃	16
外商一般	5
外商資訊	4

福利制度 wf

福利制度	數值
年終獎金	1
三節獎金	2
員工旅遊	3
分紅配股	4
設施福利	5
休假福利	6
津貼/補助	7
彈性上下班	8
健康檢查	9
團體保險	10

學歷要求 edu

學歷要求	數值
高中職以下	1
高中職	2
專科	3
大學	4
碩士	5
博士	6

上班型態 remoteWork

上班型態	數值
完全遠端	1
部分遠端	2

排除關鍵字 excludeJobKeyword
只搜尋職務名稱 kwop

只搜尋職務名稱	數值
只搜尋職務名稱	1

排序條件

排序依據 order

排序依據	數值
符合度	1
日期	2
經歷	3
學歷	4
應徵人數	7
待遇	13

排序順序 asc

排序順序	數值
由大到小	0
由小到大	1

回傳資料

切換到此請求的 Preview 分頁，能讓我們方便的檢視回傳資料，了解它的資料結構。
資料為 JSON 格式(原始資料可至 Response 分頁查看)。

"搜尋職缺"請求的回傳資料

依照我觀察到的推測，來說明個欄位所代表的數值意思：

status、statusMsg、errorMsg：請求狀態與訊息。
pageNo：頁數。
data > count：各種類的職缺數量，如下圖藍框圈選內顯示數量。

各種類的職缺數量
data > totalCount：搜尋結果的職缺"總數"。
data > totalPage：搜尋結果的職缺"總頁數"。
data > list：搜尋職缺結果，包含各職缺名稱、簡介、公司等等資訊，通常一次最多 20 筆資料。
data > query：搜尋職缺的 query 參數，也就是我們送出請求所夾帶的篩選條件，像是地區、經歷要求、上班時段。
data > queryDesc：搜尋職缺的 query 參數所代表的意思。

"搜尋職缺"回覆資料範例：104_search.json

* 其中得到的資料，有些還要進一步轉換或挑選，因此我們還可以再寫個函式來執行此步驟，可參考" 完整程式碼 "。

範例程式

使用 Python 搭配 requests 套件的寫法如下，：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65


import time
import random
import requests
def search_job(keyword, max_mun=10, filter_params=None, sort_type='符合度', is_sort_asc=False):
"""搜尋職缺"""
jobs = []
total_count = 0
url = 'https://www.104.com.tw/jobs/search/list'
query = f'ro=0&kwop=7&keyword={keyword}&expansionType=area,spec,com,job,wf,wktm&mode=s&jobsource=2018indexpoc'
if filter_params:
# 加上篩選參數，要先轉換為 URL 參數字串格式
query += ''.join([f'&{key}={value}' for key, value, in filter_params.items()])
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'Referer': 'https://www.104.com.tw/jobs/search/',
}
# 加上排序條件
sort_dict = {
'符合度': '1',
'日期': '2',
'經歷': '3',
'學歷': '4',
'應徵人數': '7',
'待遇': '13',
}
sort_params = f"&order={sort_dict.get(sort_type, '1')}"
sort_params += '&asc=1' if is_sort_asc else '&asc=0'
query += sort_params
page = 1
while len(jobs) < max_mun:
params = f'{query}&page={page}'
r = requests.get(url, params=params, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
data = r.json()
print(data['status'], data['statusMsg'], data['errorMsg'])
break
data = r.json()
total_count = data['data']['totalCount']
jobs.extend(data['data']['list'])
if (page == data['data']['totalPage']) or (data['data']['totalPage'] == 0):
break
page += 1
time.sleep(random.uniform(3, 5))
return total_count, jobs[:max_mun]
filter_params = {
'area': '6001001000', # (地區) 台北市
's9': '1', # (上班時段) 日班
'isnew': '0', # (更新日期) 本日最新
'jobexp': '1,3', # (經歷要求) 1年以下,1-3年
'zone': '16', # (公司類型) 上市上櫃
}
total_count, jobs = search_job('python', max_mun=10, filter_params=filter_params)
print('搜尋結果職缺總數：', total_count)

取得職缺詳細資料

透過上一步"搜尋職缺"所得到的職缺資料還不太完整，接下來我們來尋找取得職缺詳細資料的辦法。

這邊以此職缺為範例說明。

請求路徑與參數

如果你點進職缺介紹網頁後，在 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，會發現它也是動態載入的方式請求。

"取得職缺詳細資料"請求的方式與參數

後方的 71gqf 代表此職缺的 ID。

還有請求一樣需要帶上 Headers 內的 Referer 參數，才可正常取得資料。

將其整理出來，相關參數如下：

Request URL：https://www.104.com.tw/job/ajax/content/71gqf
Request Methon：GET
Headers Referer：https://www.104.com.tw/job/71gqf

回傳資料

切換到此請求的 Preview 分頁，能讓我們方便的檢視回傳資料，了解它的資料結構。
資料為 JSON 格式(原始資料可至 Response 分頁查看)。

"取得職缺詳細資料"請求的回傳資料

依照我觀察到的推測，來說明個欄位所代表的數值意思，在 data 底下：

header：標題。

"標題"網頁區塊

"標題"JSON

jobDetail：工作內容。

"工作內容"網頁區塊

"工作內容"JSON

condition：條件要求，例如工作經歷、學歷要求、語文條件、擅長工具、工作技能等等。

"條件要求"網頁區塊

"條件要求"JSON

environmentPic：公司環境照片。

"公司環境照片"網頁區塊

"公司環境照片"JSON

welfare：福利制度。

"福利制度"網頁區塊

"福利制度"JSON

contact：聯絡方式，例如聯絡人、連絡電話等等。

"聯絡方式"網頁區塊

"聯絡方式"JSON

"取得職缺詳細資料"回覆資料範例：104_job.json

範例程式

使用 Python 搭配 requests 套件的寫法如下，：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


import requests
def get_job(job_id):
"""取得職缺詳細資料"""
url = f'https://www.104.com.tw/job/ajax/content/{job_id}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'Referer': f'https://www.104.com.tw/job/{job_id}'
}
r = requests.get(url, headers=headers)
if r.status_code != requests.codes.ok:
print('請求失敗', r.status_code)
return
data = r.json()
return data['data']
job_info = get_job('71gqf')
print(job_info)

完整程式碼

我將"搜尋職缺"與"取得職缺詳細資料"包成一個 class，可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： job104_spider.py | GitHub

其他說明

"搜尋職缺"送出的請求中，我發現如果排序依據是選擇"符合度排序"，它送出的請求第一頁是 order: 1，第二頁之後卻變成 order: 15。
如果有網友知道原因，歡迎底下留言跟我說(也可到 FB粉專留言)，我再補上說明，感謝~

延伸練習

在上方文章的"搜尋職缺"章節中，說了很多篩選參數(上班時段、經歷要求、學歷要求)，但還是有些網頁上有的篩選條件沒有說到，例如"薪資待遇"、"外語要求"，這部分你可以試著將它添加到程式內嗎？
(要注意的事，一個篩選條件不一定只有影響一個篩選參數)
試著自己做個"自動職缺通知"，設定好篩選條件後，以日期排序，每天晚上就排程執行程式，如果有新的職缺，馬上透過 Line 或 Email 通知你，讓你搶先別人一步收到訊息。

結語

除了後續可以嘗試自製 "自動職缺通知" 以外，從回傳的資料中，還可以發現有些網頁上沒列出來的資訊呢！
像是顯示 "11~30人應徵"，到底準確是幾個人應徵，也可以從回傳資料中找到。

相信所有的挫折，都是最好的安排。

—— 郭婞淳 (台灣舉重國手)

[Python爬蟲實例] 教你爬取"foodpanda"餐飲外送平台

jia@jiatool.com (Jia) — Tue, 22 Jun 2021 20:30:00 +0800

前言

現在疫情肆虐，全台提升至第三級警戒，餐廳也被限制不能內用，只能被迫發展外帶(外送)或休店，因而許多人開始轉往像 foodpanda、Ubereats 此類餐飲外送平台來訂餐，也避免外出與人接觸的風險。

今天的 Python網路爬蟲實例系列將來介紹 foodpanda(網頁版) 該如何搜尋餐廳、查看餐廳資訊與菜單，看看它是如何發出請求、解析回傳資料。

餐點 (來源：Unsplash)

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋餐廳

請求路徑與參數

假如我目前位在"高雄車站"，想要喝杯"星巴克"的美式咖啡，因此我到 foodpanda 搜尋"星巴克"，點擊"搜尋"。

此時，你的網址會長的大概像這樣：
https://www.foodpanda.com.tw/restaurants/new?lat=22.639473&lng=120.3025185&vertical=restaurants&expedition=delivery&query=%E6%98%9F%E5%B7%B4%E5%85%8B

此時在瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) > XHR 分頁，會看見一個 feed 的請求(如果沒出現再重新搜尋)，裡面放的即是搜尋出來的餐廳結果。

開發人員工具 > Network > XHR > feed

切到 Headers 查看請求的方式與參數。

網址是 https://disco.deliveryhero.io/search/api/v1/feed、使用 POST 方法、需要帶的 payload。

"搜尋餐廳"請求的方式與參數

我將其整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/search/api/v1/feed
Request Methon：POST

Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


{
"q": "星巴克",
"location": {
"point": {
"latitude": 22.639473,
"longitude": 120.3025185
}
},
"config": "Variant21",
"customer_id": "",
"vertical_types": [
"restaurants"
],
"include_component_types": [
"vendors"
],
"include_fields": [
"feed"
],
"language_id": "6",
"opening_type": "delivery",
"platform": "web",
"session_id": "",
"language_code": "zh",
"customer_type": "regular",
"limit": 48,
"offset": 0,
"dps_session_id": "eyJzZXNzaX2lk......MjM1zOTl9",
"dynamic_pricing": 0,
"brand": "foodpanda",
"country_code": "tw",
"use_free_delivery_label": false
}

foodpanda 會依照你附近的餐廳去搜尋，因此請求內需要帶入經緯度，你可以用自己目前所在的位置，或指定特定位置。
例如我使用 Google 地圖點擊地點後，在網址列的部分可以看到此地點的經緯度：

高雄車站經緯度

q 參數就是放入搜尋的關鍵字。

limit 與 offset 即是限制此次請求的最大資料筆數與偏移值，如果請求你使用 limit:48 offset:0 (第一頁)，那改成 limit:48 offset:48 就是第二頁。

其餘參數照原樣帶入即可，以及有些可以刪除。

有一點要注意，搜尋結果只會顯示目前還在營業時間內的餐廳。所以我自己在測試時，一開始還覺得奇怪，怎麼有時候搜的到這家店，但有時候又搜不到 XDDD

回傳資料

回傳資料內，data['feed']['count'] 會顯示此搜尋的餐廳總數，在 data['feed']['items'][0]['items'] 存放著搜尋結果(餐廳列表)。

餐廳列表包含著每一間餐廳的基本資訊，像是"餐廳名稱"、"地址"、"評分"、"評論數量"、"餐廳圖片"等等，詳細可參考底下 JSON 內資料。

回覆資料範例： fp_search.json (單一一間餐廳)

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


import json
import requests
url = 'https://disco.deliveryhero.io/search/api/v1/feed'
payload = {
'q': '星巴克',
'location': {
'point': {
'longitude': 120.3025185, # 經度
'latitude': 22.639473 # 緯度
}
},
'config': 'Variant17',
'vertical_types': ['restaurants'],
'include_component_types': ['vendors'],
'include_fields': ['feed'],
'language_id': '6',
'opening_type': 'delivery',
'platform': 'web',
'language_code': 'zh',
'customer_type': 'regular',
'limit': 48, # 一次最多顯示幾筆(預設 48 筆)
'offset': 0, # 偏移值，想要獲取更多資料時使用
'dynamic_pricing': 0,
'brand': 'foodpanda',
'country_code': 'tw',
'use_free_delivery_label': False
}
headers = {
'content-type': "application/json",
}
r = requests.post(url=url, data=json.dumps(payload), headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
restaurants = data['feed']['items'][0]['items']
for restaurant in restaurants[:5]:
print(restaurant['name'])
else:
print('請求失敗')

* 傳入 Payload 前需要用 json.dumps() 將其轉成 JSON 格式。
* Headers 內要加入 content-type(HTTP 內容類型) 來表明用 JSON 格式來傳遞參數資料。

除了透過"搜尋關鍵字"來取得餐廳列表，接下來介紹常見的"附近所有餐廳"、"分類推薦的餐廳"兩種方式。

取得附近所有餐廳

請求路徑與參數

網址是 https://disco.deliveryhero.io/listing/api/v1/pandora/vendors、使用 GET 方法以及需要的查詢參數Query String Parameters。

"附近所有餐廳"請求的方式與參數

經過測試，請求的標頭還需要帶上'x-disco-client-id': 'web'。

整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/listing/api/v1/pandora/vendors
Request Methon：GET
Request Headers：{'x-disco-client-id': 'web'}

Query String Parameters：

latitude: 22.6394088
longitude: 120.3025474
language_id: 6
include: characteristics
dynamic_pricing: 0
configuration: Original
country: tw
customer_id:
customer_hash:
budgets:
cuisine:
sort:
food_characteristic:
use_free_delivery_label: false
vertical: restaurants
limit: 48
offset: 0
customer_type: regular

還可以透過帶入不同的參數值，來達到對結果做不同的篩選。

取餐方式

外送
vertical: restaurants
外帶自取
vertical: restaurants
opening_type: pickup
生鮮雜貨
vertical: shop

排序方式

排序	sort:
排序(預設)
評分最高	rating_desc
最快送達	delivery_time_asc
距離	distance_asc

例如想將結果的餐廳依照"評分最高到低"排序，則只需要將 sort 帶入 rating_desc (sort:rating_desc)。

有折扣
has_discount: 1

料理種類

料理種類	cuisine:
中港	166
健康餐	225
小吃	214
披薩	165
日韓	164
東南亞	252
歐式	175
漢堡	177
甜點	176
異國	183
素食	186
美式	179
飲料	181
麵食料理	201

可多選，例如：“日韓"和"麵食料理"就是 cuisine:164,201。

特色種類

特色	food_characteristic:
<pro專屬優惠>	257
<店內價>	55
<每月推薦>	206
<熱搜人氣餐廳>	207
<米其林推薦>	205
<聚餐首選>	241
<買一送一>	239
Vogue野餐日	258
三明治	162
便當	58
咖哩	155
咖啡輕食	191
早餐	159
滷味	158
火鍋	160
炸雞	154
粥 & 湯	161
鐵板燒	156
餃子	157

與"料理種類"一樣可多選。

預算高低

預算	budgets:
低	1
中	2
高	3

同樣可多選。

回傳資料

回傳資料內，
data['status_code'] 與 data['message'] 顯示本次請求狀態；
data['data']['available_count'] 會顯示可用的餐廳總數；
data['data']['aggregations']['cuisines'] 顯示各種"料理種類"的餐廳數量；
data['data']['aggregations']['foodCharacteristics'] 顯示各個"特色"的餐廳數量；
data['data']['items'] 列出此次回傳的餐廳列表。

至於餐廳列表中，各餐廳的資訊與文章前一節"搜尋餐廳"的雷同，在此就不再贅述。

回覆資料範例： fp_nearby_restaurants.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


import requests
url = 'https://disco.deliveryhero.io/listing/api/v1/pandora/vendors'
query = {
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
'language_id': 6,
'include': 'characteristics',
'dynamic_pricing': 0,
'configuration': 'Variant1',
'country': 'tw',
'budgets': '',
'cuisine': '',
'sort': '',
'food_characteristic': '',
'use_free_delivery_label': False,
'vertical': 'restaurants',
'limit': 48,
'offset': 0,
'customer_type': 'regular'
}
headers = {
'x-disco-client-id': 'web',
}
r = requests.get(url=url, params=query, headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
restaurants = data['data']['items']
for restaurant in restaurants[:5]:
print(restaurant['name'])
else:
print('請求失敗')

取得分類推薦的餐廳

這邊我不太知道要把它叫做什麼名稱，指的是剛進來首頁底下推薦的部分，如下圖：

各分類餐廳

請求路徑與參數

網址是 https://disco.deliveryhero.io/core/api/v1/swimlanes、使用 GET 方法以及需要的查詢參數Query String Parameters。

"分類推薦的餐廳"請求的方式與參數

整理出來，相關參數如下：

Request URL：https://disco.deliveryhero.io/core/api/v1/swimlanes
Request Methon：GET

Query String Parameters：

brand: foodpanda
config: Original
latitude: 22.6394088
longitude: 120.3025474
language_code: zh
language_id: 6
country_code: tw
dynamic_pricing: 0
vertical_type: restaurants
opening_type: delivery
use_free_delivery_label: false
customer_type: regular

取餐方式

外送
config: Original
vertical_type: restaurants
opening_type: delivery
外帶自取
config: pickup-control
vertical_type: restaurants
opening_type: pickup
生鮮雜貨
config: shops-variant
vertical_type: shop,darkstores
opening_type: delivery

回傳資料

從回傳資料的 data['data']['items'] 裡列出不同的推薦分類，例如"優惠主打星⭐"、"在家吃遍全世界"、"本月推薦"等等，各推薦分類底下的 vendors 中也列出各家餐廳。

而各家餐廳的資訊與文章"搜尋餐廳"的說明雷同，在此就不再贅述。

回覆資料範例： fp_category_restaurant.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import requests
url = 'https://disco.deliveryhero.io/core/api/v1/swimlanes'
query = {
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
'brand': 'foodpanda',
'language_code': 'zh',
'language_id': 6,
'country_code': 'tw',
'dynamic_pricing': 0,
'use_free_delivery_label': False,
'customer_type': 'regular',
'config': 'Original',
'vertical_type': 'restaurants',
'opening_type': 'delivery'
}
r = requests.get(url=url, params=query)
if r.status_code == requests.codes.ok:
data = r.json()
recommendations = data['data']['items']
for recommendation in recommendations[:5]:
print(recommendation['headline'])
else:
print('請求失敗')

取得餐廳基本資料與菜單

餐廳基本資料與菜單是在同一個請求中。

請求路徑與參數

網址是 https://tw.fd-api.com/api/v5/vendors/{餐廳代碼}、使用 GET 方法以及需要的查詢參數Query String Parameters。

"餐廳代碼"從上方各種取得餐貼列表的方式，其中餐廳資訊裡的 code 欄位即顯示著此餐廳的代碼。

"餐廳基本資料與菜單"請求的方式與參數

整理出來，相關參數如下：

Request URL：https://tw.fd-api.com/api/v5/vendors/{餐廳代碼}
Request Methon：GET

Query String Parameters：

include: menus
language_id: 6
dynamic_pricing: 0
opening_type: delivery
latitude: 22.639473
longitude: 120.3025185

有一點要注意，傳入的當前座標如果離店家太遠，會導致無法取得資料。
此時可以改成距離較近的座標，或者乾脆不要帶入座標(但會導致回傳資料的距離不正確)。

回傳資料

從回傳資料的 data['data'] 包含此餐廳的資訊，例如前面餐廳列表就有的店名、地址、最低訂購金額外，像是營業時間、折扣活動、餐廳分類、付款類型也有。還有重要的菜單資訊、配料資訊等等，都在這個請求的回應資料裡了。

回覆資料範例： fp_info_menu.json

範例程式

使用 Python 搭配 requests 套件的寫法如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


import requests
url = 'https://tw.fd-api.com/api/v5/vendors/g1mk'
query = {
'include': 'menus',
'language_id': '6',
'dynamic_pricing': '0',
'opening_type': 'delivery',
'longitude': 120.3025185, # 經度
'latitude': 22.639473, # 緯度
}
r = requests.get(url=url, params=query)
if r.status_code == requests.codes.ok:
data = r.json()
print('店名:', data['data']['name'])
print('地址:', data['data']['address'])
print('距離(公里):', data['data']['distance'])
else:
print('請求失敗')

完整程式碼

我將以上四種請求寫在同一個 class 中，並可以傳入不同的值來篩選，供需要的人參考。

附上完整程式碼： foodpanda_spider.py | GitHub

延伸練習

在"搜尋餐廳"與"取得附近所有餐廳"章節中，說到能透過 limit 和 offset 來抓到更多的餐廳，試著自己實際寫寫看吧。
試著輸入餐廳代碼後，程式自動顯示餐廳的"基本資訊"與隨機五樣"餐點資訊"。

結語

還能回頭說明旅途還沒有開始，當你無法回頭的時候，才是真正的旅途。

—— 《比宇宙更遠的地方》

LINE Bot 聊天機器人如何更改顯示圖示、名稱？以 Python 的 line-bot-sdk 為例

jia@jiatool.com (Jia) — Sat, 05 Jun 2021 20:25:00 +0800

前言

我們一般創造 LINE Bot 聊天機器人，讓它推送或回覆訊息時，通常是如下截圖所示，會顯示與我們對話的 Bot 大頭貼(在一對一對話中並不會顯示名稱)：

聊天訊息

但是！！
你知道這可以隨我們自己改嗎？！

來源：LINE Developers

* 為了防止用戶誤認為 LINE 官方賬號，所以在你顯示的帳號名稱後方會有 From 'account name' 文字。

LINE Developers 的 Messaging API 就有提供我們可以「更改顯示圖示、名稱」，
接下來，我以給 Python 的 SDK 套件來示範，跟著一起看看如何使用吧~

套件

這次教學主要使用到的 Python 套件：

line-bot-sdk [ Doc ] [ GitHub ]

安裝

1

pip install line-bot-sdk

實際介紹教學

首先，我們可以在 LINE 官方 Messaging API 文檔中，查詢到相關介紹，以及在 Messaging API reference 中查到送出請求的參數和規範。

此設定可以使用在"推送訊息"和"回覆訊息"，而為了防止用戶誤認為 LINE 官方賬號，在你顯示的帳號名稱後方會再自動加上 From 'account name' 文字。

來源：LINE Developers

如果你跟我一樣使用 Python，也使用 line-bot-sdk 套件。在 GitHub 的 README 並沒有寫出來這部分的實際範例。
但我到此套件的 API 文檔尋找，它還是有把「更改顯示圖示、名稱」這部分實做出來： linebot.models.send_messages.Sender 。

程式一開始，需要將 Sender class 匯入到程式中：

1

from linebot.models import Sender

這邊以"回覆訊息"為例子，一般純文字的訊息回覆程式碼如下：

1
2
3
4
5
6


line_bot_api.reply_message(
event.reply_token,
TextSendMessage(
text=f'你說：{event.message.text}',
)
)

偏偏注定要落腳(預設訊息格式)

而要「更改顯示圖示、名稱」很簡單，只需要加上 sender 參數：

1
2
3
4
5
6
7
8
9


line_bot_api.reply_message(
event.reply_token,
TextSendMessage(
text='這是則文字訊息。',
sender=Sender(
name="<顯示名稱>",
icon_url="<顯示圖示網址>")
)
)

Sender 有兩個參數，分別是：

name 參數
設定顯示的帳號名稱。

字數上限：20
某些詞（例如LINE）可能會被限制無法使用。

icon_url 參數
設定顯示的帳號圖示網址。

字數上限：1000
網址只能用 https 的
圖片格式需為 PNG
圖片長寬比需為 1：1 (正方形) 不然可能會變形
資料大小不能超過 1 MB

* 我試過使用 JPG 格式的圖片也能正常顯示，但建議還是依照官方文件的規範。

1
2
3
4
5
6
7
8
9


line_bot_api.reply_message(
event.reply_token,
TextSendMessage(
text='這是則文字訊息。',
sender=Sender(
name="顯示名稱",
icon_url="https://res.cloudinary.com/jiablog/coffee.png")
)
)

自定義訊息格式

當然~
也可以像一般回覆，一次回覆多則訊息：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


message1 = TextSendMessage(
text=f"以下為\"{event.message.text}\"的搜尋結果...",
sender=Sender(
name="Google",
icon_url="https://storage.googleapis.com/support-kms-prod/ZAl1gIwyUsvfwxoW9ns47iJFioHXODBbIkrK")
)
message2 = TextSendMessage(
text="請為您的信仰加值",
sender=Sender(
name="Apple",
icon_url="https://www.yusgroup.com.hk/wp-content/uploads/2012/03/Apple-Logo.jpg")
)
message3 = TextSendMessage(
text=f"您想買\"{event.message.text}\"嗎？ 我們都有！",
sender=Sender(
name="Amazon",
icon_url="https://pngimg.com/uploads/amazon/amazon_PNG27.png")
)
message4 = TextSendMessage(
text="[已取得您的個資]",
sender=Sender(
name="Facebook",
icon_url="https://upload.wikimedia.org/wikipedia/commons/0/05/Facebook_Logo_%282019%29.png")
)
messages = [message1, message2, message3, message4]
line_bot_api.reply_message(event.reply_token, messages)

Amazon 請小心你的發言...

完整對話(手機版和電腦版)

範例程式碼

這邊附上完整範例程式碼，給需要的人參考
GitHub Gist： line_bot.py

結語

之前都沒注意到 LINE Bot 聊天機器人能更改聊天對話中顯示的"圖示"、"名稱"呢，感覺可以拿來做一些有趣的應用~

歡迎追蹤『 IT空間』FB 粉專，取得最新發文通知🔔

參考：
LINE 官方 Messaging API 文檔
 LINE 官方 Messaging API reference
LINE Messaging API SDK for Python 的 GitHub
LINE Messaging API SDK for Python 的文檔

Nothing is necessary. Everything is a choice.
沒有什麼事是必要的，每件事都是一個選擇。

—— 電影《玩命關頭 8》

Streamlit 超快速又輕鬆建立網頁 Dashboard

jia@jiatool.com (Jia) — Sun, 23 May 2021 20:50:00 +0800

前言

後來時隔兩年，我有整理更新的版本，請改去這邊：
(2023年新版) 使用 Streamlit 快速又輕鬆建立 Dashboard 網頁

Streamlit 是個可快速製作出 Web 網頁應用程式的套件，而且不需要任何前端技術，全部都採用 Python 語法，讓你將網路爬蟲、數據科學、機器學習資料簡單地呈現出來分享，是一個很方便的套件。

Demo

這是最後將程式碼放到 GitHub，並使用 Streamlit 部署的成果。

Streamlit 成果範例：streamlit_demo

安裝與執行

Streamlit [ 官方網站 ] [ 官方文檔 ]

安裝

1

pip install streamlit

執行

1

streamlit run <py程式檔案路徑>

如果想指定 Streamlit 的 port 埠號，只要在後方加上--server.port 參數：

1

streamlit run <py程式檔案路徑> --server.port 8888

需要終止該應用程式只需在終端中按 Ctrl + c。

範例教學

底下流程是參考官方文檔的流程操作。

創建一個 Streamlit 應用程式

新創建一個 Python 檔案 streamlit_app.py，以下教學都只會編輯這個檔案。

打開它，在一開始導入 Streamlit 與其他套件：

1
2
3
4
5
6


import time
import streamlit as st
import numpy as np
import pandas as pd

打開"命令提示字元"或"終端機"，開始執行程式：

1

streamlit run streamlit_app.py

它應該會顯示如下資訊，並自動開啟一個瀏覽器網頁。

執行 Streamlit 程式

然後網頁裡面顯示… 一片空白？！
沒錯！我們又還沒有添加元件進去，怎麼會有東西呢~ 😆

添加文字和數據

先幫我們的應用程式加上個標題，加入以下程式碼：

1

st.title('我的第一個應用程式')

存檔，回到瀏覽器的網頁上。
可以重整網頁，或點擊右上角"Rerun"的按鈕，

網頁重跑

網頁上就會顯示一個標題文字了：

加入標題

如何？簡單吧，那我們再繼續接著下去~

使用 Magic Commands

在 Streamlit 內有個神奇的指令，他們把它叫 Magic commands ，不管你給它"字串"、"Markdown"、"數據資料"、"Matplotlib figures"、"Altair charts"，Streamlit 都會辨別並以合適的方式顯示出來。

甚至在程式碼中單一行只有變數或字串，根本不需要使用 st.write()，它都會自動套用並顯示。

1
2
3
4
5
6
7


st.write("嘗試創建**表格**：")
df = pd.DataFrame({
'first column': [1, 2, 3, 4],
'second column': [10, 20, 30, 40]
})
df

Markdown 與表格

繪製圖表和地圖

繪製折線圖
使用 Numpy 生成一個隨機樣本，然後將其繪製成圖表。

1
2
3
4


chart_data = pd.DataFrame(
np.random.randn(20, 3),
columns=['a', 'b', 'c'])
st.line_chart(chart_data)

而且它本身有下載、全螢幕觀看等功能。

繪製折線圖

繪製地圖
使用 Numpy 生成一個隨機樣本，繪製到地圖上。

1
2
3
4


map_data = pd.DataFrame(
np.random.randn(100, 2) / [50, 50] + [22.7, 120.3],
columns=['lat', 'lon'])
st.map(map_data)

繪製地圖

加入小工具

除了上述標題、圖表，還有其他小工具，像是複選框、選擇框、按鈕、滑塊等等。

使用複選框來顯示/隱藏數據，例如在剛剛繪製地圖的程式上方加入：

1
2
3
4
5


if st.checkbox('顯示地圖圖表'):
map_data = pd.DataFrame(
np.random.randn(100, 2) / [50, 50] + [22.7, 120.3],
columns=['lat', 'lon'])
st.map(map_data)

但你可能會注意到，每次點擊複選框時，上方的折線圖也會產生變化。
這是因為 Streamlit 只要元件有輸入值的改變，整個程式(網頁)就會重新運行，因此折線圖裡的 random 才會出來不同資料。

使用選擇框進行選擇：

1
2
3
4


option = st.selectbox(
'你喜歡哪種動物？',
['狗', '貓', '鸚鵡', '天竺鼠'])
'你的答案：', option

複選框與選擇框

調整佈局

我們也能將元件移到側邊欄中，這邊範例將上方選擇框移入側邊欄：

1
2
3
4


option = st.sidebar.selectbox(
'你喜歡哪種動物？',
['狗', '貓', '鸚鵡', '天竺鼠'])
'你的答案：', option

將元件移到側邊欄

也有左右兩邊的方式來排列：

1
2
3


left_column, right_column = st.beta_columns(2)
left_column.write("這是左邊欄位。")
right_column.write("這是右邊欄位。")

或通過 st.beta_expander 來隱藏大量內容來節省空間。

1
2


expander = st.beta_expander("點擊來展開...")
expander.write("如果你要顯示很多文字，但又不想佔大半空間，可以使用這種方式。")

將內容摺疊起來

加入進度條

這邊使用 time.sleep() 來模擬進度：

1
2
3
4
5
6
7


# 增加一個空白元件，等等要放文字
latest_iteration = st.empty()
bar = st.progress(0)
for i in range(100):
latest_iteration.text(f'目前進度 {i+1} %')
bar.progress(i + 1)
time.sleep(0.1)

而且網頁右上角還會顯示"RUNNING…"，並有多個運動圖示跳動，讓使用者知道目前網頁中還有東西正在運行。

網頁 RUNNING... 字樣

使用快取

如同前面所述，只要元件輸入值有改變，整個程式(網頁)就會重新運行，但假如有較耗費時間、資源的運算，會造成使用者每調一個參數，就浪費時間在等。

因此 Streamlit 內提供一個緩存機制，可以使用 @st.cache 裝飾器，將之前運算過的結果快取起來，如果下次遇到一樣的輸入值，就能直接使用之前的結果，節省時間。

官方說明 Improve app performance

要使用 @st.cache 裝飾器，就需要將運算部分的程式碼包成函式(def)。

1
2
3
4
5
6
7
8
9


@st.cache(suppress_st_warning=True)
def expensive_computation(a):
st.write(f"沒有快取：expensive_computation({a})")
time.sleep(2)
return a * 2
a = st.slider("選擇一個數字", 0, 10)
result = expensive_computation(a)
st.write("結果：", result)

cache 快取

網頁配置設定

要寫在程式內所有 Streamlit 命令之前，而且只能設定一次。

此函式有四個參數：

page_title：網頁標題，顯示在瀏覽器分頁的標籤上，預設是程式碼的檔名。
page_icon：網頁圖標，顯示在網頁標題前，可以使用 st.image 或 Emoji，或者使用"random"讓它隨機產生XD。
layout：網頁中佈局寬度，預設是"centered"，還可以使用"wide"。
initial_sidebar_state：側邊欄顯示狀態，"expanded"打開或"collapsed"隱藏，預設是"auto"，代表在手機尺寸的設備上是隱藏，否則是打開顯示。

網頁標題與 icon

1
2
3
4
5
6


st.set_page_config(
page_title="自定義網頁標題",
page_icon="random",
layout="centered",
initial_sidebar_state="collapsed",
)

網頁選單設定

在網頁右上方有個選單，包含之前提過的 Rerun，以及清除快取、連結到官方文件論壇，甚至還有螢幕錄影功能，將你的操作流程直接錄影起來，展示給其他人。

網頁選單

而選單內的"設定"有幾個選項：

Run on save：程式存檔後網頁自動重跑，不需要再手動點 Rerun
Wide mode：佈局寬度調寬
Theme：佈景主題

* 自定義主題可參考官方介紹說明。

網頁設定

部署應用程式

官方提供一種方式部署，只需要將你的 Streamlit 應用程式放在 GitHub 上，即可登入 share.streamlit.io 去部署運行起來。

完整部署介紹請參考官方說明：

先確認你的資料夾內有 Python 依賴文件，例如 requirements.txt、Pipfile、pyproject.toml、environment.yml 這幾種，或者還有 apt-get 依賴。
將你的 Streamlit 應用程式推到自己的 GitHub 公開 Repository。
前往官網註冊登入，並到 Get an invite to Streamlit sharing 設定。
打開網址、查看結果~

註冊 Streamlit sharing 後要等到邀請的 Email 回信，我的經驗是等了一天。

應用程式網址格式

你的網址格式為：
https://share.streamlit.io/[user name]/[repo name]/[branch name]/[app path]
例如我上面的範例是：
https://share.streamlit.io/it-jia/streamlit_demo/master/streamlit_app.py

而如果你 Git 分支是 master，或應用程式檔案名稱為 streamlit_app.py，甚至可以簡化成：
https://share.streamlit.io/[user name]/[repo name]
我的範例簡化成：
https://share.streamlit.io/it-jia/streamlit_demo

完整範例程式碼

附上完整範例程式碼： streamlit_app.py

此範例程式碼部署在 share.streamlit.io 的 Demo：

Streamlit 成果範例：streamlit_demo

結語

實際安裝使用後，發現這個套件真的可以很容易、快速的建立一個顯示資料用的儀表板(Dashboard)，因此寫這篇文章來分享給大家~

官方有將 API 濃縮成一頁，方便快速尋找：
https://share.streamlit.io/daniellewisdl/streamlit-cheat-sheet/app.py

參考：
Streamlit 官方網站
 Streamlit 官方文檔
 Streamlit極簡易的Dashboard開發 - Neutron
Python 以 Streamlit 建立網頁資料分析應用程式教學與範例 - Office指南

選擇，比努力更重要。

[Python爬蟲實例] PChome 線上購物 (下篇)

jia@jiatool.com (Jia) — Sun, 02 May 2021 20:50:00 +0800

前言

在之前的爬蟲實例講解過蝦皮購物，而今日要來講解同樣在台灣非常多人使用的「 PChome 線上購物」🛒。

因為 PChome 在一個頁面中針對不同部分的資料有送出不同的請求，整理成一篇會太長，因此我將分為上下篇來介紹。
上一篇 PChome 線上購物介紹到 PChome 搜尋頁面的相關資料，而本篇將講解如何取到商品頁面的資料。

PChome 線上購物網路爬蟲實例 (上篇)
PChome 線上購物網路爬蟲實例 (下篇) => 本篇

* 「 PChome 線上購物」與「 PChome 24h購物」兩者的商品搜尋都是導到同樣的頁面，因此實際上是一樣的。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Pixabay)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

商品基本資料

這邊以此商品為例，其網址為：https://24h.pchome.com.tw/prod/DHAFI0-A900BAPXK

「商品基本資料」請求資料會有像是商品名稱、圖片、價格，與一些此商品的設定等等。

商品名稱、圖片

* 商品名稱下方的資訊又是在其他請求XD，文章之後章節會提到。

請求路徑與參數

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK&_callback=jsonp_prod
請求方法：GET

也可以透過 fields 參數來指定你想要哪些欄位，例如我只要商品名稱、商品價格、是否有24小時到達：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK&fields=Name,Price,isArrival24h&_callback=jsonp_prod

原先網頁上抓到它有帶以下欄位：
fields=Seq,Id,Name,Nick,Store,PreOrdDate,SpeOrdDate,Price,Discount,Pic,Weight,ISBN,Qty,Bonus,isBig,isSpec,isCombine,isDiy,isRecyclable,isCarrier,isMedical,isBigCart,isSnapUp,isDescAndIntroSync,isFoodContents,isHuge,isEnergySubsidy,isPrimeOnly,isPreOrder24h,isWarranty,isLegalStore,isFresh,isBidding,isSet,Volume,isArrival24h,isETicket,ShipType,isO2O

我還有發現如果不加上"fields"參數，回傳的欄位反而會少其中幾個。

回傳資料

跟上篇的"商品規格種類"一樣，回傳資料前後會有一段 JS 語法，我們要先將其字串移除後，才是正確的 JSON 格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


{
"DHAFI0-A900BAPXK-000": {
"Name": "ASUS E410MA-0341PN4020 玫瑰金(Celeron N4020/4G/128G/Windows 10 Home S/HD/14)",
"Price": {
"M": 0,
"P": 11900,
"Prime": ""
},
"isArrival24h": 1,
"Seq": 26650490,
"Id": "DHAFI0-A900BAPXK-000",
"Nick": "<font color=#5c18d8><b>小資輕薄機首選!★輕1.3kg★內附Microsoft365</font></b><Br>ASUS E410MA-0341PN4020 玫瑰金<BR>14吋輕薄文書筆電<BR><font size=3><font color=#FF00CC>★內含S模式作業系統 </font>",
"Store": "DHAFI0",
"PreOrdDate": "",
"SpeOrdDate": "",
"Discount": 0,
"Pic": {
"B": "/items/DHAFI0A900BAPXK/000001_1619679669.jpg",
"S": "/items/DHAFI0A900BAPXK/000002_1619679669.jpg"
},
"Weight": 2.1,
"ISBN": "",
"Qty": 10,
"Bonus": 0,
"isBig": 0,
"isSpec": 0,
"isCombine": 0,
"isDiy": 0,
"isRecyclable": 0,
"isCarrier": 0,
"isMedical": 0,
"isBigCart": 1,
"isSnapUp": 0,
"isDescAndIntroSync": 0,
"isFoodContents": 0,
"isHuge": 0,
"isEnergySubsidy": 0,
"isPrimeOnly": 0,
"isPreOrder24h": 0,
"isWarranty": 0,
"isLegalStore": 1,
"isFresh": 0,
"isBidding": 0,
"isSet": 0,
"Volume": {
"Length": 43,
"Width": 27,
"Height": 7
},
"isETicket": 0,
"ShipType": "Consign",
"isO2O": 0
}
}

其中 Name 欄位和 Nick 欄位可能資料會很像，Name 欄位在搜尋頁面會出現，代表商品的真正名稱，而 Nick 欄位是在商品頁面出現，會加上一些修飾標語跟文字樣式(HTML 格式)，如下兩張圖片所示：

Name 欄位代表資料

Nick 欄位代表資料

上次有說到，商品圖片分為"picS"與"picB"，查看後我猜測"picS"是在搜尋頁面的圖片，而"picB"是位於商品本身頁面的。

前方再加上 https://d.ecimg.tw 即圖片完整網址。
如 https://d.ecimg.tw/items/DHAFI0A900BAPXK/000001_1619679669.jpg。

而其他 is 開頭的欄位代表此商品的其他特性(?)，或者說是 PChome 給它加上的屬性，例如是否有24小時到達、長寬高是多少(這邊應該是指包裝的，而不是商品本身的規格)、是否醫療相關、是否有食材相關標示……等等，可能會用在顯示圖示或是否有其他請求去抓更多資料。

範例程式

"商品基本資料"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_product_info(self, product_id, fields=None):
"""取得商品基本資訊

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 商品基本資訊
 """
# fields=Seq,Id,Name,Nick,Store,PreOrdDate,SpeOrdDate,Price,Discount,Pic,Weight,ISBN,Qty,Bonus,isBig,isSpec,isCombine,isDiy,isRecyclable,isCarrier,isMedical,isBigCart,isSnapUp,isDescAndIntroSync,isFoodContents,isHuge,isEnergySubsidy,isPrimeOnly,isPreOrder24h,isWarranty,isLegalStore,isFresh,isBidding,isSet,Volume,isArrival24h,isETicket,ShipType,isO2O
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/{product_id}'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_prod'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[15:-48])
return data

商品描述(標語、規格、備註)

此章節所說的商品描述，包括位於商品圖片右方、標題下方的"標語"，還有商品頁面最下面的"配備"、"規格"、"備註"，甚至更下方的"售後服務"等等。

商品標語

商品規格、備註

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/desc&_callback=jsonp_prod
請求方法：GET

一樣可以透過 fields 參數來指定你想要哪些欄位。

回傳資料

拿到回傳資料後，一樣要先將前後的 JS 語法去除，才可以正確地解析 JSON 格式。
不過這部分並不是每樣商品都會有每個欄位，像是假如商品它沒有"備註"，那"Remark"那個欄位的值就是空字串。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


{
"DHAFI0-A900BAPXK": {
"Id": "DHAFI0-A900BAPXK",
"Stmt": "<a name=\"規格說明\">ASUS E410MA-0341PN4020 玫瑰金 詳細規格表</a>\r\nLCD尺寸 (解析度)：14.0'//200nits//HD 1366x768 16:9//Anti-Glare//NTSC: 45%\r\n<font color=\"RED\">CPU：Intel® Celeron® N4020 Processor 1.1 GHz (4M Cache, up to 2.8 GHz)</font>\r\n記憶體：4GB DDR4 on board\r\n容量：128G EMMC\r\nWLAN無線網路：Wi-Fi 5(802.11ac)+Bluetooth 4.1 (Dual band) 1*1\r\nODD光碟機：無\r\n\r\n<HR>\r\n輸入輸出介面(I/O)\r\n\"1x 3.5mm Combo Audio Jack\r\n1x HDMI 1.4//1x USB 2.0 Type-A\r\n1x USB 3.2 Gen 1 Type-A\r\n1x USB 3.2 Gen 1 Type-C//Micro SD card reader\"\r\n\r\n<HR>\r\n尺寸：32.50 x 21.70 x 1.80 ~ 1.84 cm\r\n重量：1.3KG\r\n保固：二年全球保固/首年完美保固\r\n<font color=\"RED\">作業系統：Windows 10 Home S (S模式)</font>",
"Equip": "變壓器 無附包,無附鼠",
"Remark": "<font color=\"RED\">此為通用文案 實際規格以賣場為主</font>\r\nS模式作業系統,使用者需於Windows市集做標準版作業系統轉換",
"Liability": "<B>華碩筆記型電腦兩年保固</B><BR>台灣區自2002年2月1日起凡購買華碩筆記型電腦即可享有兩年產品保固服務。<BR>◎關於電池保固問題 <BR>電池為消耗性之產品，其保固期為壹年<BR>電池使用時間與充放電之次數成反比，因此使用時間縮短為正常現象，不屬於一年保固範圍<BR><B>華碩筆記型電腦免費送修</B><BR>為提供本公司產品用戶有更完善的售後服務，我們特別推出了筆記型電腦本島免費快遞送修的服務，讓客戶有維修需求時能有效快速的透過物流收送，回廠進行維修流程，及完修後安全迅速的將機台送回，達成客戶滿意之依據。<BR>適用本公司出售之華碩筆記型電腦產品於保固內有維修需求時，給予回廠免費收送服務。<BR>◎只限台灣本島︰不限地點可收件。<BR>◎請撥客服電話：0800-093-456， 客服人員將為與您聯絡相關事宜。<BR>為了保障您的權益， 請立即在線上註冊您的商品。若您是第一次註冊，請先加入華碩一般會員，謝謝您!<BR>◆線上註冊→ <A href=\" http://support.asus.com.tw/repair/repair.aspx?no=99&SLanguage=zh-tw TARGET=\" _NEW?><U>請前往原廠網站</U></A>",
"Kword": "E410MA^ASUS^筆電^小筆電^14吋^玫瑰金^虛擬數字鍵盤",
"Brand": "華碩",
"Slogan": "<font color=\"RED\"> ★虛擬數字鍵 /180度螢幕轉軸設計\r\n★可自行升級M.2 SSD \r\n★最高電池續航力12小時</font>\r\n\r\n<font size=2><LI><font color=red>處理器：Intel® Celeron® N4020 Processor 1.1 GHz</font>\r\n<LI>記憶體：4GB DDR4 on board\r\n<LI>容量：EMMC 128GB\r\n<LI>LCD尺寸：14\"HD 霧面寬螢幕(LED)\r\n<LI>無線網路：802.11ac+Bluetooth 4.1 (Dual band) 1*1\r\n<LI>光碟機：無\r\n<LI>其他：HDMI、USB 3.2\r\n<LI>重量：1.3KG\r\n<font color=red><LI>其他：內含 Microsoft365 個人版一年(市價2190元)</font>\r\n<font color=red><LI>作業系統：Windows 10 Home S (S模式) </font>\r\n<LI>保固：二年全球保固/首年完美保固\r\n\r\n<a href=\" //a.ecimg.tw/img/projects/personal/v0/upload_file/US00010362/Office-introduce.jpg \"target=”_blank”><img src=\"https://a.ecimg.tw/img/projects/personal/v0/upload_file/US00010362/office/2019-1.jpg \"alt=\"↑買NB加購Office 詳細請點\"></a>\r\n<a href=\"#規格說明\"><img src=\"https://a.ecimg.tw/img/projects/personal/v0/upload_file/US00000208/add/icon.jpg\">本商品詳細規格</a></a>\r\n",
"Author": "",
"Transman": "",
"Pubunit": "",
"Pubdate": "",
"Meta": {
"Brand": "",
"BrandEng": "",
"MarcoMatchName": [
"ASUS"
]
}
}
}

食物類商品缺少規格？

但在抓取某些商品時會發現，像是底下這個食物類的標示，怎麼規格缺少了上方內容物、保存期限、廠商資訊之類的？！

食物類商品缺少規格？

我實際尋找後發現，這部分要再透過另一個請求去取得：

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DBAEF6-A900AK8ZY/foodcontents&_callback=jsonp_fooddesc
請求方法：GET

可是還有個問題，我要怎麼資料它是不是食物呢？
這就回到「商品規格」章節中的"回傳資料"，回傳資料內就有一個"isFoodContents"欄位，就會寫到是否有食物含量，就可以知道是否還要再送出這個請求，來取得完整的資料。

當然，除了食物類的商品，我猜應該還有許多其他商品會又另外的請求。

範例程式

"商品描述(標語、規格、備註)"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_product_description(self, product_id, fields=None):
"""取得商品描述(標語、規格、備註)

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 商品描述資料
 """
# &fields=Id,Stmt,Equip,Remark,Liability,Kword,Slogan,Author,Brand,Meta,Transman,Pubunit,Pubdate,Approve
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/desc'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_prod'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[15:-48])
return data

商品詳細介紹

這邊所說的商品詳細介紹，是指商品頁面中間的"本商品詳細介紹"，內容可能有文字、圖片或影片。

商品詳細介紹

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/intro&_callback=jsonp_intro
請求方法：GET

同樣也有 fields 參數來指定你想要哪些欄位。

回傳資料

這邊範例我使用另個商品示範，因為它有包含文字、圖片跟影片。

將回傳資料去除前後 JS 語法後，可以看出裡頭是以陣列(列表)的形式，每部分裡有 Sort 標示著順序，資料有文字 Intro 與圖片 Pic 兩種，圖片路徑需加上 https://e.ecimg.tw 才是完整的網址。
文字又是以 HTML 的格式紀錄，因此也可以崁入 YouTube 影片，像是底下範例中的第三部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


{
"DEBB55-A900AUAHM": [
{
"Id": "DEBB55-A900AUAHM",
"Pic": null,
"Pstn": "M",
"Intro": "<p align=\"center\"><strong><span style=\"font-family: 標楷體; font-size: xx-large; color: #ff0000;\">【PX 大通】 C52G 夜視高畫質GPS行車記錄器</span></strong></p>",
"Sort": "1"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": "/items/DEBB55A900AUAHM/i010002_1600054259.jpg",
"Pstn": "M",
"Intro": "",
"Sort": "2"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": null,
"Pstn": "M",
"Intro": "<center><iframe src=\"https://www.youtube.com/embed/S28ZIbO9QJw\" frameborder=\"0\" width=\"1040\" height=\"765\"></iframe><center><iframe src=\"https://www.youtube.com/embed/BEw8bT3uPpw\" frameborder=\"0\" width=\"1040\" height=\"765\"></iframe></center></center>",
"Sort": "3"
},
{
"Id": "DEBB55-A900AUAHM",
"Pic": "/items/DEBB55A900AUAHM/i010015_1598511521.jpg",
"Pstn": "M",
"Intro": "",
"Sort": "4"
}
]
}

範例程式

"商品詳細介紹"部分範例程式如下，完整程式碼在文章最後會附上。
這邊我是讓它依照 Sort 數字由小到大排順序，再用字串拼接起來。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


def get_product_introduction(self, product_id, fields=None):
"""取得商品詳細介紹(包含圖片、影片)

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return introduction: 商品詳細介紹字串
 """
# &fields=Id,Pic,Pstn,Intro,Sort
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/intro'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_intro'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[16:-48])
introduction = ''
# 依照 Sort 欄位數字由小到大排順序
data = sorted(data[product_id], key=lambda k: k['Sort'])
for intro in data:
if intro['Pic']:
introduction = introduction + '\n' + 'https://e.ecimg.tw' + intro['Pic']
else:
introduction = introduction + '\n' + intro['Intro']
return introduction

加購商品

在商品的頁面，有時會出現"加購商品"這個區塊，但不是每個商品都有。

加購商品

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/add&_callback=jsonp_add
請求方法：GET

這邊我發現如果不加 fields 參數，預設回傳資料內會缺少 Price、isWarranty 欄位。

原先網站給的 fields=Seq,Id,Name,Spec,Group,Price,Pic,Qty,isWarranty。

回傳資料

一樣先要將回傳資料去除前後的 JS 語法，如果多項贈品，那這邊也會顯示多個，字典的 key(鍵) 代表此商品的 ID。
(此範例商品應該會有三個贈品，但為了讓文章版面不要太長，我有將其刪減)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


{
"DHAA2D-A900AQGVA": [
{
"Seq": 24988216,
"Id": "DHAA2D-A900AQGVA-000",
"Name": "【加購現省】中文 Microsoft 365 家用版一年盒裝",
"Spec": "",
"Group": "",
"Price": {"M": 4190, "P": 2790},
"Pic": {
"B": "/items/DHAA2DA900AQGVA/000001_1593137612.jpg",
"S": "/items/DHAA2DA900AQGVA/000002_1593137612.jpg"
},
"Qty": 20,
"isWarranty": 0
}
],
"DSAEAW-A900B8SRF": [
{
"Seq": 26572469,
"Id": "DSAEAW-A900B8SRF-000",
"Name": "Microsoft 365 個人版 15個月訂閱-ESD金鑰卡(不能退貨)",
"Spec": "",
"Group": "",
"Price": {"M": 0, "P": 2190},
"Pic": {
"B": "/items/DSAEAWA900B8SRF/000001_1618314609.jpg",
"S": "/items/DSAEAWA900B8SRF/000002_1618314609.jpg"
},
"Qty": 20,
"isWarranty": 0
}
]
}

加購商品介紹

順帶一提，如果你想取得加購商品的簡介(下圖綠色方框)的話，需要透過另外一個請求。

加購商品

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/desc&id=DHAA2D-A900AQGVA,DSAEAW-A900B8SRF&_callback=jsonp_adddesc
請求方法：GET

id 請改成贈品的 ID，一次帶入多個商品一樣將商品 ID 以 , 連接即可。

而且我發現他請求網址跟「商品描述(標語、規格、備註) 」的非常像，取得的回傳資料也是一模一樣，所以我猜兩這是通用的。
"商品描述"請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/DHAFI0-A900BAPXK/desc

範例程式

"加購商品"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_add_buy_product(self, product_id, fields=None):
"""取得加購商品

 :param product_id: 商品 ID
 :param fields: 指定欄位
 :return data: 加購商品
 """
# &fields=Seq,Id,Name,Spec,Group,Price,Pic,Qty,isWarranty
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/prodapi/v2/prod/{product_id}/add'
if fields is not None:
url += f'&fields={fields}'
url += '&_callback=jsonp_add'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[14:-48])
return data

完整程式碼

附上完整程式碼： pchome_spider02.py
(對超連結右鍵 > 另存連結為)

延伸練習

有些商品的頁面會有「贈品」可以選取，試試看，你有辦法抓取贈品的資訊嗎？
範例商品：https://24h.pchome.com.tw/prod/DCAN8J-A900AW0AQ
(小提示：可以使用贈品的名稱或 ID 在開發人員工具 > Network 中搜尋 Ctrl + f)
在某些商品頁面會發現有「買此商品的人也買了…」區塊，這部分的資訊我們也可以取得嗎？
範例商品：https://24h.pchome.com.tw/prod/DCAN8J-A9009OS4V
(小提示：這部分會先取得推薦的名單，再透過「取得商品資訊」章節的請求來取得詳細資訊)

結語

在尋找 PChome 的請求網址、邏輯時，我還發現一個"prodjsv3-"開頭的 JavaScript 檔案，裡面可以找出許多不同請求的端倪，你們可以從中尋找還有哪些請求。
(迷之音：請求有夠多，全部要找要寫出來太花時間，叫網友自己去找好了，嗯~還可以順便說是給他們練習，不錯XD)

之後還會陸續寫一些網站的"網路爬蟲實例"，如果此篇文章有幫助到你，歡迎在底下留言、留言，還有追蹤 FB 粉專『 IT空間』~ 🔔

在這個世界上，沒有人能使你倒下。如果你自己的信念還站立的話。
In this world, no one can make you fall. If your faith is still standing.

[Python爬蟲實例] PChome 線上購物 (上篇)

jia@jiatool.com (Jia) — Sun, 25 Apr 2021 20:45:00 +0800

前言

在之前的 Python 網路爬蟲實例講解過蝦皮購物，而今日要來講解同樣在台灣非常多人使用的「 PChome 線上購物」。

實際操作後發現，PChome 在一個頁面中針對不同部分的資料有送出不同的請求，整理成一篇會太長，因此我將分為上下篇來介紹。
上篇也就是你正在看的本篇，主要講解在 PChome 搜尋頁面的請求，而下篇是說明商品頁面的請求。

PChome 線上購物網路爬蟲實例 (上篇) => 本篇
PChome 線上購物網路爬蟲實例 (下篇)

* 「 PChome 線上購物」與「 PChome 24h購物」兩者的商品搜尋都是導到同樣的頁面，因此實際上是一樣的。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Pexels)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

搜尋商品

進入 PChome 線上購物網頁，先開啟瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，回到網頁左上角輸入想要搜尋的關鍵字，點擊"找商品"。

首頁左上角搜尋欄位

畫面跳轉到搜尋結果頁面後，開發人員工具切換到"Network" > "XHR"，會發現其中一個請求包含著搜尋結果，而 prods 欄位內分別列出了每一項商品。

"Network" > "XHR" 頁面

切換到"Headers"頁面可以查看請求的網址與方法。

"Headers" 頁面

我們可以開一個新分頁，將此請求網址貼上前往，查看回傳的資料是否正確、長什麼樣子。

請求路徑與參數

請求網址：https://ecshweb.pchome.com.tw/search/v3.3/all/results?q=%E9%8D%B5%E7%9B%A4&page=1&sort=sale/dc
請求方法：GET

商品搜尋頁面有多項篩選條件，從下圖可以看到有關鍵字、商店類別、排序、取貨方式、價格範圍、依館別顯示等等。

搜尋頁面篩選功能

而這些篩選條件正好對應網址後方帶的參數，我實際一個一個測試後，整理出來如下：

關鍵字
放在 q 參數內。

商店類別
放在網址路徑內，可參考下方程式。

數值	意思
`all`	全部
`24h`	24h購物
`24b`	24h書店
`vdr`	廠商出貨
`tour`	PChome旅遊

排序
sort 參數。

數值	意思
`sale/dc`	有貨優先
`rnk/dc`	精準度
`prc/dc`	價錢由高至低
`prc/ac`	價錢由低至高
`new/dc`	新上市

取貨方式

數值	意思
`cvs=all`	超商取貨
`ipost=Y`	i 郵箱取貨

價格範圍
price 參數。
我測試的結果是兩者都要，也就是要包含最大金額與最小金額的限制。
{price_max}-{price_min}

頁數
page 參數。
回傳資料預設是 20 筆商品，如果要繼續往後抓取，需要帶入頁數參數。

回傳資料

它以 JSON 格式回傳，商品會在 prods 欄位內，每一個商品資料如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


{
"Id": "DGCD1E-A900AIK2Q",
"cateId": "DGCA3Q",
"picS": "/items/DGCD1EA900AIK2Q/000002_1582170821.jpg",
"picB": "/items/DGCD1EA900AIK2Q/000001_1617156434.jpg",
"name": "SanDisk USB Type-C™ 雙用隨身碟128GB (公司貨)",
"describe": "具備usb type-c與type-a旋轉式2合1金屬隨身碟。...",
"price": 629,
"originPrice": 629,
"author": "",
"brand": "",
"publishDate": "",
"sellerId": "",
"isPChome": 1,
"isNC17": 0,
"couponActid": [],
"BU": "ec"
}

以上有許多欄位，這邊挑幾個已知道意思的來說明：

欄位	代表意思
Id	商品ID
cateId	分類ID
picS	商品圖片(縮圖)
picB	商品圖片(主圖)
name	商品名稱
describe	商品描述
price	商品價格
originPrice	商品原始價格
author	(書籍)作者
brand	(書籍)出版社
publishDate	(書籍)出版日期
isNC17	是否限制級

商品圖片分為"picS"與"picB"，查看後我猜測"picS"是在搜尋頁面的圖片，而"picB"是位於商品本身頁面的。

前方再加上 https://d.ecimg.tw 即圖片完整網址。
如 https://d.ecimg.tw/items/DGCD1EA900AIK2Q/000002_1582170821.jpg。

"商品網址"是商品ID前方加上 https://24h.pchome.com.tw/prod/，以上方為例就是：
https://24h.pchome.com.tw/prod/DGCD1E-A900AIK2Q

範例程式

"搜尋商品"部分範例程式如下，完整程式碼在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55


def search_products(self, keyword, max_page=1, shop='全部', sort='有貨優先', price_min=-1, price_max=-1, is_store_pickup=False, is_ipost_pickup=False):
"""搜尋商品

 :param keyword: 搜尋關鍵字
 :param max_page: 抓取最大頁數
 :param shop: 賣場類別 (全部、24h購物、24h書店、廠商出貨、PChome旅遊)
 :param sort: 商品排序 (有貨優先、精準度、價錢由高至低、價錢由低至高、新上市)
 :param price_min: 篩選"最低價" (需與 price_max 同時用)
 :param price_max: 篩選"最高價" (需與 price_min 同時用)
 :param is_store_pickup: 篩選"超商取貨"
 :param is_ipost_pickup: 篩選"i 郵箱取貨"
 :return products: 搜尋結果商品
 """
products = []
all_shop = {
'全部': 'all',
'24h購物': '24h',
'24h書店': '24b',
'廠商出貨': 'vdr',
'PChome旅遊': 'tour',
}
all_sort = {
'有貨優先': 'sale/dc',
'精準度': 'rnk/dc',
'價錢由高至低': 'prc/dc',
'價錢由低至高': 'prc/ac',
'新上市': 'new/dc',
}
url = f'https://ecshweb.pchome.com.tw/search/v3.3/{all_shop[shop]}/results'
params = {
'q': keyword,
'sort': all_sort[sort],
'page': 0
}
if price_min >= 0 and price_max >= 0:
params['price'] = f'{price_min}-{price_max}'
if is_store_pickup:
params['cvs'] = 'all' # 超商取貨
if is_ipost_pickup:
params['ipost'] = 'Y' # i 郵箱取貨
while params['page'] < max_page:
params['page'] += 1
data = self.request_get(url, params)
if not data:
print(f'請求發生錯誤：{url}{params}')
break
if data['totalRows'] <= 0:
print('找不到有關的產品')
break
products.extend(data['prods'])
if data['totalPage'] <= params['page']:
break
return products

商品販售狀態

如果你還想要"商品販售狀態”，會發現此欄位不包含在上方"搜尋商品"請求的回傳資料中，我們要再從其他的地方找找。

商品狀態按鈕

試試用"立即訂購"之類的關鍵字在開發人員工具中搜尋，在某個搜尋到的 JavaScript 檔案發現到"orderNow"、"soldOut"等字眼。

searchplus JS

再進一步以"soldOut"搜尋，在另外一個 JavaScript 檔案發現到此資訊。

button JS

雖然它是 JS 檔，但你只要把網址後方的 &_callback=jsonpcb_button 刪掉，它就會以 JSON 格式回傳了。

請求路徑與參數

請求網址路徑很大一串，經過我刪減、測試，其實最少只需要如下：

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96
請求方法：GET

如果需要，可以一次帶入多個商品一次請求，只需將商品 ID 以 , 連接，例如：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96,DSAA6I-A900B3488
就不需要分多次請求了。

也可以透過 fields 參數來指定你想要那些欄位，例如我只要商品ID、商品數量、商品狀態：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id=DRAD1K-A900AWN96&fields=Id,Qty,ButtonType

回傳資料

它一樣以 JSON 格式回傳：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


[{
"Seq": 25977002,
"Id": "DCAD6E-A900B1YM4-000",
"Store": "DCAD6E",
"Price": {"M": 0, "P": 550, "Prime": ""},
"Qty": 7,
"ButtonType": "ForSale",
"SaleStatus": 1,
"Group": "DCAD6E-A900B1YM4",
"isPrimeOnly": 0,
"SpecialQty": 0
}]

從 ButtonType 的值可以看出此商品是否還有貨，像是 ForSale 代表此商品有出售、可以購買；SoldOut 代表此商品已售完等等。

範例程式

"商品販售狀態"部分範例程式如下，完整程式碼在文章最後會附上。

這邊我設計成傳入單個商品的字串(String)，或多個商品的字串陣列(List)都可以，比較彈性。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


def get_products_sale_status(self, products_id):
"""取得商品販售狀態

 :param products_id: 商品 ID
 :return data: 商品販售狀態資料
 """
if type(products_id) == list:
products_id = ','.join(products_id)
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/button&id={products_id}'
data = self.request_get(url)
if not data:
print(f'請求發生錯誤：{url}')
return []
return data

商品規格種類

除了"商品狀態"不在原本的回傳資料中，還有某些商品有不同的規格，這部分也是要另外抓。

商品規格種類

一樣透過搜尋，找到了一個請求的路徑。

查找"商品規格種類"路徑

請求路徑與參數

請求網址：https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id=DYARL9-A900AZTJT&_callback=jsonpcb_spec
請求方法：GET

id 就是給你要找的商品 ID。
跟上一節"商品販售狀態"一樣，如需一次請求多個商品，只需將商品 ID 以 , 連接，例如：
https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id=DYARL9-A900AZTJT,DYARLA-A900AZTJJ&_callback=jsonpcb_spec

回傳資料

這邊有個小小麻煩的點，如果像"商品販售狀態"一樣把後方 _callback=json... 去除，反而它就不回傳資料了，但加了這樣會使得回傳資料前後會有一段 JS 語法，所以我們要先將其字串移除後，才是正確的 JSON 格式。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


try {
jsonpcb_spec({
"DYARIO-A900B0P77": [{
"Seq": 25866719,
...(省略)...
"PreOrdDate": ""
}]
});
} catch (e) {
if (window.console) {
console.log(e);
}
}

* 題外話：我原本是想用 str.lstrip()、str.rstrip() 去移除，但遇到了點問題，所以後來改用字串切割的方式。

去除前後 JS 語法後回傳資料範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


{
"DYARL9-A900AZTJT": [
{
"Seq": 25787942,
"Id": "DYARL9-A900AZTJT-001",
"Name": "防摔！四角加厚空壓殼 iPhone 12 / i12 手機殼 保護殼 手機套 軟殼 保護套 防撞",
"Spec": "透藍",
"Group": "DYARL9-A900AZTJT",
"Pic": {
"B": null,
"S": null
},
"Qty": 0,
"isPreOrder24h": 0,
"PreOrdDate": ""
},
{
"Seq": 25787944,
"Id": "DYARL9-A900AZTJT-003",
"Name": "防摔！四角加厚空壓殼 iPhone 12 / i12 手機殼 保護殼 手機套 軟殼 保護套 防撞",
"Spec": "透粉",
"Group": "DYARL9-A900AZTJT",
"Pic": {
"B": null,
"S": null
},
"Qty": 6,
"isPreOrder24h": 0,
"PreOrdDate": ""
}
]
}

範例程式

"商品規格種類"部分範例程式如下，完整程式碼同樣在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_products_specification(self, products_id):
"""取得商品規格種類

 :param products_id: 商品 ID
 :return data: 商品規格種類
 """
if type(products_id) == list:
products_id = ','.join(products_id)
url = f'https://ecapi.pchome.com.tw/ecshop/prodapi/v2/prod/spec&id={products_id}&_callback=jsonpcb_spec'
data = self.request_get(url, to_json=False)
# 去除前後 JS 語法字串
data = json.loads(data[17:-48])
return data

搜尋商品分類

至於位於搜尋頁面的左側，這一大串的"分類"該從何而來？

搜尋頁面的商品分類

找到了一個請求的路徑。

"搜尋商品分類"路徑

請求路徑與參數

請求網址：https://ecshweb.pchome.com.tw/search/v3.3/all/categories?q=鍵盤
請求方法：GET

q 後方就是接你是用什麼關鍵字搜尋商品的。

回傳資料

因為資料量比較大，我挑一小部分將解其結構：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


[
{
"Id": "D",
"name": "24h購物",
"qty": 12552,
"nodes": [
{
"Id": "DSAU",
"name": "DIY電腦",
"qty": 1418,
"nodes": [
{
"Id": "DSAUF4",
"qty": 189
},
{
"Id": "DSAUF5",
"qty": 176
},
{
"Id": "DSAUFA",
"qty": 154
}
]
}
]
}
]

它是這樣由最大項分類一層一層下來，每一層會有 Id、name、qty 等參數，代表此分類的"ID"、"名稱"、"商品數量"。

但你可能會發現，怎麼到了最下面一層(第三層)卻沒了"名稱(name)"？！
該不會…對😅沒錯，它還要再透過另一個請求去取得，這部分會在下一章節介紹。

範例程式

"搜尋商品分類"部分範例程式如下，很簡單，也沒什麼參數，完整程式碼同樣在文章最後會附上。

1
2
3
4
5
6
7
8
9


def get_search_category(self, keyword):
"""取得搜尋商品分類(網頁左側)

 :param keyword: 搜尋關鍵字
 :return data: 分類資料
 """
url = f'https://ecshweb.pchome.com.tw/search/v3.3/all/categories?q={keyword}'
data = self.request_get(url)
return data

至於此分類該如何用來當搜尋商品的篩選條件，這部分就留給你們親自嘗試了，不會很複雜 (真的！)。

搜尋商品子分類名稱

從上一章節，我們發現到商品分類的請求資料中，沒有包含最下面一層(第三層)的"name(名稱)"欄位。

搜尋商品子分類名稱

請求路徑與參數

請求網址：https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAUF4
請求方法：GET

id 後方接在上一章節"搜尋商品分類"中回傳的子分類。
一樣，如需一次請求多個商品，只需將子分類 ID 以 , 連接，例如：
https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAUF4,DSAUF5,DSAUFA&fields=Id,Name

此請求路徑還有個 fields 參數，可指定回傳欄位，例如我只要"ID"跟"名稱"：
https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id=DSAU&fields=Id,Name

回傳資料

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


[
{
"Id": "DSAUF4",
"Name": "→10代Core i7八核",
"OriginId": "",
"Sort": 7,
"is24h": 1,
"isVip": 0,
"isPick": 0,
"isNC17": 0,
"Extra": {
"Amount": "",
"Fee": "",
"Intro": ""
},
"isNFC": 0
}
]

範例程式

"搜尋商品子分類名稱"部分範例程式如下，完整程式碼同樣在文章最後會附上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_search_categories_name(self, categories_id):
"""取得商品子分類的名稱(網頁左側)

 :param categories_id: 分類 ID
 :return data: 子分類名稱資料
 """
if type(categories_id) == list:
categories_id = ','.join(categories_id)
url = f'https://ecapi-pchome.cdn.hinet.net/cdn/ecshop/cateapi/v1.5/store&id={categories_id}&fields=Id,Name'
data = self.request_get(url)
return data

完整程式碼

附上完整程式碼： pchome_spider01.py
(對超連結右鍵 > 另存連結為)

延伸練習

在「搜尋頁面的商品分類」章節有介紹到商品所屬的分類，一般操作可以點擊分類來篩選商品，那在程式裡我們該如何送出指定分類的請求呢？
(小提示：注意觀察送出請求的路徑)

結語

這篇文章主要是說明在搜尋頁面的請求，而之後會再寫一篇文章講解商品頁面，敬請其待。

如果對文章有任何疑問或心得，歡迎在底下按讚、留言喔~😎

比別人多一點執著，你就會創造奇蹟。

[Python爬蟲實例] 教你輕鬆爬取"Yahoo奇摩知識+"的問題與解答

jia@jiatool.com (Jia) — Sun, 21 Mar 2021 21:00:00 +0800

前言

本次 Python網路爬蟲實例系列的「 Yahoo奇摩知識+ 」，將帶領你來一步步爬取所有分類的問題與解答。

「Yahoo奇摩知識+」大約 10 年前左右在台灣還蠻多人用的，但現在會在Yahoo奇摩知識+上發問、回答的人已經少很多了。話說最近有人對Yahoo奇摩知識+有印象，會不會是從天氣之子呢(笑)，不過「Yahoo奇摩知識+」在日本是叫「Yahoo!知恵袋」哦~

* 香港叫「Yahoo知識+」，但為什麼台灣的多出"奇摩"兩個字呢？較年輕的讀者可能不知道，「奇摩站」是以前台灣一家入口搜尋網站，但這又是另外一個故事了…

Yahoo奇摩知識+

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

它資料是如何載入的呢？

進到 Yahoo奇摩知識+ 網站後，將網頁往下滾動，可以看到 Loading 的圖示，而且頁面也沒有跳轉，因此可以猜測它資料是透過 AJAX 的方式載入

"問題資料"載入圖示

經過以前網路爬蟲實例的文章應該很熟悉了，打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到 "Network" > "XHR"，再將網頁往下滾動，讓我們抓到它送出的請求。點擊 "_reservice_/" 的請求後切換到 "Preview" 頁面，可以發現它返回的資料都在這裡。

"Network" > "XHR" > "_reservice_/" > "Preview"

開發人員工具切回到"Headers"頁面查看請求的網址與方法。
跟我們一般常用的 HTTP 請求方法(GET、POST)不同，在這裡它是使用 PUT 方法。

"Network" > "XHR" > "_reservice_/" > "Headers"

往下還有請求夾帶的參數 Request Payload，可以點擊 view source 方便我們複製參數。

Request Payload

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：
{"type":"CALL_RESERVICE","payload":{"categoryId":"0","lang":"zh-Hant-TW","count":20,"offset":"pv61~p:0"},"reservice":{"name":"FETCH_DISCOVER_STREAMS_END","start":"FETCH_DISCOVER_STREAMS_START","state":"CREATED"}}

這邊有個之前文章沒遇過的地方，以前請求夾帶的參數常遇到的是 key-value (鍵值對)的形式，但這邊是採用 JSON 格式，因此 Headers 內要加入 content-type(HTTP 內容類型) 來表明用 JSON 格式來傳遞參數資料。
'content-type': 'application/json'

同時要注意請求的 data 中資料是 JSON 格式的字串，在 Python 程式裡記得要使用 json.dumps() 將其轉換為字串，大致如下程式碼所示。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


import requests
import json
url = 'https://tw.answers.yahoo.com/_reservice_/'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
'content-type': 'application/json'
}
payload = {
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": ""
},
"reservice": {
"name": "FETCH_DISCOVER_STREAMS_END",
"start": "FETCH_DISCOVER_STREAMS_START",
"state": "CREATED"
}
}
r = requests.put(url, data=json.dumps(payload), headers=headers)
print(r.json())

好！！那這樣都知道"Yahoo奇摩知識+"資料的請求方法了，我們來看看其參數有哪些值~

問題列表

首先從網站一進入就會看到的問題列表(文章列表)說起，左方有各式各樣的分類，中間的問題列表還有分為"探索"與"解答"，綠色方框即是我們想要獲取的部分。

問題列表(文章列表) 頁面

請求方法

先從"探索"開始找起，同上章節步驟，從開發人員工具知道請求的路徑、參數如下：

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": "pv61~p:0"
},
"reservice": {
"name": "FETCH_DISCOVER_STREAMS_END",
"start": "FETCH_DISCOVER_STREAMS_START",
"state": "CREATED"
}
}

其中幾個參數代表意思：

categoryId：分類 ID。分類 ID 在各分類網頁的網址後方可找到，目前共有 24 個大分類，子分類也是採用同樣的方式。

分類 ID 在網址後方可以取得

而如果給 0，則代表"所有分類"，以下是各大分類所對應的 categoryId：

分類名稱	分類 ID
所有分類	0
健康	396545018
商業與財經	396545013
娛樂與音樂	396545016
家居與園藝	396545394
家庭與人際關係	396545433
寵物	396545443
懷孕與育兒	396546046
政治與政府	396545444
教育與參考	396545015
新聞與活動	396545439
旅遊	396545469
汽車與交通	396545311
消費電子產品	396545014
環境	396545451
社會科學	396545301
社會與文化	396545454
科學	396545122
美容與造型	396545144
藝術與人文	396545012
遊戲與休閒活動	396545019
運動	396545213
電腦與網際網路	396545660
食品與飲料	396545367
餐廳與小吃	396545327

count：一次回傳"問題(文章)"數量。但實測發現有時得到的數量會較少。
offset：偏移值。帶入前一頁回傳資料中 offset 的值。

而 "解答" 部分的問題列表(文章列表)其參數幾乎一樣，只要把 FETCH_DISCOVER_STREAMS_END 改成 FETCH_ANSWER_STREAMS_END、FETCH_DISCOVER_STREAMS_START 改成 FETCH_ANSWER_STREAMS_START 即可。

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{
"type": "CALL_RESERVICE",
"payload": {
"categoryId": "0",
"lang": "zh-Hant-TW",
"count": 20,
"offset": "pv61~p:0"
},
"reservice": {
"name": "FETCH_ANSWER_STREAMS_END",
"start": "FETCH_ANSWER_STREAMS_START",
"state": "CREATED"
}
}

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭。

canLoadMore：是否還有下一頁。
offset：請求下一頁的偏移值。
questions：問題列表(文章列表)。

而每一則問題又有幾個數值：

qid：問題 ID。也代表問題網址後方帶的參數，例如 https://tw.answers.yahoo.com/question/index?qid=20210318093121AAnaQXT。
title：問題標題。
detail：問題內容。
category：問題分類。
createdTime：創建日期時間。
answersCount：解答總數。
thumbUpsCount：按讚總數。
bestAnswerDetail：最佳解答內容。

範例：問題列表 JSON 資料 question_list_data.json

問題詳細資料

在問題列表(文章列表)點擊問題後會跳轉到問題詳細頁面，有完整的問題資訊與網友的解答。

問題詳細資料頁面

請求方法

可以發現請求路徑和方法都是一樣的，它是透過 Request Payload 來判斷需要哪些資料(條件)。

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


{
"type": "CALL_RESERVICE",
"payload": {
"qid": "20210310121058AAxKYlh"
},
"reservice": {
"name": "FETCH_QUESTION_END",
"start": "FETCH_QUESTION_START",
"state": "CREATED"
},
"kvPayload": {
"key": "20210310121058AAxKYlh",
"kvActionPrefix": "KV/question/"
}
}

其中 payload > qid 與 kvPayload > key 參數帶上問題 ID。

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭，幾個比較重要的參數：

qid：問題 ID。也代表問題網址後方帶的參數，例如 https://tw.answers.yahoo.com/question/index?qid=20210318093121AAnaQXT。
lang：語言。
category：問題分類。
createdTime：創建日期時間。
title：問題標題。
content：問題內容。
updatedDetails：問題更新詳情。
attachedImageUrl：附加圖片網址。
bestAnswer：最佳解答。
answerCount：解答總數。
saveCount：被收藏總數。
isAnonymous：是否匿名。

範例：問題 JSON 資料 question_data.json

解答列表

位於每篇問題(文章)底下會有各網友回覆的解答(留言)。

解答列表頁面

請求方法

一樣只有 Request Payload 有差異，

請求網址：https://tw.answers.yahoo.com/_reservice_/
請求方法：PUT
Request Payload：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


{
"type": "CALL_RESERVICE",
"payload": {
"qid": "20210310121058AAxKYlh",
"count": 10,
"start": 1,
"lang": "zh-Hant-TW",
"sortType": "NEWEST"
},
"reservice": {
"name": "FETCH_QUESTION_ANSWERS_END",
"start": "FETCH_QUESTION_ANSWERS_START",
"state": "CREATED"
},
"kvPayload": {
"key": "20210310121058AAxKYlh",
"kvActionPrefix": "KV/questionAnswers/"
}
}

其中 payload > qid 與 kvPayload > key 參數帶上問題 ID。
count 代表一次回傳"解答(留言)"數量，start 代表起始值，例如這次解答取到 10 則，下一次要從第 11 則開始抓，那 start 就要帶 11。
sortType 代表解答排序依據(RATING:評分、NEWEST:最新、OLDEST:最舊)。

解答排序依據

回傳資料

它以 JSON 格式回傳，error 會顯示此次請求是否發生錯誤，主要的資料都在 payload 裏頭，幾個比較重要的參數：

qid：問題 ID。
lang：語言。
answerCount：解答總數。
start：本次解答起始值。
count：本次解答數量。
sortType：解答排序依據(RATING:評分、NEWEST:最新、OLDEST:最舊)。
answers：解答列表(留言列表)。

而每一則解答又有幾個數值：

qid：問題 ID。
id：解答 ID。
text：解答內容。
attachedImageUrl：附加圖片網址。
reference：解答參考來源。
answerer：解答網友。
answerer > kid：網友 ID。
answerer > nickname：網友暱稱。
answerer > imageUrl：網友圖片網址。
answerer > level：網友等級。
isBestAnswer：是否為最佳解答。
thumbsDown：倒讚數。
thumbsUp：按讚數。
isAnonymous：是否匿名。
commentCount：此解答底下回覆數量(目前此功能好像被移除了)。
createdTime：創建日期時間。

* 抓取解答(留言)時要注意，如果此問題有"最佳解答"，則此解答並不會出現在"解答列表"的回應裡，而是會在"問題詳細資料"回應資料裡的 bestAnswer 參數中，因此要注意不要遺漏掉了。

範例：解答列表 JSON 資料 answer_list_data.json

範例程式碼

附上範例程式碼： yahoo_answers_spider.py
(對超連結右鍵 > 另存連結為…)

延伸練習

試著爬取一篇問題，並將問題以及各解答挑出想要的幾個欄位，並儲存成適合的檔案(TXT文字檔、JSON)。

結語

一開始我在測試抓取"Yahoo奇摩知識+"時，不知道為何 Header 都給一樣了，還是一直無法成功請求到資料。後來改使用 Postman 這項工具測試，才發覺 content-type 要帶 'application/json'，也學到了一個😙。

如果你對於 Python、爬蟲、網頁感興趣的話，我後續還會繼續寫相關的文章，歡迎來追蹤 FB 粉專『 IT空間』~

人生就像天空一樣，有季節更迭，時刻在變；
它雖然不會一直晴空萬里，但也不會總是大雪紛飛。

—— 《鬼滅之刃》

[Python爬蟲實例] 如何爬取"蝦皮購物"的商品、評價資料？

jia@jiatool.com (Jia) — Sun, 28 Feb 2021 21:00:00 +0800

前言

蝦皮購物網頁後來有加入更多反爬蟲機制，以下文章說明的內容已過時，可以當作參考資料來學習。

大家都喜歡買東西，而現代人購物很大一部份會從線上的購物平台來尋找，像是台灣前幾大的 PChome24h購物、momo購物網、蝦皮購物、露天拍賣等等。

這次的 Python網路爬蟲實例系列要來挖掘 "蝦皮購物" ，試著說明如何抓取各項商品資訊、評價資料，跟著文章體驗爬蟲的樂趣吧~

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

線上購物 (來源：Unsplash)

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

尋找抓取資料的方法

我們想要爬取"搜尋商品結果"頁面的商品資訊，以下以搜尋 "手機保護殼" 來示範。

前往蝦皮購物網站，一開始當然是打開我們熟悉的 開發人員工具 (F12 或 Ctrl + Shift + i)，切換到"Network" > "XHR"，並在網頁上方搜尋欄打入關鍵字、點擊搜尋。

搜尋商品結果

接著在開發人員工具頁面中，它會記錄著每個請求，從中尋找蝦皮購物是否採用動態載入的方式載入資料，可以一個一個查看，或使用搜尋(Ctrl+f)來找商品名稱。

在其中一條 ?by=relevancy&keyword=... 開頭的請求中發現了搜尋結果商品資訊。

"Network" > "XHR" 動態載入

開發人員工具切換到"Headers"頁面查看請求的網址與方法。

"Headers"頁面

請求網址：https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=手機保護殼&limit=50&newest=0&order=desc&page_type=search&version=2
請求方法：GET

但如果你直接拿此網址去用 Python requests.get(url)，會發現回傳資料會不完整、裡面的多項數據也是錯誤的，只在 Headers 加上 user-agent 顯然是不夠的。
經過我的測試，將 referer 加入 Headers 後資料就完整了。
(放到 referer 前記得要將 url 編碼才不會噴錯)

但又遇到一個問題，仔細看會發現，怎麼取得的資料和網頁上看到的順序不一樣？！
首先猜測 Headers 是否還缺少哪個參數導致，經過多次嘗試後，發覺是 x-api-source 與 cookie。

x-api-source 帶入 pc 即可，很簡單。
但 cookie 則需要當中的 SPC_SI 值，這個值該從何而來。

我將 SPC_SI 的值貼到搜尋(Ctrl+f)，來找找這個值是從哪邊來的。
發現其中一個是在請求 https://shopee.tw/api/v4/search/product_labels 後，返回的結果 set-cookie 中有設定 SPC_SI。

因此這部分我就先嘗試使用 requests 的 Session，他會把每次請求都算在同一個 session 裡，像是 cookie 之類的都會保持，這樣我就不用還要將 cookie 讀出來，下一次請求再設定了。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


import requests
import urllib
keyword = '手機保護殼'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68',
'x-api-source': 'pc',
'referer': f'https://shopee.tw/search?keyword={urllib.parse.quote(keyword)}'
}
s = requests.Session()
url = 'https://shopee.tw/api/v4/search/product_labels'
r = s.get(url, headers=headers)
base_url = 'https://shopee.tw/api/v2/search_items/'
query = f"by=relevancy&keyword={keyword}&limit=50&newest=0&order=desc&page_type=search&version=2"
url = base_url + '?' + query
r = s.get(url, headers=headers)
if r.status_code == requests.codes.ok:
data = r.json()
# with open('shopee.json', 'w', encoding='utf-8') as f:
# f.write(r.text)

回傳資料是 JSON 格式，可以使用 requests 提供的 r.json() 轉換。

其他兩個"商品資訊"與"評價資訊"都是採用同樣的方法來尋找請求網址，這邊就不再重複說明。

下面我將"搜尋商品"、"商品資訊"、"評分資訊"所找出來的請求路徑、參數內容及回傳資料整理出來說明。

搜尋商品

搜尋商品的頁面大致上能分為三個部分，藍色方框為商品結果、綠色方框為篩選功能(雖然應該算排序)、紫色方框為條件篩選。

搜尋商品結果板塊

請求路徑

GET https://shopee.tw/api/v2/search_items/?by=relevancy&keyword={關鍵字}&limit=50&newest=0&order=desc&page_type=search&version=2

範例：https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=手機保護殼&limit=50&newest=0&order=desc&page_type=search&version=2

referer：https://shopee.tw/search?keyword={關鍵字}
(也就是搜尋頁面網址，記得將 url 編碼)

請求參數

來看一下請求網址帶的參數有哪些：

by 和 order 排序用，也就是網頁上面這欄(雖然它這邊是寫篩選，但其功能是排序)：

排序用欄位

篩選	by	order
綜合排名	relevancy	desc
最新	ctime	desc
熱銷	sales	desc
價格(高到低)	price	desc
價格(低到高)	price	asc

keyword：很明顯就是想要搜尋的關鍵字。
limit：一次請求最大回傳的結果數量，預設20個、最多100個，但如果給超過100個，會回傳10個。
newest：偏移量的概念，如果limit設50、newest設100，就如同取得第三頁(第101~150個)。
page_type：設定search代表我們使用搜尋。還有像是shop，則用在查看某一賣場內商品。
version：可能是指 API 的版本。
條件篩選
在網頁左邊的位置，有許多類別可以選擇，底下會一一介紹，至於參數的值，某些數量較多就不全部列出了(像是"用送方式"、"分類"、"品牌")。

條件篩選

如果有使用"條件篩選"，請求會再多加上 skip_autocorrect=1 (跳過自動修正)，這個參數不確定會產生怎樣的影響。

某些參數可以給多個值，其中就使用,隔開，例如運送方式要"全家、7-11"，參數就設定為shippings=1,2

條件	參數
運送方式
全家	shippings=1
7-11	shippings=2
賣家宅配	shippings=8

出貨地點
台灣	locations=-1
海外	locations=-2

分類
ASUS保護殼	categoryids=7964
卡通殼	categoryids=17360

品牌
NOKIA	brandids=137374
ASUS	brandids=4747

價格
最小 100 元	price_min=100
最大 500 元	price_max=500

評價
5星	rating_filter=5
4星或以上	rating_filter=4

賣場類型
蝦皮商城	official_mall=1
蝦皮優選	shopee_verified=1

商品保存狀況
新商品	conditions=new
二手商品	conditions=used

付款方式
信用卡	pay_credit_card=1

服務與促銷
目前有折扣	with_discount=true
運費補助	shipping_fee_included=true
商城最低價	filter_lowest_price_guarantee=1
多件優惠	wholesale=1
影音介紹	filter_video=1
快速出貨	label_ids=1000028
蝦幣回饋	label_ids=1000040

* "商品保存狀況"裡如果你兩個都勾，會等於兩個都不勾。

* 舉例來說：
我查詢"手機保護殼"，並以"最熱銷"排序，
條件篩選有"運送方式 7-11"、"價格最高 600 元"、"評價四星或以上"、"新商品"，
一次最多 100 筆商品
https://shopee.tw/api/v2/search_items/?by=sales&conditions=new&keyword=手機保護殼&limit=100&newest=0&order=desc&page_type=search&price_max=600&rating_filter=4&shippings=2&skip_autocorrect=1&version=2

回傳資料

它以 JSON 格式回傳，商品會在 items 欄位內，每一個商品有許多欄位，這邊挑幾個來說明。

欄位	代表意思
itemid	商品ID
shopid	賣場ID
name	商品名稱
brand	品牌
shop_location	賣場位置(出貨地)
ctime	上架時間(時間戳)
can_use_wholesale	是否有多件優惠
show_free_shipping	是否顯示免運
shopee_verified	是否為蝦皮優選
show_shopee_verified_label	是否顯示蝦皮優選標籤
is_official_shop	是否為官方商店
show_official_shop_label	是否顯示官方商店標籤
show_official_shop_label_in_title	是否在標題中顯示官方商店標籤
is_adult	是否為成人商品
historical_sold	已售出數量
stock	庫存
liked_count	喜歡數
view_count	瀏覽數
currency	貨幣
has_lowest_price_guarantee	最低價格保證
discount	折扣
price	價格(要再除100000)
price_before_discount	折扣前價格
price_min	價格範圍(最低)
price_max	價格範圍(最高)
price_min_before_discount	折扣前價格範圍(最低)
price_max_before_discount	折扣前價格範圍(最高)
cmt_count	評價數量
item_rating	評價
image	商品圖片(封面)
images	商品圖片
video_info_list	影片
tier_variations	規格
voucher_info	優惠券資訊

* 回傳資料裡面並無"商品網址"，要自己串，如下所示：
https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
https://shopee.tw/犀牛盾-iPhone12-11-Pro-Mini-Se-XR-7-8-Xs-Max-手機-防摔殼-防摔邊框-台灣公司貨-i.9060351.1558498138

商品名稱中間加如有 " "(空白) 或 "/" 要轉換成 "-"，而且如有連續多個也要合併成一個。
但…我發現商品網址其實不一定需要"商品網址"，就算這部分隨便給也都可以(但不能不給)，像是上方範例改成這樣也可😆。
https://shopee.tw/一代一代-i.9060351.1558498138

[更新 2021/04/04] "商品網址"還有另一種樣式，就不需要包含商品名稱了，如下：
https://shopee.tw/product/{賣場ID}/{商品ID}
https://shopee.tw/product/6453718/103810019

* 商品圖片是一串碼，要取得圖片網址需再如下自行補上，如要取得其縮圖(解析度較低、檔案較小)則再加上 _tn 即可：
圖片網址：https://cf.shopee.tw/file/a8b82098b055a69c3b63b73fe1978caf
縮圖網址：https://cf.shopee.tw/file/a8b82098b055a69c3b63b73fe1978caf_tn

* 影片網址則是先從 video_info_list 讀到 video_id，再如下組成網址：
影片網址：https://cv.shopee.tw/video/JmkCD3CvRP50uxb-

* 可以從 adsid 是否有值來判斷這間商品是否為廣告。

商品資訊

在商品頁面取得，相比上方"搜尋商品"得到的資訊來說，這邊會有更多的資訊，例如商品詳情、各規格較詳細資訊等等。

商品頁面

請求路徑

GET https://shopee.tw/api/v2/item/get?itemid={商品ID}&shopid={賣場ID}

範例：https://shopee.tw/api/v2/item/get?itemid=1558498138&shopid=9060351

referer：https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
(也就是此商品網址，還有記得將 url 編碼)
[更新 2021/04/04] 或是 https://shopee.tw/product/{賣場ID}/{商品ID}

請求參數

參數很簡單，就只有 itemid 和 shopid 兩項：

itemid：商品ID。
shopid：賣場ID。

回傳資料

同樣是以 JSON 格式回傳，資料內欄位很多，但大部分欄位都跟上面"搜尋商品"一樣，這邊列出幾個上面沒有但較重要的欄位：

欄位	代表意思
description	商品詳情
estimated_days	估計出貨天數
models	各規格較詳細資訊

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273


{
"item": {
"itemid": 6155409258,
"price_max_before_discount": -1,
"item_status": "normal",
"can_use_wholesale": false,
"show_free_shipping": false,
"estimated_days": 20,
"is_hot_sales": null,
"is_slash_price_item": false,
"upcoming_flash_sale": null,
"slash_lowest_price": null,
"is_partial_fulfilled": false,
"condition": 1,
"show_original_guarantee": false,
"add_on_deal_info": null,
"is_non_cc_installment_payment_eligible": false,
"categories": [
{
"display_name": "手機平板與周邊",
"catid": 70,
"image": null,
"no_sub": false,
"is_default_subcat": false,
"block_buyer_platform": null
},
{
"display_name": "手機周邊配件",
"catid": 1579,
"image": null,
"no_sub": false,
"is_default_subcat": false,
"block_buyer_platform": null
},
{
"display_name": "轉接電視棒、線",
"catid": 16762,
"image": null,
"no_sub": true,
"is_default_subcat": false,
"block_buyer_platform": null
}
],
"ctime": 1601691912,
"name": "【WoW世界代購】2020 Google Chromecast with Google TV 4k HDMI媒體串流播放",
"show_shopee_verified_label": false,
"size_chart": null,
"is_pre_order": true,
"service_by_shopee_flag": null,
"historical_sold": 1428,
"reference_item_id": "",
"recommendation_info": null,
"bundle_deal_info": null,
"price_max": 210000000,
"has_lowest_price_guarantee": false,
"shipping_icon_type": 0,
"images": [
"82ddad81bd0cc6b03d797acbdf51c7cd",
"bb192fb5989cef4358a5377100965fd8",
"1ee7c425fedb0b5f0cfef7dddf475ec1",
"f0df75429124a11407597908abf76f7f",
"46d282f0742b2ea5fe9a21fafacf6c03",
"044f715ffd1e982989aa50fd35370bcc",
"6a8bf7deb89df6cc49edd27612cc8604"
],
"price_before_discount": 0,
"cod_flag": 0,
"catid": 70,
"is_official_shop": false,
"coin_earn_label": null,
"hashtag_list": null,
"sold": 210,
"makeup": null,
"item_rating": {
"rating_star": 4.96895,
"rating_count": [
1096,
1,
2,
3,
21,
1069
],
"rcount_with_image": 150,
"rcount_with_context": 305
},
"show_official_shop_label_in_title": false,
"discount": null,
"reason": null,
"label_ids": [
1001276,
1000575,
1000630,
1002199,
1002826
],
"has_group_buy_stock": false,
"other_stock": 35,
"deep_discount": null,
"attributes": [
{
"is_pending_qc": false,
"idx": 0,
"value": "Google",
"id": 7958,
"is_timestamp": false,
"name": "品牌"
}
],
"badge_icon_type": 0,
"liked": false,
"cmt_count": 1096,
"image": "82ddad81bd0cc6b03d797acbdf51c7cd",
"recommendation_algorithm": null,
"is_cc_installment_payment_eligible": true,
"shopid": 3149132,
"normal_stock": 35,
"video_info_list": [],
"installment_plans": null,
"view_count": 15059,
"voucher_info": null,
"current_promotion_has_reserve_stock": false,
"liked_count": 934,
"show_official_shop_label": false,
"price_min_before_discount": -1,
"show_discount": 0,
"preview_info": null,
"flag": 720896,
"exclusive_price_info": null,
"current_promotion_reserved_stock": 0,
"wholesale_tier_list": [],
"group_buy_info": null,
"shopee_verified": false,
"item_has_post": false,
"hidden_price_display": null,
"transparent_background_image": "",
"welcome_package_info": null,
"discount_stock": 0,
"coin_info": {
"spend_cash_unit": 100000,
"coin_earn_items": []
},
"is_adult": false,
"currency": "TWD",
"raw_discount": 0,
"is_preferred_plus_seller": false,
"is_category_failed": false,
"price_min": 210000000,
"can_use_bundle_deal": false,
"cb_option": 0,
"brand": "",
"stock": 35,
"status": 1,
"bundle_deal_id": 0,
"is_group_buy_item": null,
"description": "原廠保固一年，我們免費代送保固哦！\n\n下單後才代購，預計3/9左右抵台灣出貨，出貨時會通知，......",
"flash_sale": null,
"models": [
{
"itemid": 6155409258,
"status": 1,
"current_promotion_reserved_stock": 0,
"name": "粉紅（缺貨）",
"promotionid": 0,
"price": 220000000,
"price_stocks": [
{
"model_id": 23792748542,
"stockout_time": 1609939591,
"region": "TW",
"rebate": null,
"price": 220000000,
"promotion_type": 0,
"allocated_stock": null,
"shop_id": 3149132,
"end_time": null,
"stock_breakdown_by_location": [],
"item_id": 6155409258,
"promotion_id": 0,
"purchase_limit": null,
"start_time": null,
"stock": 0
}
],
"current_promotion_has_reserve_stock": false,
"currency": "TWD",
"normal_stock": 0,
"extinfo": {
"seller_promotion_limit": null,
"has_shopee_promo": null,
"group_buy_info": null,
"holiday_mode_old_stock": null,
"tier_index": [
2
],
"seller_promotion_refresh_time": 0
},
"price_before_discount": 0,
"modelid": 23792748542,
"sold": 1,
"stock": 0
},
{
"itemid": 6155409258,
"status": 1,
"current_promotion_reserved_stock": 0,
"name": "白色snow(3/9出貨)",
"promotionid": 0,
"price": 210000000,
"price_stocks": [
{
"model_id": 51236728441,
"stockout_time": 0,
"region": "TW",
"rebate": null,
"price": 210000000,
"promotion_type": 0,
"allocated_stock": null,
"shop_id": 3149132,
"end_time": null,
"stock_breakdown_by_location": [],
"item_id": 6155409258,
"promotion_id": 0,
"purchase_limit": null,
"start_time": null,
"stock": 35
}
],
"current_promotion_has_reserve_stock": false,
"currency": "TWD",
"normal_stock": 35,
"extinfo": {
"seller_promotion_limit": null,
"has_shopee_promo": null,
"group_buy_info": null,
"holiday_mode_old_stock": null,
"tier_index": [
0
],
"seller_promotion_refresh_time": 0
},
"price_before_discount": 0,
"modelid": 51236728441,
"sold": 1329,
"stock": 35
}
],
"has_low_fulfillment_rate": false,
"price": 210000000,
"shop_location": "高雄市苓雅區",
"tier_variations": [
{
"images": [],
"properties": [],
"type": 0,
"name": "顏色",
"options": [
"白色snow(3/9出貨)",
"粉紅（缺貨）"
]
}
],
"can_use_cod": null,
"makeups": null,
"welcome_package_type": 0,
"show_official_shop_label_in_normal_position": null,
"item_type": 0
},
"version": "3ce549a98de8723d3e24613cc448f7f8",
"data": null,
"error_msg": null,
"error": null
}

評價資訊

評價資訊指的是商品頁面底下，買家對於此商品的評分、評論、照片、影片等資料。

評價資訊

請求路徑

GET https://shopee.tw/api/v2/item/get_ratings?filter=0&flag=1&itemid={商品ID}&limit=6&offset=0&shopid={賣場ID}&type=0

範例：https://shopee.tw/api/v2/item/get_ratings?filter=0&flag=1&itemid=1558498138&limit=6&offset=0&shopid=9060351&type=0

referer：https://shopee.tw/{商品名稱}-i.{賣場ID}.{商品ID}
(同樣是此商品網址，一樣記得將 url 編碼)

請求參數

來看一下評價資訊的請求網址帶哪些參數：

shopid：賣場ID。
itemid：商品ID。
flag 和 type：篩選條件。

篩選	filter	type
全部留言	0	0
五星留言	0	5
四星留言	0	4
三星留言	0	3
二星留言	0	2
一星留言	0	1
附上評論	1	0
附上照片/影片	3	0

* 經過嘗試，發現兩者貌似無法混用，例如無法篩選"附上評論的三星留言"這樣。

limit：一次請求最大回傳的結果數量，預設 15 個、最多 59 個，但如果給超過 59 個，反而會回傳 0 個。
offset：偏移值。
flag：未知。

回傳資料

它也是以 JSON 格式回傳，data 底下有 item_rating_summary 與 ratings 兩個欄位。
item_rating_summary 是總評價的統計，像是總評分為幾分、有幾個五星評價、有幾個加上照片/影片的評價；ratings 裡面就是各評價的詳細資料。

以下我列出一些各評價中比較重要的欄位，如與上方有重複的就不再寫出來：

欄位	代表意思
rating_star	評分(星等)
author_portrait	作者大頭照
cmtid	評價ID
author_username	評分者帳號
author_shopid	評分者賣場ID
comment	評論
anonymous	是否匿名
ctime	創建評分時間(時間戳)
mtime	修改評分時間(時間戳)
product_items > model_name	評分者購買商品的規格
ItemRatingReply	賣家回應

* 作者大頭照與之前圖片一樣，網址 https://cf.shopee.tw/file/ 再加上圖片ID即可。

* 這邊影片網址不需要再像上面那樣串，它直接給影片網址了。

延伸練習

試著將"搜尋商品"、"商品資訊"、"評分資訊"的抓取資料挑選、整理之後，儲存到檔案(txt、csv、json)中。
以上文章說明抓取"搜尋商品"、"商品資訊"、"評分資訊"，請試著自己寫寫看"如何取得指定賣場內商品"？
例如： Logitech羅技官方旗艦館裡頭所販售的所有商品。

注意事項

後來發現如果短時間太頻繁的送出請求，會被伺服器阻擋，貌似正常獲得資料，但其實仔細看會發現資料有誤，例如價格很明顯不正確等等。

結語

在尋找、爬取"蝦皮購物"的相關資料時會覺得很有趣，因為它是使用 API 的方式去請求資料，也不用自己寫 BeautifulSoup 來解析網頁，一步步尋找個參數代表什麼意思，我想這也是在寫爬蟲程式過程的樂趣吧。

之後會繼續陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料，又或遇到其他問題，歡迎參考與在底下留言喔~🔖

逆風的方向，更適合飛翔，我不怕千萬人阻擋，只怕自己投降。

—— 五月天《倔強》

《PUI PUI 天竺鼠車車》簡單趨勢分析，同場加映：Python 爬取 Google 每日搜尋趨勢

jia@jiatool.com (Jia) — Sun, 07 Feb 2021 20:30:00 +0800

前言

小孩才看鬼滅之刃，大人都看天竺鼠車車！！
最近《PUI PUI 天竺鼠車車》超紅🔥🔥🔥，算是繼鬼滅之刃後下一個爆紅的動畫作品，不曉得你上車了嗎？

本篇文章第一部分會介紹這部爆紅的作品《PUI PUI 天竺鼠車車》，接下來將簡單帶大家來看天竺鼠車車在台灣的趨勢，最後還會有 Python 爬取 "Google 每日搜尋趨勢" 的講解與教學，千萬不要錯過！！

《PUI PUI 天竺鼠車車》圖片來源：PUI PUI 天竺鼠車車官方網站

🐹《天竺鼠車車》介紹

天竺鼠車車全名《PUI PUI 天竺鼠車車》，為日本原創採用羊毛氈製作的電視定格動畫，"PUI PUI"是代表天竺鼠真實的叫聲，每話片長非常短只有 2 分 40 秒，而且是沒有對話或旁白的。
(原本是做給兒童看的，沒想到在大人間爆紅🤣)

引用 Muse木棉花-TW 內簡介

故事舞臺發生在一個天竺鼠變成車子的世界。療癒系的車“天竺鼠車車”。圓滾滾的眼睛和又大又圓的屁股，短短的手腳。常常一臉傻乎乎地四處奔波的天竺鼠車車。
即使塞車了，只要看著前面的天竺鼠車車的屁股就能被療癒，就算製造了一些麻煩，因為毛茸茸太可愛了也能原諒吧？！
以汽車各式各樣的情境為中心的療癒、友情、冒險、亂七八糟的動作戲以及超多天竺鼠的動畫！

引用巴哈姆特動畫瘋內簡介

《PUI PUI 天竺鼠車車》是以羊毛氈天竺鼠來創作的偶動畫，如果將車子通通「擬豬化」，這個世界會變得如何呢？
以天竺鼠作為交通工具的世界觀，發展出一連串療癒、友情與冒險的故事。變成車子的天竺鼠，還是保有豬豬的個性，會排隊行動，容易驚嚇，又因為貪吃而爭先恐後引發大騷動，只差沒有黑豆噴射攻擊了！而且用羊毛氈表現的天竺鼠表情，實在是很寫實逗趣啊！
動畫監督見里朝希，以偶動畫創作獲得多項國際大獎，劇名裡的「PUI PUI」就是天竺鼠的叫聲。

《PUI PUI 天竺鼠車車》圖片來源：Muse木棉花 FB粉專

如還你沒看過、想要觀看，歡迎至以下正版平台收看。
(1/5(二) 起，每週二 07:35 與日同步更新)

題外話，之前看到一篇文章訪問、講解為何木棉花代理動畫卻免費放送，因盜版猖獗，有許多非常途徑可以看到動畫，因此木棉花轉變觀念，希望由動漫帶動後面周邊商品開發、授權聯名等營業項目。
有興趣的朋友可以過去看看：《鬼滅》《天竺鼠車車》幕後推手！代理動畫卻免費放送，木棉花在想什麼？

🐹《天竺鼠車車》在台灣的 Google 搜尋趨勢

在 Google 趨勢探索頁面，我將 "天竺鼠" 與 "天竺鼠車車" 關鍵字輸入，一同觀看《天竺鼠車車》從 2021 年 1 月 5 日開播以來的搜尋趨勢變化，這邊關鍵字我輸入 "天竺鼠" 和 "天竺鼠車車" 兩個，因為可能很多人搜尋不會將全名打出來。
並且我將前五話的播出時間點標記出來，方便對照觀察。

"天竺鼠" 搜尋趨勢 2021/01/01~2021/02/05

明顯看出一開始並沒有造成話題，但在 1/20 達到顛峰，也就是在星期二(1/19) 第 03 話播出後的隔天最多人搜尋，仔細想想大部分的人聽到、知道這部動畫應該也是差不多那個時候，而且如果去搜尋天竺鼠車車相關文章與影片(討論、分析)，會發現許多都是在第 03 話附近的時間點發文的。
然後在後續第 04 話、第 05 話播出當天，搜尋量也有小幅提升。

接下來看看 Google 每日搜尋趨勢，尋找 "天竺鼠車車" 是否有登上哪一天的台灣搜尋排行榜。

我簡單使用 Python 來爬取每一天的 Google 每日搜尋趨勢(後面會再說明該如何做到)，發現到從開播以來只有 1/19 當天上榜，直接衝上第二名，在台灣的搜尋量達到 10 萬多筆。

"天竺鼠車車" Google 每日搜尋趨勢

我來稍微說明一下，可能看到"探索"圖表我輸入的關鍵字有人會感到疑惑，為何是輸入"天竺鼠車車"而不是"天竺鼠車車"，中間幹嘛要加入空格呢？
這邊是經過嘗試並參考以下文章內提到 Google Trends 中文分詞的 bug，所以修正關鍵字的。
揭密 Google Trends 正確使用方式：為何 90% 人都用錯 Google Trends？｜Google Trends 教學

🐹爬取 "Google 每日搜尋趨勢"

這邊要注意，底下的教學是爬取 "每日搜尋趨勢" ，而不是可以自行輸入關鍵字的 "探索" 。
"探索" 功能之後有機會會再寫一篇文章來介紹，想看的麻煩在本文章底下、巴哈姆特或 FB粉專留言讓我知道~

Google "每日搜尋趨勢" 與 "探索"

尋找爬取方法

首先進到 "Google 每日搜尋趨勢" 網頁，上方可以選擇國家，底下是依照每天使用者在 Google 搜尋量來排名。

當我們把網頁滾到最下面，發現到有 "載入更多" 的按鈕，我們可以猜測網頁是否使用 JavaScript 來動態載入更多資料。
打開瀏覽器的"開發人員工具(F12)"，並切換到 "Network" > "XHR" 頁面，滑鼠點擊"載入更多"按鈕。

"開發人員工具(F12)" > "Network" > "XHR"

可以發現確實網頁有新資料顯示，"XHR" 頁面也有一個 GET 請求。

點擊"載入更多"後會載入更多資料

滑鼠對它點擊，切到 "Preview" 稍微觀察一下資料。
沒錯！！這就是我們想要抓取的資料。

"Preview" 頁面

在 "Headers" 的地方可以找到請求的網址與方法：

"Headers" 有請求的網址與方法

Request URL: https://trends.google.com.tw/trends/api/dailytrends?hl=zh-TW&tz=-480&ed=20210203&geo=TW&ns=15
Request Method: GET

從請求網址後方可以發現它有帶五個傳遞參數(網址?後方)，分別如下：

hl: zh-TW
tz: -480
ed: 20210206
geo: TW
ns: 15

hl 代表語言，台灣的繁體中文是zh-TW。其他語言可以藉由切換網頁上的語言來查看送出的請求他帶什麼數值，或參考此網頁列表。
tz 代表時區偏移量，單位是分鐘，因此台灣時區是 +8 也就是 8*60=480，然後負的代表我們時間要減 480 分鐘才會等於格林威治標準時間。
geo 代表國家縮寫，例如台灣是TW、美國是US。
ed 代表查詢的日期，採"年年年年月月日日"的方式排列，像是 "20200520"、"20210207"。
ns 目前尚未查到它代表什麼意思。

而收到的資料中，最前方第一行有段干擾的文字「)]}',\n」，後方才是正確的 json 格式資料。

"Response" 頁面可察看回應資料

裡頭的資料跟你在網頁會看到的差不多，關鍵字、搜尋量、相關新聞、相關查詢、圖片連結、關鍵字探索連結等等。

Python 範例程式

接下來，我們將以上流程寫成 Python 程式，以下示範請求 2021/02/01 當天台灣的 Google 每日搜尋趨勢：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import json
import requests
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
date_str = '20210201'
url = f'https://trends.google.com.tw/trends/api/dailytrends?hl=zh-TW&geo=TW&tz=-480&ns=15&ed={date_str}'
r = requests.get(url, headers=HEADERS)
if r.status_code == requests.codes.ok:
data = r.text.lstrip(")]}',\n")
data_json = json.loads(data)
trends = data_json['default']['trendingSearchesDays'][0]
print(trends)
else:
print(f'請求失敗：{r.status_code}')

而經過測試，Google 每日搜尋趨勢最多提供最近 30 天的資料，每天最多前 20 個熱門關鍵字，好像當天關鍵字搜尋量不到 2000+ 就不會排出來，所以有些天數的熱門關鍵字不到 20 個。

如果你想使用迴圈來一次爬取好幾個日期，可以參考以下方式來取得一段日期列表，再執行迴圈來請求：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from datetime import date, timedelta
base_date = date.today()
days_num = 3
date_list = [base_date - timedelta(days=x) for x in range(days_num)]
# ['20210206', '20210205', '20210204']
for date_ in date_list:
date_str = date_.strftime("%Y%m%d")
# ...

* 記得多次請求之間要加入一點延遲，才不會被擋ㄛ~

結語

如果你還沒看過《PUI PUI 天竺鼠車車》的話，趕緊去各正版平台觀看，反正每話也才不到 3 分鐘，一下子就看完了🤣

最後提醒，在飼養動物都要了解其習性，並評估自身及經濟狀況，不要因為一時熱潮而衝動購買，要尊重生命。

參考：
PUI PUI 天竺鼠車車官方網站
 Muse木棉花 YouTube 官方頻道
 巴哈姆特動畫瘋

PUI~PUI~PUI~PUI~PUI~PUI~PUI~PUI~PUI~

—— 天竺鼠

Google 搜尋結果 API — Aves API 完整教學

jia@jiatool.com (Jia) — Sat, 30 Jan 2021 20:55:00 +0800

(先澄清，以下非業配，純粹依個人使用過程描述。)

前言

因為某原因，需要爬取"Google 搜尋"頁面上的資料，沒多久前舊有的網頁爬蟲請求失敗了!! (不妙啊…

後來多次嘗試，也改用手機網路分享(不同IP)測試，也是遇到同樣的問題"HTTP Error 429: Too Many Requests"，並需要通過 reCAPTCHA 驗證。
📢 白話翻譯：你短時間送出太多請求了，一般人不可能這麼頻繁，我嚴重懷疑你是機器人，先出個題目讓你回答( 順便賺個免費勞工幫我們訓練機器學習 )，等確定你是真人再給你資料。

後來想說為了穩定及時間因素，不要我們自己手動爬取、絞盡腦汁突破了，請求外援看看XD

Photo by Harry Brewer on Unsplash

尋找 Google 搜尋 API

先去 Google 官網看看是否提供對應功能的 API，結果是有 Custom Search JSON API ，但每天只免費提供 100 次搜尋，額外請求的費用為每 1000 個搜尋 5 美元，每天最多 1 萬次搜尋。
這對我來說免費額度遠遠不夠，加購的價格又超貴 QAQ

官方提供的不行，不然找找看網路上，有沒有別人提供免費或付費的 Google 搜尋 API 服務可以使用呢？因為感覺某些資訊公司也會有這種需求。

後來找到「 Aves API 」，其他有提供類似的服務還有「 SerpApi 」、「 Rapid API 」、「 zenserp 」、「 ScraperBox 」、「 DataForSEO 」……等可以參考，多方去比較，找到最符合自己需求的服務。

最後我選擇 Aves API，會選擇這個最主要的因素 – 便宜😅，這是我目前找到最便宜的，而且它計費的方式與其他有些不同，它是類似儲值的概念，你用多少就扣多少，沒有時間上的限制，而其他比較常見的是按月付款。

Aves API 官網

測試頁面

在 Aves API 官網首頁上有個可以實際輸入關鍵字，查看它回傳的資料是那些、長怎麼樣的即時測試頁面(Live Demo) ，能在此先測試是否有符合自己的需求。

即時測試頁面(Live Demo)

API 相關文檔

官方網站 API 文檔

錯誤狀態代碼

如果請求收到錯誤狀態代碼，可以在這邊查看是什麼原因，例如：API 金鑰無效、缺少查詢參數、帳戶額度不足。

API 參數

註冊後會取得唯一的 API Key(金鑰)，送出請求時要代入。
API 網址如下：

https://api.avesapi.com/search?apikey=YOUR_API_KEY

(使用 GET 方式送出請求，等同於你在瀏覽器直接輸入網址啦！)

而此 API 目前可帶參數有以下這些：

參數	代表意思	預設
`apikey`	[必要] 你的 API Key(金鑰)。	[無]
`query`	[必要] 要搜尋的關鍵字。	[無]
`device`	指定搜尋裝置平台：`desktop` 或 `mobile`。	`desktop`
`location`	指定位置參數，有助於取得基於位置的搜索結果。提供的位置在 places.json 此檔案內所列出來的，需要的話就帶入`place_slug`中的值。台灣可以使用`"tw"`在檔案內搜尋，例如有`taipei`、`taichung`、`tainan`、`kaohsiung`等地點。	[無]
`google_domain`	指定 Google 網域，支援的列表 google-domains.json 。台灣是 `google.com.tw`。	`google.com`
`gl`	指定查詢的國家代碼(預設美國)，支援的列表 countries.json 。台灣是 `tw`。	`us`
`hl`	指定查詢的語言(預設美語)，支援的列表 languages.json 。繁體中文是 `Chinese (Traditional)`。	`en`
`num`	指定每頁顯示的結果數，測試最多到`100`。	`10`
`page`	指定頁數(1~10頁)。	`1`
`uule`	Returns the location based search results. (好像可以設定精確位置，但我不了解。)	[無]
`output`	API 回應資料的格式：`json` 或 `html`。	`json`

* 還有我發現在它 API Playground 頁面，還有一個的參數是type，代表搜尋種類，有 web(預設)、image、news 可選，但這個參數我還沒實際試過。

使用範例

舉例來說，我想要在 google.com.tw 網域上搜尋"手機"，國家設定台灣、語言當然是繁體中文，想要看前 100 個搜尋結果，就如下代入參數請求：

https://api.avesapi.com/search?apikey={your-api-key}&query=手機&google_domain=google.com.tw&gl=tw&hl=zh-tw&num=100

或者參數也可以以字典(Dictionary)的方式呈現。
在此使用 Python 程式來示範。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


your_api_key = 'XXXXXXXXXX'
keyword = '手機'
api_url = 'https://api.avesapi.com/search'
params = {
'apikey': your_api_key,
'type': 'web',
'query': keyword,
'device': 'desktop',
'google_domain': 'google.com.tw',
'gl': 'tw',
'hl': 'zh-tw',
'output': 'json',
'num': 100
}
r = requests.get(url=api_url, params=params, timeout=35)
if r.status_code == requests.codes.ok:
print(r.json())

回應資料如此： avesapi_data.json

除了一般的搜尋結果與排名，如果搜尋結果內還有"圖片"、"影片"、"地圖"、"相關搜尋關鍵字"，它一樣也可以取得。

圖片範例

影片範例

地圖範例

相關搜尋關鍵字範例

網站後台

當你註冊後登入，即可進入後台頁面去查看更多相關資訊。

其中有幾個重要的頁面：

儀錶板(Dashboard)

像是你還剩多少額度、最近請求的紀錄、每天使用量等等，以圖表來呈現。

Dashboard 頁面

API Playground

API Playground 以圖形化的操作頁面，讓你可以實際選擇參數、送出請求，並查看回傳的資料。如果你發現使用自己寫的程式，都沒有成功的話，也可以在此頁面測試，藉此排除是否是 API 的問題。
但要注意，這邊請求會帶上自己的 API Key，因此每一次請求也是會扣積分的哦！

API Playground 頁面

剩下的是一些購買頁面、購買紀錄、個人資料等等，這邊我就不展示了。

注意事項

有時因他們伺服器問題，會發生請求回應失敗，無法取得資料的情況，這時再重新送出請求一次即可，這個不會扣除積分。
使用發現有時請求會發生 timeout 逾時，沒有成功取得資料，但卻還是被扣了一個積分額度。
與客服聯繫後得知，此 API 請求最大 timeout 為 30 秒，也就是說如果我requests.get(url, timeout=20) 設定 20 秒，但伺服器在 25 秒時才回覆資料，那我程式這邊雖然是 timeout，但他們是有送出資料(一樣算成功請求，會被扣積分)。所以建議 requests 中 timeout 要設定大於 30 秒。
API 文檔有列出一些禁止的關鍵字，例如：site:、domain:、title:、before:……，可能因為這些進階查詢讓他們系統比較容易被檔吧(?)，如果使用這類關鍵字查詢的話，每個成功請求會被扣 25 個積分。

結語

因為 Google 搜尋結果相關的 API 我也只使用過這一款，所以沒辦法跟你說是不是這個就是最好，但其實這類的服務大同小異，需要的話可以自行比較看看，官網文檔是否完整詳細、客服回應速度如何、是否提供台灣中文搜尋參數、計費方式、網路上別人的評價推薦。
最好也註冊一個帳號，用免費的額度嘗試，是否有達到自己的需求。

* 要注意某些網站可能沒有提供免費額度

參考：
Google Custom Search JSON API 官網
 Aves API 官網

又一天過去了。今天覺得如何呢？
夢想是不是又更遠了？

—— 每天來點負能量

Requests 套件發生 requests.exceptions.SSLError: certificate verify failed 錯誤，無法請求網頁

jia@jiatool.com (Jia) — Sun, 17 Jan 2021 20:30:00 +0800

問題

在使用 Requests 套件送出請求抓取網頁時，有時候可能會遇到以下錯誤：

requests.exceptions.SSLError: HTTPSConnectionPool(host='www.xxx.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:852)'),))

原因是 HTTPS 的 SSL 憑證過期、不合格或有其他問題，造成 Requests 在請求時證書驗證失敗，就會出現 requests.exceptions.SSLError 這樣的錯誤。

憑證無效

解決辦法

Requests 套件在默認的情況下，預設是啟用 SSL 驗證，其中一個解決的方式是透過加上 verify=False 參數來關閉 Requests 的 SSL 憑證檢查功能。

1

r = requests.get('https://www.xxx.com', verify=False)

關閉 Requests 套件的 SSL 憑證檢查功能，就能正常取得網頁資料，但會跳出以下警告：

InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.xxx.com'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings

雖然不影響結果，但如果覺得很礙眼想隱藏此警告消息，
參考它給的網址( https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings )，裡頭寫到"如果您了解風險並希望禁用這些警告，則可以使用 disable_warnings()"：

1
2


import urllib3
urllib3.disable_warnings()

或者也可以只針對不安全的請求警告隱藏：

1
2


import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

參考：
Requests 套件 SSL Cert Verification
urllib3 套件 TLS Warnings
stackoverflow

真正能讓你倒下的，不是對手，而是你絕望的內心。

Python try/except：一道看似簡單，卻隱藏著陷阱

jia@jiatool.com (Jia) — Sat, 09 Jan 2021 20:10:00 +0800

一個非常簡單的函式：

1
2
3
4
5
6


def func():
x = 1
return x
print(func())

我們都知道最後會輸出1

再來回答看看底下這段程式會輸出什麼呢？

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def func():
try:
x = 1
return x
except Exception as e:
x = 2
return x
finally:
x = 3
return x
print(func())

(a) 1
(b) 2
(c) 3

答案竟然是 (c) 3 ?!
如何？跟你想像的一樣嗎？

照理來講，
在函式內執行 x = 1 之後就遇到了 return x 就該跳出迴圈了。

But 🤨
這段程式是放在 try/except 異常處理中，
而當中如果有 finally，那 finally 是無論例外有沒有發生都會執行的。

上面那道題目，如果使用IDE的單步執行來偵錯的話，會發現 try 內的 return x 執行完後，會跳到 finally 內執行 x = 3 和 return x，所以最後函式會返回3。

因此在撰寫程式時，避免把 return 寫在 try/except 異常處理中，以免發生這種較不直觀的流程。
畢竟發生異常也要把異常處理好再離開嘛~

我想打起精神來，卻不小心把它打死了

[Python爬蟲實例] NOWnews今日新聞-動態載入

jia@jiatool.com (Jia) — Sun, 27 Dec 2020 20:30:00 +0800

前言

Python網路爬蟲實例系列已經進入第六篇了，我們要試著來抓取「NOWnews今日新聞」的即時新聞列表，而透過底下說明可以發現它有使用 Ajax 動態載入，我們也可以更容易地取得資料。文末有附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

安裝

1

pip install requests

流程

首先進入 NOWnews 今日新聞的即時新聞列表網頁，來觀察看看其新聞列表載入方式。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i)，可能一開始會先透過"Elements"找網頁節點元素，馬上就開始寫爬蟲程式了。
但是等等，這樣除了要解析網頁，他頁面上有三種版型，還要各自分開解析，或許我們可以再花點時間觀察觀察。

即時新聞列表網頁

新聞列表三種版型

開發人員工具切換到"Network" > "XHR"，當我們點擊「看更多新聞」按鈕時，會發現有送出一個請求，單點選它打開之後，右邊選擇 Preview 分頁看一下其中的資料。
水啦~~~就是我們希望取得的新聞列表。

「看更多新聞」按鈕

「看更多新聞」Ajax

切換回 Headers 分頁，看一下此資料請求方式與網址。
使用"GET"的方式，網址為 https://www.nownews.com/nn-client/api/v1/cat/breaking/。

Ajax請求方式

ㄟ？！那網址後方的參數 pid=5148899 代表什麼呢？
打開開發人員工具內的搜尋(Ctrl+F)，觀察一下發現，原來是代表前一次資料中的最後一篇新聞ID啊~

pid 參數代表什麼？

可以將網址貼到瀏覽器的網址欄位中，查看回傳的資料。

OK
大致上原理與流程我們知道了，來開始將其轉換成 Python 程式碼吧！

來源：吉卜力工作室 www.ghibli.jp

爬蟲程式

先設定兩個變數，all_news 之後要裝抓取的新聞資料；pid 是記錄每頁最後一筆新聞的ID (為了請求下一頁)。

1
2
3


def get_news(num=10):
all_news = []
pid = ''

這邊使用 while 迴圈，num 代表我們想爬取的新聞數量，當數量還不到時，就繼續抓取。
請求的網址 url 後方記得帶上 pid 參數。第一頁只要空著就行，之後開始才需要給值。

1
2
3
4
5
6


 while len(all_news) < num:
url = f'https://www.nownews.com/nn-client/api/v1/cat/breaking/?pid={pid}'
r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print(f'Requests Error: {r.status_code}')
break

我們先觀察之前取得的回傳資料：
* 為了方便觀察，我這邊使用 JSON Editor Online 線上工具來輔助演示。

回傳資料內容

參數	代表意思	格式
id	ID	文字
postTitle	標題	文字
postUrl	網址(包含請求分類)	文字
postOnlyUrl	網址(不包含請求分類)	文字
sort	排序	數字
postContent	內容摘要	文字
imageUrl	圖片網址	數字
newsDate	發布日期	數字

回傳資料是 JSON 格式，直接使用 requests 提供的 r.json() 轉換。
新聞列表資料是放在 data > newsList 中，並取得我們想要的欄位。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


 data = r.json()
news_list = data['data']['newsList']
for news in news_list:
news_data = {
'id': news['id'],
'url': 'https://www.nownews.com' + news['postOnlyUrl'],
'title': news['postTitle'],
'content': news['postContent'],
'date': news['newsDate']
}
all_news.append(news_data)

下一頁網址後方參數 pid，就是這次的最後一筆新聞ID。
每次請求之間加入一小段延遲，避免太頻繁爬取，造成對方伺服器負擔。

1
2


 pid = all_news[-1]['id']
time.sleep(random.uniform(2, 5))

完整程式碼

附上完整程式碼： nownews_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

試著抓取不同分類裡的新聞列表，例如： NOW電玩裡的最新新聞。
提示：雖然它看似採用"下一頁"的方式，但你實際點擊不同頁數時，發現到網址並無任何變化，或許它也是使用 Ajax 動態載入資料的方式呢~

結語

整體來說，NOWnews今日新聞的爬取方法與聯合新聞網蠻類似的，可以前往我之前寫的教學文參考。

我會陸續慢慢寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎參考與在底下留言喔~🔖

人生沒有最好的決定，只有在決定之後做到最好。

[Python爬蟲實例] YouTube-使用 youtube_dl 套件

jia@jiatool.com (Jia) — Sun, 13 Dec 2020 20:20:00 +0800

前言

在之前 [Python爬蟲實例] YouTube-使用 YouTube Data API 教學是使用 YouTube Data API 來取得影片相關資訊，不過如果你只是想抓取影片基本訊息，但不想麻煩去申請 API Key，或許可以改使用一個非常有名的套件 — youtube_dl。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

本次主要使用到的套件：

youtube-dl [ 官網 ] [ GitHub ]

📘 爬蟲程式

youtube_dl 主要提供從 YouTube 及其他多個網站下載影片，使用方法非常簡單：

1
2


with youtube_dl.YoutubeDL() as ydl:
info = ydl.extract_info("影片網址", download=False)

因為我們只是想取得影片資訊，並沒有要下載影片，因此 download 帶入 False。

函式回傳的資料即是 dict (字典) 資料型別，我們可以只挑選需要的內容。
程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


from pprint import pprint
import youtube_dl
def get_video_info(youtube_url):
video_info = {}
with youtube_dl.YoutubeDL() as ydl:
info = ydl.extract_info(youtube_url, download=False)
# pprint(info)
video_info['ID'] = info.get('id')
video_info['標題'] = info.get('title')
video_info['影片縮圖'] = info.get('thumbnail')
video_info['上傳者'] = info.get('uploader')
video_info['上傳者網址'] = info.get('uploader_url')
video_info['影片長度(秒)'] = info.get('duration')
video_info['觀看次數'] = info.get('view_count')
video_info['留言數'] = info.get('comment_count') # -
video_info['喜歡數'] = info.get('like_count')
video_info['不喜歡數'] = info.get('dislike_count')
video_info['平均評分'] = info.get('average_rating')
video_info['描述'] = info.get('description')
video_info['標籤'] = info.get('tags')
video_info['網頁網址'] = info.get('webpage_url')
video_info['上傳日期'] = info.get('upload_date')
return video_info
if __name__ == '__main__':
video_info = get_video_info('https://www.youtube.com/watch?v=YculJhe_iPk')
pprint(video_info)

回傳影片相關資訊結果：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


{'ID': 'YculJhe_iPk',
'上傳日期': '20201206',
'上傳者': 'Onion Man',
'上傳者網址': 'http://www.youtube.com/channel/UCzxN4G3s9uR9ao5_O5DoXmA',
'不喜歡數': 230,
'喜歡數': 13735,
'平均評分': 4.9341211,
'影片縮圖': 'https://i.ytimg.com/vi_webp/YculJhe_iPk/maxresdefault.webp?v=5fccb8d3',
'影片長度(秒)': 299,
'描述': '你的請客值有多少?\n'
'\n'
'【訂閱】及觀看洋蔥更多影片: https://goo.gl/ijP3Eb\n'
'\n'
'工作合作：service@weido.biz\n'
'Onion Man 百萬追蹤粉絲團:goo.gl/Z5CSvw\n'
'\n'
'最新阿文貼圖:https://reurl.cc/GxYjA\n'
'\n'
'第一代阿文line貼圖:https://reurl.cc/Wroxx\n'
'\n'
'洋蔥私生活IG:https://www.instagram.com/onionman__/\n'
'\n'
'\n'
'運動漫畫裡的中二老梗劇情\n'
'►第一集:https://youtu.be/cMoV1rPH35k\n'
'►第二集:https://youtu.be/iW7LM00lny0\n'
'►第三集:https://youtu.be/2G5wu61uCM0\n'
'►第四集:https://youtu.be/-rP1abYv8n4\n'
'\n'
'Onion Man 關鍵字:\n'
'中二 肥宅 單身漢 單身 魯蛇 屌絲 肥宅',
'標籤': ['onion', 'man', '阿文', '黑鳳梨', '插畫', '爆笑', '搞笑', '玩笑',...'綜藝大熱門', 'de', 'jun', '上班不要看'],
'標題': 'Onion Man | 我不想出錢 但要裝闊',
'留言數': None,
'網頁網址': 'https://www.youtube.com/watch?v=YculJhe_iPk',
'觀看次數': 555986}

* 我發現它 YouTube 好像無法取得留言數。🤔

但它是需要透過影片網址來取得影片相關資訊，如果我們想要像上次一樣，針對某個頻道抓取最近的五部影片，可能就要先透過網路爬蟲取得網頁的方式來獲取影片網址，才可以使用了 youtube_dl 套件。

完整程式碼

附上完整程式碼： youtube_dl.py
(對超連結右鍵 > 另存連結為)

延伸練習

在上方教學中，我們是透過影片網址取得影片資訊。
那你可以寫支程式自動抓取發燒影片的前10名影片資訊嗎？
youtube_dl 套件最主要是用來從 YouTube 及其他多個網站下載影片，你何不來嘗試看看呢？

結語

如果你只是想取得影片的基本資訊，使用 youtube_dl 套件會比較容易哦~

我有陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，或者遇到其他問題，歡迎過來參考和在底下留言~👇

參考：
youtube-dl GitHub

有夢就去追啊，愣在原地做什麽。

Python 使用 Faker 套件來生成假資料

jia@jiatool.com (Jia) — Mon, 09 Nov 2020 21:00:00 +0800

前言

有時候可能因為某些原因需要生成一些假資料，例如做網頁時，先填入一些假資料方便排版。

在 Python 中就有一個 Faker 套件來產生假資料，包括人名、電話、地址、工作、公司、信用卡、IP……非常多樣。

安裝

安裝也很簡單，可以透過 pip 安裝：

1

pip install faker

這邊要注意的是從版本 v4.0.0 開始，Faker 只支援 Python 3.5 及更新版本，並不支援 Python 2。

以下以撰寫文章時最新的版本 v4.14.2 為範例。
Faker 官方GitHub
Faker 官方文件

簡易範例

使用 faker.Faker() 來創建並初始化產生器，調用方法來產生資料，例如以下名字、地址。

1
2
3
4
5
6
7
8
9


from faker import Faker
fake = Faker()
fake.name()
# Carla Parker
fake.address()
# 1882 Erika Glens\nRoblesbury, MO 28877

語言包

看到這裡，可能有人覺得都是生成英文數據，我想要繁體中文那怎麼辦🤔
別擔心，Faker 有內建語言包的機制，在一開始創建 Faker 時帶入語言參數即可。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


fake = Faker('zh_TW')
for _ in range(5):
print(fake.name())
print(fake.address())
print('--------')
# 許哲瑋
# 45851 臺東市復興路11號之9
# --------
# 林雅慧
# 67491 台北縣學府巷468號之1
# --------
# 陳宇軒
# 20610 新竹民治巷862號之2
# --------
# 殷沖
# 80604 橫山中興路5段595號5樓
# --------
# 李信宏
# 51142 台北大同路172號之2
# --------

你如果想要多個語言混合，當然也行🤣

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


fake = Faker(['zh_TW', 'ja_JP', 'ko_KR'])
for _ in range(6):
print(fake.name())
# 佐々木 明美
# 高橋 直子
# 宋惠如
# 이영일
# 佐々木 桃子
# 김미영

一些常見的語言代碼如下：

繁體中文：zh_TW
簡體中文：zh_CN
美國英文：en_US
英國英文：en_GB
日文：ja_JP
韓文：ko_KR
完整的語言包列表，請參考官方文件： https://faker.readthedocs.io/en/master/locales.html

* 題外話：我發現它的繁體中文有些地方不是很好，感覺是從簡體直接轉過來的。

方法介紹

人名

與人名相關數據，例如：姓氏、名字、羅馬拼音等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


print(fake.name())
# 袁家銘
print(fake.name_female()) # 女生人名
# 莫怡萱
print(fake.name_male()) # 男生人名
# 孫威廷
print(fake.romanized_name()) # 羅馬拼音
# Ping Long
print(fake.last_name())
# 楊
print(fake.last_name_female())
# 李
print(fake.last_name_male())
# 黃
print(fake.last_romanized_name())
# Lin
print(fake.first_name())
# 家豪
print(fake.first_name_female())
# 惠雯
print(fake.first_name_male())
# 冠霖
print(fake.first_romanized_name())
# Jing

個人資料

像是：語言、手機號碼、身分證、工作職稱。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


print(fake.language_name())
# Turkmen
print(fake.country_calling_code())
# +290 8
print(fake.phone_number())
# 0977-739186
print(fake.ssn())
# D169226625
print(fake.job())
# 工業設計
print(fake.simple_profile())
# {'username': 'sfang', 'name': '李雅文', 'sex': 'M', 'address': '42346 板橋縣民有路310號之3', 'mail': 'xiuyingxue@gmail.com', 'birthdate': datetime.date(1936, 2, 13)}

地址

與地址相關數據，例如：完整地址、城市、鄉鎮、路名……。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


print(fake.address())
# 30751 基隆市仁愛街93號6樓
print(fake.building_number())
# 4號
print(fake.city())
# 卑南縣
print(fake.city_name())
# 草屯
print(fake.city_name_suffix())
# 縣
print(fake.country())
# 俄羅斯
print(fake.country_code())
# LT
print(fake.postcode())
# 824
print(fake.secondary_address())
# 之2
print(fake.street_address())
# 自由街759號
print(fake.street_name())
# 信義
print(fake.street_name_suffix())
# 路

公司

與公司相關數據，例如：公司名稱、公司前綴、公司後綴等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


print(fake.bs())
# synergize enterprise relationships
print(fake.catch_phrase())
# Object-based zero administration secured line
print(fake.company())
# 台北眾大捷運股份有限公司
print(fake.company_prefix())
# 品誠
print(fake.company_suffix())
# 有限公司

句子

與句子、單詞相關數據。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


print(fake.sentence())
# 發生服務選擇人民游戲然后一下法律.
print(fake.sentences())
# ['發現密碼地區那個精華制作.', '擁有地方手機所有.', '業務決定地址經濟投資方式.']
print(fake.text(max_nb_chars=15))
# 基本主要研究根據一種當然各種.
print(fake.word())
# 關於
print(fake.words())
# ['一種', '電影', '大學']

日期時間

日期時間相關數據，譬如：日期、時間、星期……。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


print(fake.am_pm())
# AM
print(fake.iso8601())
# 1988-07-01T02:40:03
print(fake.date())
# 1970-12-22
print(fake.date_object())
# datetime.date(2004, 3, 20)
print(fake.date_this_month(before_today=True, after_today=False))
# 2020-11-07
print(fake.day_of_month())
# 01
print(fake.day_of_week())
# Saturday
print(fake.month_name())
# April
print(fake.time())
# 02:46:38
print(fake.time_object())
# datetime.time(8, 43, 22)
print(fake.unix_time())
# 1429693221

檔案

包括檔案名稱、附檔名、路徑等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


fake = Faker()
print(fake.file_extension(category='image'))
# jpeg
print(fake.file_name())
# central.png
print(fake.file_path())
# /recently/pass.js
print(fake.unix_device())
# /dev/sdg

網路

與網路相關數據，例如：Email、HTTP方法、IP、網址、網域……。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


print(fake.company_email())
# dmeng@zou.com
print(fake.domain_name())
# tang.com
print(fake.domain_word())
# gao
print(fake.email())
# slei@gmail.com
print(fake.free_email())
# mliu@hotmail.com
print(fake.free_email_domain())
# yahoo.com
print(fake.hostname())
# desktop-15.wan.com
print(fake.http_method())
# POST
print(fake.image_url())
# https://placeimg.com/431/555/any
print(fake.ipv4())
# 28.144.124.103
print(fake.ipv4_network_class())
# c
print(fake.ipv4_private())
# 192.168.96.99
print(fake.ipv4_public())
# 75.81.186.65
print(fake.mac_address())
# d2:3c:7b:3b:93:4f
print(fake.uri())
# http://fu.com/wp-content/categories/main/index/
print(fake.uri_extension())
# .php
print(fake.uri_page())
# search
print(fake.url())
# http://qiao.com/
print(fake.user_name())
# mingyan

顏色

生成顏色色碼，像是：HEX、RGB、HSV、HSL等等。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


print(fake.color())
# #6626ef
print(fake.color(hue='red'))
# #ed6595
print(fake.color(hue=(100, 200), color_format='rgb'))
# rgb(36, 181, 79)
print(fake.color(hue=135, luminosity='dark', color_format='hsv'))
# hsv(135, 95, 65)
print(fake.color_name())
# DarkMagenta
print(fake.hex_color())
# #dd5cbb
print(fake.rgb_color())
# 35,232,144

信用卡

信用卡相關資訊。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


print(fake.credit_card_full()) # 信用卡詳細信息
# JCB 16 digit
# 鈺婷 柳
# 3580134175667608 07/21
# CVC: 070
print(fake.credit_card_number()) # 卡號
# 377183544094989
print(fake.credit_card_expire()) # 有效日期
# 02/27
print(fake.credit_card_provider()) # 提供商名稱
# VISA 19 digit
print(fake.credit_card_security_code()) # 安全碼
# 320

Python 相關

與 Python 相關資料格式，可能對於測試很好用(?)，例如：Email、HTTP方法、IP、網址、網域……。
(竟然還有這種東西😮)

1
2
3
4
5
6
7
8


print(fake.pybool())
# False
print(fake.pydecimal())
# -7867266828.6
print(fake.pydict())
# {'都是': 'MyXkRCJjYanEWNNuYrLM', '一次': 'qiang69@gmail.com', '政府': Decimal('2879320.4'), '工作': 'fDURUWoCzsGhHdvjJHXM', '信息': 1080, '功能': 'hNvGqVhrMVwOYiYpYghC', '要求': Decimal('41.93441406219'), '一切': 'https://mao.tw/homepage/', '開始': 446798.631125}
print(fake.pylist())
# ['IartORkSBcHGqJCpfbMq', 'https://www.cui.com/terms.htm', datetime.datetime(1995, 12, 12, 4, 32, 50), 'vsJNgfvnxjDttefVvoIu', 'JxzLdZhLDYvgZHiHWjdO', 6960, 'mojun@hotmail.com', 'liangchao@yahoo.com', datetime.datetime(2013, 5, 9, 12, 38, 18), 'phao@hotmail.com', 'https://mo.com/privacy/', 6105]

其他更多

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


print(fake.random_digit())
# 8
print(fake.random_digit_not_null())
# 3
print(fake.random_int(min=0, max=15))
# 12
print(fake.random_element(elements=('a', 'b', 'c', 'd')))
# d
print(fake.numerify(text='Intel Core i%-%%##K vs AMD Ryzen % %%##X'))
# Intel Core i8-9363K vs AMD Ryzen 4 6134X
print(fake.language_code()) # i18n 語言碼
# uk
print(fake.license_plate()) # 車牌
# 048-DQU
print(fake.isbn10()) # ISBN碼
# 1-57202-578-6
# user agent
print(fake.android_platform_token())
# Android 4.1.1
print(fake.ios_platform_token())
# iPhone; CPU iPhone OS 10_3_3 like Mac OS X
print(fake.chrome())
# Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.0 (KHTML, like Gecko) Chrome/38.0.819.0 Safari/535.0
print(fake.user_agent())
# Mozilla/5.0 (Windows 98; ug-CN; rv:1.9.1.20) Gecko/2016-01-13 09:28:45 Firefox/13.0

真的是太多了，這邊不一一列出，
更詳細參數介紹及其他方法請參閱 Faker 官方文件： Standard Providers

還有其他人提供並經過官方認可的，例如"汽車"、"Wi-Fi ESSID"、"Web相關"之類的類別： Community Providers

結語

有沒有覺得 Faker 套件所包含的假資料包羅萬象啊🤣，趕快將此網頁加入"我的最愛(書籤)"，搞不好以後就有機會使用到呢~

如有遇到其他問題，或文章內容有誤，歡迎底下留言~😙

參考：
Faker 官方GitHub
Faker 官方文件

You've got to find what you love.
你必須找到你所愛的。

—— 賈伯斯(Steve Jobs)

[Python爬蟲實例] YouTube-使用 YouTube Data API

jia@jiatool.com (Jia) — Sun, 01 Nov 2020 20:40:00 +0800

前言

來到 Python網路爬蟲實例系列第四篇，本篇使用 Python 透過官方 YouTube Data API v3 來爬取 YouTube ，包含頻道資訊、影片清單、影片資訊等等資料。

從在 Google 雲端平台(Google Cloud Platform)創建一個專案開始，包括獲取 API 授權憑證、取得 API key，到撰寫抓取程式皆會一步步講解如何操作。最後同樣會附上完整程式碼供參考。

而如果你是想下載 YouTube 影片的話，本篇內容並不會提及，這部分可參考其他套件，例如 pytube 。
之前還有另外一個套件 Youtube-dl，但在寫這篇文章時發現美國唱片業協會（RIAA）點名 Youtube-dl 程式碼違反著作權法，並要求GitHub將它們移除( 來源 )。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

本次主要使用到的套件：

Requests [ Doc ] [ GitHub ]

流程

要使用官方 YouTube Data API 抓取資料前，要先取得 API Key。

先到 Google 雲端平台(Google Cloud Platform)創建一個專案，並將 YouTube Data API 加入置專案內，獲取 API 授權憑證、取得 API key。

爬取資料這邊以 六指淵 Huber 頻道當範例，到上傳的影片列表抓取最新的前五則影片，再到影片內取得影片相關資訊及留言。

六指淵 Huber 頻道

🔑 取得 YouTube Data API Key

先到 Google 雲端平台(Google Cloud Platform) 創建一個專案，如果是第一次進來會跳出服務條款，點選同意後繼續。
點擊右上角顯示"建立專案"，或到上方的"選取專案"處建立。

服務條款

右上角"新增專案"。

創建專案

輸入"專案名稱"，點選"建立"。
(專案ID也可以修改)

創建專案

等它跑完後會進到此頁面，接下來要將我們需要使用的 API 加進來啟用。
點選"啟用 API 和服務"。

啟用 API

找到 YouTube Data API v3。

啟用 API

點擊"啟用"。

啟用 API

最後要建立憑證，並取得 API Key。
點擊右方"建立憑證"，或者點擊左方的"憑證"。

建立憑證

如果你是點擊左方"憑證"，則依下圖所示建立 API 金鑰 (API Key)。

建立憑證

如果你是點擊右方"建立憑證"，則依下圖選擇，並點擊"我需要那些憑證"。

建立憑證

它會跳到此頁面，將 API 金鑰複製下來，待之後程式使用。
(也可以"為金鑰新增限制")

建立憑證

到這邊就完成 YouTube Data API Key 的取得，看似步驟很多，但實際操作過一遍就會了解了。

* 官方說明文檔

📘 爬蟲程式

本次是直接使用 API，因此在送出請求時就不需要加入 header 中 User-Agent 欄位了。

先在上方定義剛剛取得的 API Key，待之後發出請求時帶入。
(YOUR_YOUTUBE_API_KEY 換成剛剛在上一步取得的 API Key)

1

YOUTUBE_API_KEY = "YOUR_YOUTUBE_API_KEY"

API 說明

在官方 API 文件內，可以查詢各種資源及各種請求方法。

在本次程式中會用到幾種資源 (這邊都只需使用 list 方法)：

channels ：取得頻道"上傳影片清單"的 ID
playlistItems ：取得清單中的影片列表
videos ：取得影片資訊
commentThreads ：取得影片底下留言

本教學都只使用到 list 方法(GET)，因此網址串好後可以直接貼到瀏覽器上測試，觀看它回傳的資料。

因為每一次送出請求皆需要帶上 API Key，而且回傳資料要轉換JSON，所以可以另外寫一個用於組合網址、請求的函式，也可在裡面做當請求失敗的處理。

1
2
3
4
5
6
7
8
9


def get_html_to_json(self, path):
"""組合 URL 後 GET 網頁並轉換成 JSON"""
api_url = f"{self.base_url}{path}&key={self.api_key}"
r = requests.get(api_url)
if r.status_code == requests.codes.ok:
data = r.json()
else:
data = None
return data

* 為了較清楚的了解流程，以下範例程式內沒有加入太多的例外處理。

取得頻道"上傳影片"清單的 ID

想要抓取頻道內上傳的影片前，需要先抓到"上傳影片"清單的 ID，再用此 ID 去取的影片清單。

使用 channels 路徑來取得，需帶上"id"、"key"、"part"等查詢參數。
id 代表頻道 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

頻道ID的取得方式可以先到頻道首頁，觀察網址後方帶的數值，例如：
https://www.youtube.com/channel/UC7ia-A8gma8qcdC6GDcjwsQ
"channel/"後方的 UC7ia-A8gma8qcdC6GDcjwsQ 就代表此頻道的 ID。

不過有時會發現網址是呈現以下形式：
https://www.youtube.com/c/六指淵Huber
別擔心，此時隨便點擊頻道底下的其中一支影片，在點中間的頻道名稱進入後，一樣即可看到網址後方的數值。

如何取得頻道 ID

至於"part"需帶什麼數值可以參考官方 API 文檔說明，也可以一個一個嘗試看看會回傳什麼資料。

part 查詢參數

因為請求方式是使用 GET，因此可以直接貼到瀏覽器上測試。
https://www.googleapis.com/youtube/v3/channels?part=contentDetails&id=UC7ia-A8gma8qcdC6GDcjwsQ&key={YOUR_API_KEY}

取得上傳影片清單的 ID

==> 回應資料範例

其中 uploads 後面那串就是此頻道"上傳影片"清單的 ID，這邊是 UU7ia-A8gma8qcdC6GDcjwsQ。

1
2
3
4
5
6
7
8
9


def get_channel_uploads_id(self, channel_id, part='contentDetails'):
"""取得頻道上傳影片清單的ID"""
path = f'channels?part={part}&id={channel_id}'
data = self.get_html_to_json(path)
try:
uploads_id = data['items'][0]['contentDetails']['relatedPlaylists']['uploads']
except KeyError:
uploads_id = None
return uploads_id

取得清單中的影片列表

好的，接下來取得"上傳影片"清單的影片吧~

使用 playlistItems 路徑來取得，需帶上"playlistId"、"key"、"part"等查詢參數。
playlistId 代表播放列表 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

這邊代的參數大部分與上方雷同，可以自行參考官方 API 文檔說明，就不多說介紹了。
我們要抓此頻道上傳影片，所以 playlistId 帶入上一步抓到的"上傳影片"清單的 ID。

https://www.googleapis.com/youtube/v3/playlistItems?part=contentDetails&playlistId=UU7ia-A8gma8qcdC6GDcjwsQ&key={YOUR_API_KEY}

取得影片ID

==> 回應資料範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_playlist(self, playlist_id, part='contentDetails', max_results=10):
"""取得影片清單ID中的影片"""
path = f'playlistItems?part={part}&playlistId={playlist_id}&maxResults={max_results}'
data = self.get_html_to_json(path)
if not data:
return []
video_ids = []
for data_item in data['items']:
video_ids.append(data_item['contentDetails']['videoId'])
return video_ids

取得影片資訊

針對每一支影片，來取得其影片相關資訊吧~

使用 videos 路徑來取得，需帶上"id"、"key"、"part"等查詢參數。
id 代表影片 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

https://www.googleapis.com/youtube/v3/videos?part=snippet,statistics&id=lM7ltxkXE40&key={YOUR_API_KEY}

取得影片資訊

==> 回應資料範例

回傳資料有影片標題、頻道名稱、發布時間、縮圖網址、觀看數、留言數……等等許多相關資訊。

* 謝謝網友提醒，dislikeCount 資訊現在無法取得了，這應該也是因應 YouTube 現在不能看到 Dislike 的數量了。

Note: The statistics.dislikeCount property was made private as of December 13, 2021. This means that the property is included in an API response only if the API request was authenticated by the video owner. See the revision history for more information.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


def get_video(self, video_id, part='snippet,statistics'):
"""取得影片資訊"""
path = f'videos?part={part}&id={video_id}'
data = self.get_html_to_json(path)
if not data:
return {}
# 以下整理並提取需要的資料
data_item = data['items'][0]
try:
time_ = datetime.strptime(data_item['snippet']['publishedAt'], '%Y-%m-%dT%H:%M:%SZ')
except ValueError:
# 日期格式錯誤
time_ = None
url_ = f"https://www.youtube.com/watch?v={data_item['id']}"
info = {
'id': data_item['id'],
'channelTitle': data_item['snippet']['channelTitle'],
'publishedAt': time_,
'video_url': url_,
'title': data_item['snippet']['title'],
'description': data_item['snippet']['description'],
'likeCount': data_item['statistics']['likeCount'],
# 'dislikeCount': data_item['statistics']['dislikeCount'],
'commentCount': data_item['statistics']['commentCount'],
'viewCount': data_item['statistics']['viewCount']
}
return info

取得留言資訊

那該如何取得影片底下的留言呢？

使用 commentThreads 路徑來取得，需帶上"videoId"、"key"、"part"等查詢參數。
videoId 代表播放列表 ID；key 代表我們的 API Key；part 代表想取得的資源屬性。

https://www.googleapis.com/youtube/v3/commentThreads?part=snippet&videoId=lM7ltxkXE40&key={YOUR_API_KEY}

取得留言資訊

==> 回應資料範例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


def get_comments(self, video_id, page_token='', part='snippet', max_results=100):
"""取得影片留言"""
path = f'commentThreads?part={part}&videoId={video_id}&maxResults={max_results}&pageToken={page_token}'
data = self.get_html_to_json(path)
if not data:
return [], ''
# 下一頁的數值
next_page_token = data.get('nextPageToken', '')
# 以下整理並提取需要的資料
comments = []
for data_item in data['items']:
data_item = data_item['snippet']
top_comment = data_item['topLevelComment']
try:
time_ = datetime.strptime(top_comment['snippet']['publishedAt'], '%Y-%m-%dT%H:%M:%SZ')
except ValueError:
# 日期格式錯誤
time_ = None
if 'authorChannelId' in top_comment['snippet']:
ru_id = top_comment['snippet']['authorChannelId']['value']
else:
ru_id = ''
ru_name = top_comment['snippet'].get('authorDisplayName', '')
if not ru_name:
ru_name = ''
comments.append({
'reply_id': top_comment['id'],
'ru_id': ru_id,
'ru_name': ru_name,
'reply_time': time_,
'reply_content': top_comment['snippet']['textOriginal'],
'rm_positive': int(top_comment['snippet']['likeCount']),
'rn_comment': int(data_item['totalReplyCount'])
})
return comments, next_page_token

其他查詢參數

還有其他常用的查詢參數：

像是 maxResults 可以限制回傳筆數，搭配 commentThreads 帶入 maxResults=10 代表最多回傳 10 筆留言。

又例如 pageToken 是用來換頁的，什麼意思呢？
像是 API 有限制留言最多一次只能抓 100 筆留言，就算你帶入 maxResults=200 也只能抓到 100 筆。
但在回傳的資料中可以發現一個 nextPageToken 欄位，代表你再用一樣的網址請求一次，帶上 pageToken=QURTSl9pMmhMYktBc25xOHZtZTg3enJBTFFXNTFPbldJY05zTFFTTjdMM25VYThmdTBwWS1CNGFPZm1kQUU0WkJac0dWZkw3cWI2V1owOA== 就能取得下一頁的資料(例如：101~200 筆留言)。

nextPageToken 欄位

在像是有多個留言(commentThreads)或多支影片(playlistItems)時需要用到。
以上一段取得留言為例，會像是如下：

https://www.googleapis.com/youtube/v3/commentThreads?part=snippet&videoId=lM7ltxkXE40&pageToken=QURTSl9pMmhMYktBc25xOHZtZTg3enJBTFFXNTFPbldJY05zTFFTTjdMM25VYThmdTBwWS1CNGFPZm1kQUU0WkJac0dWZkw3cWI2V1owOA==&key={YOUR_API_KEY}

完整程式碼

附上完整程式碼： youtube_spider_api.py
(對超連結右鍵 > 另存連結為)

注意事項

要注意的是這個 API 有額度的限制，為每天 10,000 個單位( 官方說明 )，如果想將影片的留言都抓下來，可能就會耗費較多額度。
像上方使用的查詢都是消耗 1 單位。

在配額頁面可以查看此專案目前耗費的單位。

配額頁面

延伸練習

在上方教學中，影片清單只有取得前 5 則影片，那如果我想取得前 100 則影片呢？是不是會遇到什麼問題？需不需要加上什麼參數？
* 提示：參考教學中爬取留言的方法，使用 pageToken 參數。
上方教學只說抓取留言，那我如何想取得留言的回覆呢？是要帶入什麼參數嗎？或者是使用不同的方法？
* 提示：part 中的 replies ，或 Comments 資源。

結語

我會陸續寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，或者遇到其他問題，歡迎過來參考和在底下留言~👇

參考：
官方 YouTube Data API 範例文檔

每一個成功者都有一個開始。
勇於開始，才能找到成功的路。

[Python爬蟲實例] 巴哈姆特哈啦區留言-動態載入

jia@jiatool.com (Jia) — Fri, 02 Oct 2020 21:10:00 +0800

前言

Python網路爬蟲實例系列第一篇「巴哈姆特哈啦區」裡，我們先跳過留言的爬取，並於延伸練習中的第二題讓大家嘗試。

而在經過了上一篇「聯合新聞網-動態載入」，應該大致知道該怎麼處理動態載入的部分。本文再實際帶著大家來爬取"巴哈姆特哈啦區的留言"，一樣是採用 Ajax 動態載入，最後也會附上完整程式碼供參考，那我們就開始吧~

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

首先進到巴哈姆特哈啦區中任一看板的任一文章，如同Python網路爬蟲實例第一篇「巴哈姆特哈啦區」先爬取各個樓層回覆，再進入抓取底下留言的部分。

一樣要觀察其留言列表載入方式，使用瀏覽器的開發人員工具找出 Ajax 請求網址，透過此網址取得新聞列表的 JSON 格式資料。

欲爬取的留言

爬蟲程式

網站有些常見的反爬蟲機制是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

如何載入留言

我們先找一則回覆的留言是需要點擊展開的，例如： https://forum.gamer.com.tw/C.php?bsn=60076&snA=4549786 ，對網頁點滑鼠右鍵 > 檢視網頁原始碼，查看此網頁的原始碼，

檢視網頁原始碼

在其中試著搜尋(Ctrl + f)需要展開才能看到的留言，會發現並沒有在網頁原始碼內，因此可以推測留言可能使用動態載入的方式。

試著搜尋留言

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) 分頁，切換到XHR重整網頁一下(F5)，當點擊"還有 2 則留言"後會發現有新的項目出現。

開發人員工具 > Network(網路) > XHR

單點選它之後，右邊選擇 Preview 分頁，即可發現這就是我們想要的資料！🤩

開發人員工具 > Network(網路) > XHR > Preview

試著載入留言

切換到 Headers 分頁，會顯示請求的網址(綠色框)以及請求方式(紫色框)，如此圖片顯示是使用 GET 方式，
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275&returnHtml=1
將網址複製起來，開個新分頁貼上網址後前往，順利取得回傳的資料(留言)。

開發人員工具 > Network(網路) > XHR > Headers

回傳資料(留言)

從上方回傳資料發現其留言已經使用 HTML 的格式，為了可以直接丟到網頁上顯示，雖然我們可以抓下來用 BeautifulSoup 解析，但注意觀察請求的網址會發現當中有帶一個參數 returnHtml，如果將其參數的值改為1，或將此參數移除，它回傳的資料就變成我們喜歡的 JSON 格式~ (歡呼)
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275

觀察網址參數

回傳資料(留言) JSON格式

不用再耗費力氣去找哪個資料對應哪個Tag、Class之類的麻煩事~

觀察回傳資料

將資料貼到線上 JSON 工具( JSON Editor Online )來觀察，發現它除了有一個 next_snC，剩下都是留言資料。

觀察回傳資料

其中比較重要的有以下欄位：

參數	代表意思
bsn	板塊ID
snB	回覆ID
sn	留言ID
userid	留言者ID
nick	留言者名稱
comment、content	留言內容 (目前不知道兩者差異)
gp	GP
bp	BP
wtime	發布時間
mtime	編輯時間

OK！接下來就要實際動手寫 code 囉~ 😙

爬取每一樓層回覆

* 為了簡化程式碼方便理解，像之前判斷請求是否成功的部份，這次將其省略。

1
2
3
4


r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []

跟之前「 [Python爬蟲實例] 巴哈姆特哈啦區」一樣，透過 Tag 的 id 爬取每一樓層回覆。

每一樓層回覆

這邊還需要取得"板塊ID"，因為爬取留言網址需要。
(這部分可以拉出來寫個 Function，之後需要使用比較方便。)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_reply_info_list(url):
"""爬取回覆列表"""
r = requests.get(url, headers=HEADERS)
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
# 這部分可以拉出來寫個 Function，之後需要使用比較方便。
bsn = url.split('bsn=')[1]
bsn = bsn.split('&')[0]
# ......

也需要取得"回覆ID"，而其 Tag 的 id 後方接著的數字就是"回覆ID"。

將"板塊ID"與"回覆ID"傳入 get_commend_info_list() 供組合出爬取留言網址使用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
# 對每一則回覆解析資料
for reply_block in reply_blocks:
floor = reply_block.select_one('.floor').get('data-floor')
reply_id = reply_block.get('id')
reply_id = reply_id.split('_')[1]
print(f'第 {floor} 樓 ID:{reply_id}')
commends = get_commend_info_list(bsn=bsn, reply_id=reply_id)
print(f'-> 總共有 {len(commends)} 則留言')

爬取每一則留言

組合出爬取留言用的網址，取得回傳資料，用 requests 提供的 r.json() 解碼轉換成 Dict。

留言網址

這邊有一點要注意，回傳資料中會有一個叫"next_snC"，其他都是字串格式的數字。
數字的裡面放著留言，要排除掉"next_snC"。

回傳資料

這邊我們弄一個 commends 的列表保存需要的留言資料，最後回傳。

備註：不太確定它一次最多可以回傳幾則留言，如果有人發現超過 1000 則留言的回覆，歡迎底下留言，我再將其補充。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


def get_commend_info_list(bsn, reply_id):
url = f"https://forum.gamer.com.tw/ajax/moreCommend.php?bsn={bsn}&snB={reply_id}"
r = requests.get(url, headers=HEADERS)
commends_duct = r.json()
commends = []
for key, value in commends_duct.items():
# 判斷是否是數字(commend)，排除"next_snC"
if key.isdigit():
commends.append(
{
'板塊ID': value.get('bsn'),
'回覆ID': value.get('snB'),
'留言ID': value.get('sn'),
'留言者ID': value.get('userid'),
'留言者名稱': value.get('nick'),
'留言內容': value.get('comment'),
'GP': value.get('gp'),
'BP': value.get('bp'),
'發布時間': value.get('wtime'),
'編輯時間': value.get('mtime'),
}
)
return commends

執行結果如下，這邊我顯示第一則留言方便觀察：

1
2
3


第 1 樓 ID:50892275
{'板塊ID': '60076', '回覆ID': '50892275', '留言ID': '2434849', '留言者ID': 'madaan40', '留言者名稱': 'ABC123', '留言內容': '1', 'GP': '0', 'BP': '0', '發布時間': '2019-12-15 08:43:18', '編輯時間': '0000-00-00 00:00:00'}
-> 總共有 7 則留言

完整程式碼

附上完整程式碼： gamer_commend_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

回傳的留言資料中，有一筆 "next_snC":0 資料，你可以猜測它是代表什麼意思嗎？
嘗試結合第一篇「巴哈姆特哈啦區」文章，寫出可以爬取"文章"、"回覆"、"留言"的爬蟲程式~

結語

其實沒有想像中的難吧~趕快自己實際動手寫寫看~

之後會繼續加入不同網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或者遇到其他問題，歡迎參考和在底下留言ㄛ~😙

參考：
巴哈姆特 - 哈啦區

別想一下造出大海，必須先由小河川開始。

[Python爬蟲實例] 聯合新聞網-動態載入

jia@jiatool.com (Jia) — Sun, 27 Sep 2020 21:15:00 +0800

前言

Python網路爬蟲實例系列第二篇，本篇一步步講解如何使用 Python 爬取 udn聯合新聞網的即時列表新聞，包含更多新聞採 Ajax 動態載入的部分，最後也會附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]

流程

首先進入聯合新聞網-即時列表網頁，觀察其新聞列表載入方式，使用瀏覽器的開發人員工具找出 Ajax 請求網址，透過此網址取得新聞列表的 JSON 格式資料，如此即可抓取新聞網址、標題、閱覽數等等資料。

以下範例說明皆以「即時列表-不分類」舉例，其他類別所需要帶入的參數可能稍微不同。

即時列表-不分類

爬蟲程式

網站有些常見的反爬蟲機制是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，待之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

如何載入更多新聞

跟前一篇實例教學 ( [Python爬蟲實例] 巴哈姆特哈啦區 ) 最不一樣的，是使用瀏覽器閱覽網頁明明就看到許多篇新聞，一直往下滾就一直產生，但使用程式抓取只能取得前 28 篇新聞。

只能取得前 28 篇新聞

為什麼會這樣？！
原來當我們網頁往下滾後，它會透過 Ajax 動態載入後續新聞資料，並不在我們一開始請求後回傳的網頁原始碼內，難怪無法抓取。

新聞採動態載入

針對這種採用 Ajax 動態載入的網頁，有兩種方式來取得資料：

一種是使用 Selenium 來操作瀏覽器載入資料。
另一種(也就是本篇教學要使用的方式)是找出 Ajax 去請求的網址，然後照他的請求方式、參數來取得資料。

我們來試著找出它動態載入的網址吧。

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) 分頁，切換到XHR，重整網頁一下(F5)讓它載入資料﹐並把網頁往下滾讓它載入更多新聞資料，會發現有新的項目出現。
單點選它之後，右邊選擇 Preview 分頁，即可發現這就是我們想要的資料。

開發人員工具 > Network(網路) > XHR > Preview

所以概念就是，是當我們網頁往下滾到底部後，會觸發網頁的 JavaScript 程式，讓它透過 Ajax 動態載入，將新聞資料一直載入進來。

試著載入更多新聞

切換到 Headers 分頁，會顯示請求的網址(綠色框)以及請求方式(紫色框)，如此圖片顯示是使用 GET 方式，我們在瀏覽器中輸入網址前往就是 GET 請求方式。
https://udn.com/api/more?page=2&id=&channelId=1&cate_id=99&type=breaknews&totalRecNo=17749
將網址複製起來，瀏覽器開個新分頁，貼上網址後 Enter 前往，收到的資料即是我們需要的更多新聞。

開發人員工具 > Network(網路) > XHR > Headers

回傳資料

觀察回傳資料

取得資料後，為了方便觀察，可以找尋線上 JSON 工具或瀏覽器擴充功能來輔助，這邊我使用 JSON Editor Online 來演示。

進入網頁後，將剛剛回傳的資料貼在左方欄位內，點擊 Copy(綠色框) 將文字整理、檢查、轉碼並顯示於右側，為了方便觀察，點擊 tree(藍色框) 將其以樹狀結構來顯示。

而且可以發現它有幫我們把原本看不懂的 Unicode編碼轉換過來。

JSON Editor Online

新聞資料都放在 lists 底下，共有 20 篇，其每一篇所包含的欄位有url、titleLink、title、paragraph、time、view，代表意義如下表：

單一則新聞資料

參數	代表意思	格式
url	圖片網址	文字
titleLink	新聞文章網址	文字
title	新聞標題	文字
paragraph	段落簡介	文字
time	日期時間	文字
view	閱覽數	數字

好了！大致都知道了，來開始將想法轉換為程式吧~ 😙

爬取文章列表

* 為了簡化程式碼方便理解，像上次判斷請求是否成功的部份，這次將其省略。

1
2
3
4


r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []

來看一下前面動態載入的網址，
https://udn.com/api/more?page=2&id=&channelId=1&cate_id=99&type=breaknews&totalRecNo=17749
網址後方參數的部分有 page、id、channelId、cate_id、type、totalRecNo 六個，經過我的測試，只需要的 page、channelId、cate_id、type 四個即可取得一樣的資料。

動態載入的網址

除了 page 是頁數，其他的需要自行前往網站找尋"什麼類別、分類對應哪個編號"、"需要那些參數"。
像是：

即時列表-不分類
channelId: 1
cate_id: 99
type: breaknews
即時列表-地方
channelId: 1
cate_id: 3
type: breaknews
運動-最新
channelId: 2
type: cate_latest_news
cate_id: 7227
運動-棒球
channelId: 2
type: subcate_articles
cate_id: 7227
sub_id: 7001

將網址與參數組合起來準備送出請求，頁數 page 的部分可使用 for 迴圈來歷遍。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


def get_news_list(page_num=3):
"""爬取新聞列表"""
base_url = "https://udn.com/api/more"
news_list = []
for page in range(page_num):
channelId = 1
cate_id = 0
type_ = 'breaknews'
query = f"page={page+1}&channelId={channelId}&cate_id={cate_id}&type={type_}"
news_list_url = base_url + '?' + query
print(news_list_url)
# ......
return news_list

回傳資料是以 JSON 的格式，跟 HTML 相比很方便從中取出資料，也不要再使用 BeautifulSoup 解析，在 Python 類似 Dict 格式。
有兩種方式將其轉成 Dict：

requests 提供的 r.json() 解碼轉換
一樣使用 r.text 取出字串，再用 json.loads() 將其轉換

這邊我就直接使用 requests 提供的 r.json() 來轉換，最後將資料中 'lists' 抓出來 (也就是新聞資料)。

一樣加上時間延遲 time.sleep()，避免太頻繁的爬取，造成對方伺服器的負擔。
注意，這邊使用 random.uniform 來達到一段隨機範圍時間。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


def get_news_list(page_num=3):
"""爬取新聞列表"""
base_url = "https://udn.com/api/more"
news_list = []
for page in range(page_num):
# ......
r = requests.get(news_list_url, headers=HEADERS)
news_data = r.json()
news_list.extend(news_data['lists'])
time.sleep(random.uniform(1, 2))
return news_list

執行結果如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


https://udn.com/api/more?page=1&channelId=1&cate_id=0&type=breaknews
https://udn.com/api/more?page=2&channelId=1&cate_id=0&type=breaknews
https://udn.com/api/more?page=3&channelId=1&cate_id=0&type=breaknews
{
'url': 'https://pgw.udn.com.tw/gw/photo.php?u=https://p.udn.com.tw/upf/2017_news/noimg_cid7227_1.jpg',
'titleLink': '/news/story/6999/4891968?from=udn-ch1_breaknews-1-0-news',
'title': 'MLB／永遠當巨人球迷 潘斯宣布退休',
'paragraph': '兩度獲得世界大賽冠軍的外野手潘斯（Hunter Pence），今天透過社群平台宣布退休，結束14年的大聯盟旅程。',
'time': {'date': '2020-09-27 09:32'},
'view': 27
}
共抓到 60 篇新聞

完整程式碼

附上完整程式碼： udn_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

試著抓取不同分類裡的新聞列表，例如："即時列表-運動"、"數位-數位焦點"。
如果想抓取文章內容全文，則需進入文章網址爬取，但這邊要注意的是其有幾種不同的網頁結構，需各別判斷並有不同的解析方式。例如：

結語

我會陸續慢慢寫一些網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或遇到其他問題，歡迎過來參考和在底下留言ㄛ~😙

參考：
JSON Editor Online

用你的微笑改變世界，
但別讓世界改變了你的微笑。

—— 劉軒

[Python爬蟲實例] 巴哈姆特哈啦區

jia@jiatool.com (Jia) — Sun, 13 Sep 2020 21:10:00 +0800

前言

本篇主要一步步講解如何使用 Python 爬取巴哈姆特哈啦區的文章及回覆，最後也會附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件有：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

先來講一下我們這次寫爬蟲想抓取的資料及流程，在巴哈姆特哈啦區中選擇一個看板，想抓取文章列表中的文章及回覆。

一開始要先在文章列表中抓取每一篇文章的網址，再來進入文章網址中抓取每一樓層的回覆。
那因為這是本系列第一篇文章，較複雜的部分先省略，在文章列表中只抓第一頁的文章就好，回覆底下的留言是採用動態載入(AJAX)的方式，本次也先跳過，等後續文章再講解。

爬取說明

爬蟲程式

首先查看網站對於爬蟲的規範( robots.txt )，
https://forum.gamer.com.tw/robots.txt
OK 它只有這兩個路徑不允許，跟我們爬取哈啦區文章沒有關係。

robots.txt

有些有反爬蟲的網站，基本的方式就是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，待之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

爬取文章列表

對網站伺服器發出請求後，要確認回傳的結果，如果是正常成功的才繼續後續的處理。

1
2
3
4
5
6
7
8


def get_article_url_list(forum_url):
"""爬取文章列表"""
r = requests.get(forum_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []
# ......

這邊就以荒野亂鬥板來示範。
打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Elements(元素) 分頁，
當你指到程式碼時，它對應網頁區塊就會用顏色顯示，

但這樣找太麻煩費時了，有個好用的功能，就是位在開發人員工具左上角的選擇工具，
點一下它後，就可以直接在網頁上點擊想要查看的區塊，Elements(元素)裡的程式碼也會自動跳到相應的地方。

開發人員工具 > 選擇工具

先指到文章區塊，在右方可以看到在 <table class="b-list"> 裡的每一個 <tr class="b-list__row b-list-item b-imglist-item"> 對應每一篇文章區塊，因此CSS選擇器可以使用 table.b-list tr.b-list-item 去選擇。
* 這部分還不太懂的人，可以參考我之前整理的文章：網頁CSS節點定位整理。

開發人員工具 > Elements(元素) > 文章區塊

我們這邊只需要抓取文章的網址，再往下找在 class="b-list__main__title" 元素中的 href 參數後方發現前往文章頁面的網址。
不過取出來時還要要加上網域，才是完整的文章網址。

開發人員工具 > Elements(元素) > 文章區塊 > 文章網址

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_article_url_list(forum_url):
"""爬取文章列表"""
# ......
article_url_list = []
soup = BeautifulSoup(r.text, features='lxml')
item_blocks = soup.select('table.b-list tr.b-list-item')
for item_block in item_blocks:
title_block = item_block.select_one('.b-list__main__title')
article_url = f"https://forum.gamer.com.tw/{title_block.get('href')}"
article_url_list.append(article_url)
return article_url_list

先來稍微觀察一下文章網址，
https://forum.gamer.com.tw/C.php?bsn=60076&snA=3919777&tnum=429
網址中後方的參數有"bsn"、"snA"、"tnum"，其分別代表：

參數	代表意思
bsn	板塊 ID
snA	文章 ID
tnum	文章內目前最新回覆的樓層數
(bPage)	在文章列表中此文章是出現在第幾頁

題外話："tnum"參數可有可無，能的話最好把它拿掉，這樣網址比較"乾淨"。

爬取文章資訊

此函式會爬取文章標題、網址、樓層回覆，網址剛剛已經知道了，標題也很容易就抓出來。

文章標題

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
r = requests.get(article_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return {}
soup = BeautifulSoup(r.text, features='lxml')
article_title = soup.select_one('h1.c-post__header__title').text
# ......

這邊的重點就是如何抓取樓層回覆，
我們嘗試點選不同頁數，會發現網址會有個 page 參數用來跳頁，藉由如此，我們就可以前往每一頁。

但，我們要先知道這篇文章總共有幾頁啊！
觀察一下，只要取得 <p class="BH-pagebtnA"> 內最後一個 <a> 元素即可。

文章回覆頁數

1
2
3
4


def get_article_total_page(soup):
"""取得文章總頁數"""
article_total_page = soup.select_one('.BH-pagebtnA > a:last-of-type').text
return int(article_total_page)

知道總頁數後，就可以使用 for 迴圈來歷遍每一頁。
組出網址字串，接著就是抓取每一層回覆(等等會講)，並合併成 Dict 格式回傳。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
# ......
article_total_page = get_article_total_page(soup)
reply_info_list = []
for page in range(article_total_page):
crawler_url = f"{article_url}&page={page + 1}"
reply_list = get_reply_info_list(crawler_url)
reply_info_list.extend(reply_list)
time.sleep(1)
article_info = {
'title': article_title,
'url': article_url,
'reply': reply_info_list
}
return article_info

* for 迴圈中加入時間延遲 time.sleep(1) ，避免太頻繁的爬取，造成對方伺服器的負擔。1秒可以換成 random.uniform(1, 3)，來達到一段隨機範圍延遲，更避免被伺服器偵測為爬蟲。

爬取回覆資訊

爬取回覆的部分，從下圖的綠色方框能得知每一層回覆都是位於 <section class="c-section" id="post_43280297"> 裡。
但有些比較特殊的樓層，像是下圖中"已刪除"或"已摺疊"的樓層，可以看到其 id 會是 disable_ 開頭，"已刪除"的樓層我們可以略過，但"已摺疊"的樓層該怎麼抓呢？
別擔心，在往下看可以發現一樣有被摺疊起來樓層的資料，只是它被隱藏起來而已(style="display:none")
如下圖指示，綠色代表一般正常樓層；藍色代表已折疊樓層；深紅色代表已刪除樓層。

已刪除&已摺疊的樓層

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
reply_info_list = []
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
for reply_block in reply_blocks:
# ......
return reply_info_list

接下來就是各別抓取需要的部分了，
例如"回覆樓層"雖然網頁上只顯示樓主，看不到樓層的數字，但從網頁原始碼中能發現，此元素中 data-floor 欄位裡有我們想要的樓層數字。

回覆樓層欄位

又或者想抓取"發文時間"，但如果有編輯過的回覆，它網頁上顯示著是"編輯時間"，這時從網頁原始碼中也能發現，元素裏頭有 data-mtime 欄位記錄著發文時間。
但抓下來的資料是文字格式(字串)的，最好轉成 datetime 格式方便後續的判斷、處理。

回覆發文時間欄位

而"推"、"噓"也要注意例外，當"推"超過 1000 時會顯示"爆"；當"噓"超過 500 時會顯示"X"、等於 0 會顯示"-"。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
for reply_block in reply_blocks:
reply_info = {}
reply_info['floor'] = int(reply_block.select_one('.floor').get('data-floor'))
reply_info['user_name'] = reply_block.select_one('.username').text
reply_info['user_id'] = reply_block.select_one('.userid').text
publish_time = reply_block.select_one('.edittime').get('data-mtime')
reply_info['publish_time'] = datetime.strptime(publish_time, '%Y-%m-%d %H:%M:%S')
reply_info['content'] = reply_block.select_one('.c-article__content').text
gp_count = reply_block.select_one('.postgp span').text
if gp_count == '-':
gp_count = 0
elif gp_count == '爆':
gp_count = 1000
reply_info['gp_count'] = int(gp_count)
bp_count = reply_block.select_one('.postbp span').text
if bp_count == '-':
bp_count = 0
elif bp_count == 'X':
bp_count = 500
reply_info['bp_count'] = int(bp_count)
# 從命名應該可以知道分別代表什麼資料，這邊我就不細說了
reply_info_list.append(reply_info)
return reply_info_list

完整程式碼

附上完整程式碼： gamer_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

在本篇教學中只爬取第一頁的文章，該如何自動爬取前五頁的文章呢？
提示：參考爬取每一頁回覆的方式
為了簡單，本篇教學中並沒有爬取樓層回覆底下的留言，這部分有沒有什麼辦法可以做到？

樓層回覆底下的留言

結語

有些機制這邊沒有寫出來，像是當網頁請求失敗該做什麼處理，將字串轉換為日期時間格式時(或將字串轉換為整數)時，需要加上 try-except 去捕抓錯誤等等。

之後我會慢慢陸續寫一些網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手，或者是不知道某個網站如何爬取資料，都很歡迎過來參考ㄛ~

有想推薦的網站，或遇到其他問題，也歡迎再底下留言。😙

參考：
網頁CSS節點定位整理

又不是所有的答案都必須完美，失敗和錯誤也是生命的養分。

—— Peter Su

Python 使用 Arrow 套件來處理日期時間

jia@jiatool.com (Jia) — Sun, 26 Jul 2020 13:35:00 +0800

前言

在寫網路爬蟲時，應該都會遇到需要解析日期時間的處理，但是Python內建有關日期時間的套件用久了覺得有點卡手，像是有以下缺點：

太多套件(time、datetime、calendar、dateutil、pytz等)。
有時需要在不同格式之間轉換，不是這麼的方便或繁瑣，例如時間格式、字串、時間戳、localtime和utctime、時區。
在某些方面較不直觀或難記，像是格式化字串的參數。

在某天碰巧在網路的論壇中發現有人推薦 Arrow，看了一下，好像蠻不錯用的。

例如我們想把某日期時間字串加上5小時，再轉回字串的話，使用內建的datetime與Arrow來比較：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# 使用內建的datetime
from datetime import datetime, timedelta
t = datetime.strptime("2020-07-25 10:00", "%Y-%m-%d %H:%M")
t = t + timedelta(hours=5)
t.strftime("%Y-%m-%d %H:%M")
# 2020-07-25 15:00
# 使用Arrow
import arrow
t = arrow.get("2020-07-25 10:00")
t = t.shift(hours=5)
t.format('YYYY-MM-DD HH:mm')
# 2020-07-25 15:00

安裝

1

pip install arrow

以下以撰寫文章時最新的版本 v0.15.7 為範例。
Arrow 官方GitHub
Arrow 官方文件

功能範例

創建時間

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 當前時間
t = arrow.now()
# 2020-07-25T22:12:08.803133+08:00
# 當前UTC時間
t = arrow.utcnow()
# 2020-07-25T14:12:08.803133+00:00
# 自訂時間
t = arrow.Arrow(2020, 7, 25, 21, 50, 45)
# 2020-07-25T21:50:45+00:00
# 取得其中的數值
t.year
# 2020
t.hour
# 21
t.timestamp # 時間戳
# 1594504245

格式化成字串 [format]

格式化參數放置於文章最後。

1
2
3
4
5


t.format('YYYY/MM/DD HH:mm:ss')
# 2020/07/25 21:50:45
t.format('MMM DD dddd')
# Jul 25 Saturday

轉換為 datetime 函數中的 [datetime、date、time]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


t = arrow.Arrow(2020, 7, 25, 21, 50, 45)
# <class 'arrow.arrow.Arrow'> 2020-07-25T21:50:45+00:00
t.datetime
# <class 'datetime.datetime'> 2020-07-25 21:50:45+00:00
t.date()
# <class 'datetime.date'> 2020-07-25
t.time()
# <class 'datetime.time'> 21:50:45

移動時間 [shift]

參數有 years, months, days, hours, minutes, seconds, microseconds, weeks, quarters, weekday。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


t = arrow.Arrow(2020, 7, 25, 21, 50, 45)
# 3天前
t.shift(days=-3)
# 2020-07-22T21:50:45+00:00
# 50天又2小時後
t.shift(days=50, hours=2)
# 2020-09-13T23:50:45+00:00
# 上星期
t.shift(weeks=-1)
# 2020-07-18T21:50:45+00:00

修改日期 [replace]

1
2
3
4
5
6
7
8


t = arrow.Arrow(2020, 7, 25, 21, 50, 45)
t.replace(year=2025, month=12, day=31)
# 2025-12-31T21:50:45+00:00
# 替換時區
t.replace(tzinfo='Asia/Taipei')
# 2020-07-25T21:50:45+08:00

轉換時區 [to]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


t = arrow.Arrow(2020, 7, 25, 20, 00, 00)
# 2020-07-25T20:00:00+00:00
t.to('Asia/Taipei')
# 2020-07-26T04:00:00+08:00
t.to('local')
# 2020-07-26T04:00:00+08:00
t.to('utc')
# 2020-07-25T20:00:00+00:00

從不同的格式轉換為Arrow格式 [get]

他還可以自動判斷！

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


arrow.get('2020/10/09 16:15:14')
# 2020-10-09T16:15:14+00:00
arrow.get('2020-07-30T01:26:43.8')
# 2020-07-30T01:26:43.800000+00:00
arrow.get(datetime(2020, 7, 25, 10, 10, 30))
# 2020-07-25T10:10:30+00:00
arrow.get(date(2020, 7, 25))
# 2020-07-25T00:00:00+00:00
arrow.get(2020, 7, 25, 12, 30, 45)
# 2020-07-25T12:30:45+00:00
arrow.get("2020-07-25 11:30", "YYYY-MM-DD HH:mm")
# 2020-07-25T11:30:00+00:00
arrow.get(1595651445)
# 2020-07-25T04:30:45+00:00
arrow.get("1595651445", "X")
# 2020-07-25T04:30:45+00:00

產生一段範圍 [range span]

range：時間範圍內依某級別(hour)產生時間點
span：初始與結尾時間點

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


start = arrow.Arrow(2020, 7, 25, 11, 50)
end = arrow.Arrow(2020, 7, 25, 13, 50)
for t in arrow.Arrow.range('hour', start, end):
print(t)
# 2020-07-25T11:50:00+00:00
# 2020-07-25T12:50:00+00:00
# 2020-07-25T13:50:00+00:00
arrow.now().span('hour')
# (<Arrow [2020-07-25T11:00:00+08:00]>, <Arrow [2020-07-25T11:59:59.999999+08:00]>)
arrow.now().span('hour', count=2)
# (<Arrow [2020-07-25T11:00:00+08:00]>, <Arrow [2020-07-25T12:59:59.999999+08:00]>)

人性化(敘述)方式呈現 [humanize]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


arw = arrow.now().shift(hours=1)
arw.humanize()
# in an hour
arw = arrow.now().shift(hours=-2)
arw.humanize()
# 2 hours ago
# 也可以用中文顯示哦！！
# https://github.com/crsmithdev/arrow/blob/master/arrow/locales.py
arw.humanize(locale="zh_tw")
# 2小時前
# 指定要顯示的級別
arw = arrow.utcnow().shift(seconds=+8400)
arw.humanize(granularity="minute", locale="zh_tw")
# 140分鐘後
arw.humanize(granularity=["hour", "minute"], locale="zh_tw")
# 2小時 和 20分鐘後
# 也可以拿兩個時間來比對
a = arrow.now()
b = arrow.now().shift(weeks=1)
a.humanize(b, locale="zh_tw")
# 1週前

解析和格式化參數

說明	語法	結果
Year 年	YYYY	2000, 2001, 2002 … 2012, 2013
	YY	00, 01, 02 … 12, 13
Month 月	MMMM	January, February, March …
	MMM	Jan, Feb, Mar …
	MM	01, 02, 03 … 11, 12
	M	1, 2, 3 … 11, 12
Day of Year 一年中的天數	DDDD	001, 002, 003 … 364, 365
	DDD	1, 2, 3 … 364, 365
Day of Month 一個月中的天數	DD	01, 02, 03 … 30, 31
	D	1, 2, 3 … 30, 31
	Do	1st, 2nd, 3rd … 30th, 31st
Day of Week 一週中的天數	dddd	Monday, Tuesday, Wednesday …
	ddd	Mon, Tue, Wed …
	d	1, 2, 3 … 6, 7
Hour 小時	HH	00, 01, 02 … 23, 24
	H	0, 1, 2 … 23, 24
	hh	01, 02, 03 … 11, 12
	h	1, 2, 3 … 11, 12
AM / PM	A	AM, PM, am, pm
	a	am, pm
Minute 分鐘	mm	00, 01, 02 … 58, 59
	m	0, 1, 2 … 58, 59
Second 秒	ss	00, 01, 02 … 58, 59
	s	0, 1, 2 … 58, 59
Sub-second	S	0, 02, 003, 000006, 123123123123…
Timezone 時區	ZZZ	Asia/Taipei, Europe/Warsaw, GMT …
	ZZ	-08:00, -07:00 … +07:00, +08:00
	Z	-0800, -0700 … +0700, +0800
Seconds Timestamp 時間戳	X	1381685817, 1381685817.915482
ms or µs Timestamp 時間戳	x	1569980330813, 1569980330813221

結語

其他更進階的語法可以前往 Arrow 官方文件查閱~

相比Python內建的日期時間套件，用起來應該清楚、好用吧。
只是缺點是使用前要先安裝。

如有遇到其他問題，或文章內容有誤，歡迎底下留言~😙

參考：
Arrow 官方GitHub
Arrow 官方文件

當你認為全世界都在跟你做對時，
請記得飛機是逆風而飛的。

常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

jia@jiatool.com (Jia) — Fri, 12 Jun 2020 22:29:06 +0800

(2021/10/03 新增) 瀏覽器使用 CSS Selectors 搜尋教學。

最近開始接觸網路爬蟲，因此順便把一些常用網頁取得元素(element)的 CSS Selectors 方式整理一下，第一部分是純 CSS，第二部分則是 Python 搭配 BeautifulSoup 套件。

喜歡網路爬蟲也歡迎觀看 Python網路爬蟲實例系列文章~

純CSS

先上表格，後面還有範例。

說明	語法
tag 定位	span font
id 定位	#ID
class 定位	.CLASS
排除	:not()
屬性值	[name="NAME"]
屬性值(不等於)	[name!="NAME"]
屬性值包含	[title*="TITLE"]
屬性值開頭	[title^="start"]
屬性值結尾	[title$="end"]
第 1 個子元素 (全部)	ul li:first-child
最後 1 個子元素 (全部)	ul li:last-child
第 2 個子元素 (全部)	ul li:nth-child(2)
倒數第 2 個子元素 (全部)	ul li:nth-last-child(2)
第 1 個子元素 (指定)	ul li:first-of-type
最後 1 個子元素 (指定)	ul li:last-of-type
第 2 個子元素 (指定)	ul li:nth-of-type(2)
倒數第 2 個子元素 (指定)	ul li:nth-last-of-type(2)
第奇數個子元素 (指定)	ul li:nth-of-type(odd)
第偶數個子元素 (指定)	ul li:nth-of-type(even)
第 3 的倍數個子元素 (指定)	ul li:nth-of-type(3n)
第 3 的倍數+1個子元素 (指定)	ul li:nth-of-type(3n+1)
同一層往後尋找元素	#ID ~ i
同一層的"下一個"元素	#ID + *
同時尋找多種選擇器	#id1 , #id2

1
2
3
4


import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')

標籤定位(tag、id、class)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


<html>
<span>
<div><font>001</font></div>
<font>002</font>
</span>
<div id="ID">003</div>
<div class="CLASS CLASS2">004</div>
<i name="NAME" style="STYLE">005</i>
<i name="NAME2" style="STYLE">006</i>
<div title="TITLE">007</div>
<div title="start-TITLE">008</div>
<div title="TITLE-end">009</div>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# tag定位：
soup.select_one('span font')
# <font>001</font>
soup.select_one('span > font')
# <font>002</font>
# id定位：
soup.select_one('#ID')
soup.select_one('div#ID')
# <div id="ID">003</div>
# class定位：
soup.select_one('.CLASS')
soup.select_one('div.CLASS')
soup.select_one('div.CLASS.CLASS2')
# <div class="CLASS CLASS2">004</div>
# 同時尋找多種選擇器
soup.select('#ID , .CLASS')
# [<div id="ID">003</div>, <div class="CLASS CLASS2">004</div>]
# 排除
soup.select('div:not(#ID):not(.CLASS)')
# [<div><font>001</font></div>, <div title="TITLE">007</div>, <div title="start-TITLE">008</div>, <div title="TITLE-end">009</div>]

元素屬性

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 元素有某屬性：
soup.select_one('i[name]')
# <i name="NAME" style="STYLE">005</i>
# 屬性值：
soup.select_one('i[name="NAME"]')
soup.select_one('i[name="NAME"][style="STYLE"]')
# <i name="NAME" style="STYLE">005</i>
# 屬性值不等於：
soup.select_one('i[name!="NAME"]')
# <i name="NAME2" style="STYLE">006</i>
# 屬性值包含某字串：
soup.select_one('div[title*="TITLE"]')
# <div title="TITLE">007</div>
# 屬性值以某字串開頭：
soup.select_one('div[title^="start"]')
# <div title="start-TITLE">008</div>
# 屬性值以某字串結尾：
soup.select_one('div[title$="end"]')
# <div title="TITLE-end">009</div>

子元素

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


<html>
<div id="list">
<p>101</p>
<p>102</p>
<span>201</span>
<span>202</span>
<span>203</span>
<p>103</p>
<span>204</span>
<p>104</p>
</div>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


# -child
# 第1個、最後1個 子元素：
soup.select_one('ul#list li:first-child')
soup.select_one('ul#list li:last-child')
# <li>1001</li>
# <li>1004</li>
# 第2個、倒數第2個 子元素：
soup.select_one('ul#list li:nth-child(2)')
soup.select_one('ul#list li:nth-last-child(2)')
# <p>102</p>
# None
# 注意：倒數第2個元素不是"p"，因此找不到
# -of-type
# 第1個、最後1個 子元素：
soup.select_one('#list p:first-of-type')
soup.select_one('#list p:last-of-type')
# <p>101</p>
# <p>104</p>
# 第2個、倒數第2個 子元素：
soup.select_one('#list p:nth-of-type(2)')
soup.select_one('#list p:nth-last-of-type(2)')
# <p>102</p>
# <p>103</p>
# 以上兩種很像，他們的差別是：
# nth-child 會把全部的元素加進去算；nth-of-type 只會針對你指定的元素去算。
# 偶數、奇數 位置元素
soup.select('#list p:nth-of-type(odd)')
soup.select('#list p:nth-of-type(even)')
# [<p>101</p>, <p>103</p>]
# [<p>102</p>, <p>104</p>]

同一層元素

1
2
3
4
5
6


<html>
<div id="ID">301</div>
<div class="CLASS CLASS2">302</div>
<i name="NAME" style="STYLE">303</i>
<i name="NAME2" style="STYLE">304</i>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# 在同一層往後尋找元素
soup.select_one('#ID ~ i')
# <i name="NAME" style="STYLE">303</i>
# 在同一層的"下一個"元素
soup.select_one('#ID + *')
# <div class="CLASS CLASS2">302</div>
# 在同一層，往後尋找"下一個"元素
soup.select_one('#ID + div')
# <div class="CLASS CLASS2">302</div>
# 在同一層，往後尋找中間跳過一個元素的"下一個"元素
soup.select_one('#ID + * + i')
# <i name="NAME" style="STYLE">303</i>

搭配 BeautifulSoup 套件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


<div>
<span>標題</span>
<span>副標題</span>
<span>第二副標題</span>
<div class="a" title="first" href="/link">這是一行句子</div>
<a href="/link1">這是超連結1</div>
<a href="/link2">這是超連結2</div>
<div data-target="value">data屬性</div>
<div class="CLASS CLASS2">多個class</div>
</div>

尋找標籤

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 返回符合的單個元素(如有多個符合，則回傳第一個)，當找不到則回傳None：
soup.select_one('span')
soup.find('span')
# <span>標題</span>
# 返回符合的全部元素(List)，當找不到則回傳空List：
soup.select('span')
soup.find_all('span')
# [<span>標題</span>, <span>副標題</span>, <span>第二副標題</span>]
# 限制尋找元素數量：
soup.select("span", limit=2)
# [<span>標題</span>, <span>副標題</span>]

取得元素文字、值

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 取得元素的文字：
soup.select_one('div.a').text
# 這是一行句子
# 如果需要更多擷取方式，可使用get_text()
# 取得元素屬性的值：
soup.select_one('div.a').get('title')
# first
soup.select_one('div.a').get('class')
# ['a']
soup.select_one('div.a').get('href')
# /link

元素屬性、文字

有些較複雜的也可以改用 find 或 find_all 來尋找。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 基本的
soup.find_all(title="first")
# [<div class="a" href="/link" title="first">這是一行句子</div>]
# 因為 class 在 Python 中是保留字，所以尋找class時改使用 class_：
soup.find_all(class_="CLASS")
# [<div class="CLASS CLASS2">多個class</div>]
# 當想比對全部class(注意順序)
soup.find_all(class_="CLASS CLASS2")
# [<div class="CLASS CLASS2">多個class</div>]
# 某些HTML的屬性直接寫的話，會發生錯誤(例如 data-* 這類的屬性)，
# 改使用另一種方式即可：
soup.find_all(attrs={"data-target": "value"})
# [<div data-target="value">data屬性</div>]
# 以正規表示式比對超連結網址：
soup.find_all(href=re.compile("^/link\d"))
# [<a href="/link1">這是超連結1</a>, <a href="/link2">這是超連結2</a>]
# 以文字內容尋找(也可搭配正規表示式)
soup.find_all("div", string="這是一行句子")
soup.find_all("div", string=re.compile("句子"))
# [<div class="a" href="/link" title="first">這是一行句子</div>]

父元素、同一層元素

前面說的是以其元素往下尋找子元素，那如果要找父元素或同一層元素，使用以下方式：

1
2
3
4
5
6
7
8
9


<div id="div2">
<div id="div1">
<p id="a">第一點</p>
<p id="b">第二點</p>
<p id="my">第三點</p>
<p id="c">第四點</p>
<p id="d">第五點</p>
</div>
</div>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 先以 <p id="my">第三點</p> 元素為基準
my_tag = soup.find(id="my")
# 函式名稱多加s，代表尋找多個
# 向上尋找父元素
my_tag.find_parent("div")
my_tag.find_parents("div")
# 在同一層往前尋找元素
my_tag.find_previous_sibling("p")
# <p id="b">第二點</p>
my_tag.find_previous_siblings("p")
# [<p id="b">第二點</p>, <p id="a">第一點</p>]
# 在同一層往後尋找元素
my_tag.find_next_sibling("p")
# <p id="c">第四點</p>
my_tag.find_next_siblings("p")
# [<p id="c">第四點</p>, <p id="d">第五點</p>]

其他

其他在擷取網頁可能還需要的功能：

1
2
3
4
5
6


# 去除某個元素
node = soup.select_one("#my").extract()
# 去除多個元素
# 注意：前面已經將 #my 移除了
node = [t.extract() for t in soup.select("p")]

瀏覽器使用 CSS Selectors 搜尋

你知道在撰寫網路爬蟲程式時，可以有什麼方式快速找到元素的標籤嗎？
瀏覽器的 開發人員工具 有許多方便的功能讓我們使用~

Q. 如何開啟瀏覽器的 開發人員工具 呢？

A. 有以下三種方式：

網頁空白處點擊滑鼠右鍵 > 檢查。
瀏覽器(Chrome)右上選單 > 更多工具 > 開發人員工具。
快捷鍵 F12。

第一種開啟方式

第二種開啟方式

Q. 那如何快速找到元素的標籤？

A. 切換到 Elements 分頁，點擊左上角箭頭，並滑鼠指到(或點選)網頁上的元素。
如此開發人員工具內會跳到此元素的位置，並標註出來。

找到元素的標籤

Q. 如何使用 CSS Selectors 或 XPath 搜尋元素？

A. 在 Elements 分頁，快捷鍵 Ctrl + F，會跳出下方搜尋欄，可以透過 "文字"、"CSS Selectors"、"XPath" 搜尋元素。

Elements 下方搜尋欄

使用 CSS Selectors 或 XPath 搜尋元素

Q. 有辦法自動產生元素的 "CSS Selectors"、"XPath" 嗎？

A. 是可以，但不那麼建議，因為網頁有時會更新、變動，建議自己找出較好的 Selector 寫法。
對元素點擊滑鼠右鍵 > Copy > Copy selector。

複製元素的 CSS Selector 或 XPath

如有發現任何錯誤，歡迎底下留言告知~

參考：
Python selenium —— XPath and CSS cheat sheet
Python 使用 Beautiful Soup 抓取與解析網頁資料，開發網路爬蟲教學

不用很厲害才開始，要先開始才會很厲害。