Yahoo搜尋 on IT 空間

Bright Data 手把手教學 — 輕鬆取得 Google、Yahoo 搜尋引擎結果 API

jia@jiatool.com (Jia) — Sat, 23 Dec 2023 21:00:00 +0800

此篇為商業合作文章

前言

Bright Data 跟我之前介紹過的 DataForSEO 、 Aves API 一樣，都有提供抓取搜尋引擎結果的服務，因此照理說穩定度應該會比較好，不過 Bright Data 是專注於商務客戶，所以要提醒目前個人是無法使用的 (不支持個人用途，如打遊戲之類的)。

Bright Data 的 SERP API 目前支援 Google、Bing、DuckDuckGo、Yandex、Yahoo、百度和 Naver 搜尋引擎，你可以用來做關鍵字追蹤、比較價格、市場研究、偵測版權侵權、廣告情報等等用途。

底下我會以最多人使用的「Google 搜尋 API」來當範例，一起從註冊、設定、測試到最後程式碼帶大家認識。

Bright Data 官網

註冊 Bright Data

首先，需要有一組 Bright Data 帳號。

如果願意透過此連結註冊，我可以獲得一絲絲分潤，就當支持我寫作吧~🫡

註冊 Bright Data 帳號：https://get.brightdata.com/fabjye

官方還提供我的讀者優惠~
透過上述連結註冊的新用戶，首次儲值 25 美元再送 25 美元，直接省一半!!

需要填寫姓名、工作用 Email、公司規模，就像文章一開始說的，它是面向商務的服務。
(不支持個人用途)

註冊 Bright Data

註冊後，在添加付款方式時，將收到 5 美元的額度可以讓你試用。或者可以聯絡你的客戶經理，會贈送一些額度可以讓你免費試用。

SERP API

SERP API 目前支援以下幾種搜尋，可以看出來涵蓋蠻多的：

Google Search
Google Images
Google Videos
Google Maps
Google Trends
Google Reviews
Google News
Google Jobs
Google Shopping
Google Hotels
Bing Search
DuckDuckGo Search
Yandex Search
Yahoo Search
百度 Search
Naver Search

SERP API 價格

SERP API 價格官方有詳細說明在這個網頁，

依照方案分為四種：PAY AS YOU GO、GROWTH、BUSINESS、ENTERPRISE。

CPM 指的是每一千次請求 API 的價格。
以方案 GROWTH 為例，$2.30/CPM 就是每一千個請求要 2.3 美金，等同於每個請求 0.0023 美金 (約 0.072 新台幣)。

GROWTH 和 BUSINESS 方案會有每月最低消費金額 (分別為 500 和 1000 美金)，但它們使用 API 的價格就會再便宜一些些。

* 以上價格為美金💵
* 針對費用、週期計算有疑慮的讀者，建議可以直接諮詢客戶經理。

SERP API 價格

建立新的 SERP API Zone

第一次使用可以先參考這篇官方文章去設定，或直接跟著我底下的教學來實作。

進到 " My Proxies " 頁面，找到「SERP API」點 "Get started" 來新增一個 Solution。

My Proxies > SERP API > Get started

接下來，設定一個 Solution 名稱 (在 Bright Data 內也等同 zone 名稱)，注意這個設定後就無法更改 (就只能把它刪除，再建一個新的)，其餘設定都可以之後再更改。

設定一個 Solution

SERP API Zone 上方可以看到有三個頁籤，可以自己隨意點點看看：

Access parameters (存取參數)
Configuration (配置)
Statistics (統計數據)

* 有幾個資訊後續 call API 時會用到，我也在這邊先標出來："host"、"account id"、"password"、"zone"。

SERP API Zone 設定

* Access parameters (存取參數)分頁底下有個 Limit 欄位，可以設定請求量限制，當到達限制後要關閉還是通知你，可以避免不小心意外耗費太多額度。

可限制 API 使用，避免超額

測試與範例頁面

Bright Data 也同樣提供 SERP API 相關測試與參數介紹頁面，在開始撰寫程式前，可以先來這邊透過網頁 UI 的方式嘗試、熟悉各參數與如何使用。

* 官方介紹中有看到支援 Google、Bing、DuckDuckGo、Yandex、Yahoo、百度和 Naver 搜尋，不過在這個頁面缺少百度、Yahoo、Naver，經過我向官方詢問，使用方式與參數都是一樣的，所以如果需要，稍微改一下應該就能使用了。

Playground - 測試頁面

在 SERP API Playground 測試頁面，透過 UI 介面選擇瀏覽器、設定關鍵字與參數 (下圖橘框處)，並實際查看它查詢後回傳的資料 (網頁與 JSON)，

而且使用 Playground 是 "免費" 的！！👍
你可以先在這邊先用不同關鍵字、參數去測試，沒問題後再整合進程式裡面。

SERP API Playground 測試頁面

下方有個 "Generate API code" 按鈕 (上圖藍框處)，可以查看假如依照你目前的參數設定，該如何下查詢指令(或程式碼)。
要注意你 proxy 設定 "同步" 或 "非同步" 請求 (下一個章節會說明)，這邊的範例也會跟著改變。

但有點可惜的是，"非同步請求" 的程式碼範例只有 Shell 跟 Node.js，而"同步請求" 雖然有 Python 範例，但不是使用我習慣的 Requests 套件，因此我花了一些時間研究與嘗試，後面章節我有將程式碼列出來供大家參考，

Generate API code 範例程式

* 如果你還沒註冊就等不及的話，可以到 SERP API 介紹網頁中的 SERP API Live Demo 先嘗試，不過就只有讓你測試 Google 搜尋就是了。

SERP API Live Demo

API Guide - 參數介紹與指令

這個 API Guide 頁面是介紹 SERP API 支援那些參數，以及該如何下這些參數。對於參數不了解的話，也可以先到這邊來看看。

同樣這頁也會因為你 proxy 設定 "同步" 或 "非同步" 請求，而有所對應改變。

SERP API Guide - 參數介紹與指令

發送請求

它的 SERP API 也有分成「同步請求」、「非同步請求」兩種請求方法。

預設是使用同步請求，使用上最簡單，只需要發送一個請求即可。但對於有大量請求需求的使用者，還是建議使用非同步請求，因為它有比較好的穩定性。

如果想切換同步/非同步請求，則在 SERP API Zone > Configuration 的最下面，有個「Asynchronous requests」開關

SERP API 切換同步/非同步請求

官方範例是使用我不熟悉的套件，但我比較習慣使用 requests 套件，因此底下範例程式是我自己改寫的~✍️

同步請求

只要發送一個 GET 請求即可取得結果。

它是透過 proxy 將請求轉給他們，proxy 設定為：
http://brd-customer-{ACCOUNT_ID}-zone-{ZONE}:{PASSWORD}@{HOST}
完整樣子會像是：
http://brd-customer-oooooooo-zone-serp_api:xxxxxxxx@brd.superproxy.io:22225

另外，出於資訊安全的考量，進行 HTTPS 連線時 Python 會檢查伺服器的 SSL 憑證是否有效，因此還需要安裝 SSL 憑證，否則會出現像下圖那樣的錯誤，可以參考官方文章：如何安裝 SSL 憑證

遇到 SSL 憑證問題

那假如只是要測試，我們可以 “忽略憑證” (verify=False，參考這篇文章 )，如同下方範例程式馬。

參數說明可以參考這篇，或者如果已經登入，可以在後台的 API Guide 頁面去查看各種查詢與參數該如何下。

Python 程式碼範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


url = 'https://www.google.com.tw/search'
params = {
"q": "Google Gemini", # 搜尋關鍵字
"gl": "tw",
"num": "100",
"brd_json": "1" # 回傳 JSON 格式，預設是 html
}
proxy_url = f"http://brd-customer-{ACCOUNT_ID}-zone-{ZONE}:{PASSWORD}@{HOST}"
proxies = {'http': proxy_url, 'https': proxy_url}
# 使用 verify=False 忽略 SSL 憑證
# 為了安全，建議還是安裝 SSL 憑證：https://help.brightdata.com/hc/en-us/articles/4413322250001
response = requests.get(url, params=params, proxies=proxies, verify=False)
print(response.json())

* 各個狀 SERP API 錯誤訊息意思如這個官方清單。

非同步請求

在說明用法之前，我們要先去產生一組 API Token ( 官方說明文章 )。

到後台的 Account Settings > User access 頁面，點擊最下方 API tokens 的右邊 "Add token" 按鈕。

Account Setting > Add token

並指定要給哪一位 User 使用，Permission 就選擇 "User" 即可，期限可以指定日期或勾選下方的"Unlimited (無期限)"。

* 因為這關係到權限，可能會需要去信箱收驗證信。

Add API token

它產生的 API Token 要複製起來，不然之後忘記就要重新產生了。

再來到你的 SERP API Zone 中 Configuration 分頁，最下方將「Asynchronous requests」開關打開。

SERP API 切換同步/非同步請求

這邊的 "Web Hook URL" 和 "Web Hook Request Method" 你可以設定，讓任務完成後會主動來呼叫你，或者像我下面將要說明的 — 由我們自己去取得結果，那就不需要填這兩個欄位了。

記得要 Save。

好了，終於要來講 "非同步請求" 該怎麼使用了。

它與 "同步請求" 使用方式有所不同，"非同步請求" 使用上分為兩個請求：

設定任務
取得任務的查詢結果

先使用 POST 請求「設定任務」，指定查詢參數、回傳格式。
如果成功的話，會在收到回覆的 Header 看到一個 "x-response-id"，這個代表 Response ID，也就是下一步要使用的。

第二步，送出 GET 請求「取得任務的查詢結果」，帶上第一步取得的 x-response-id。
如果查詢任務已完成，會收到 Status Code = 200，Body 內容即是查詢結果資料；如果查詢任務還沒完成，收到 Status Code = 404 (Not Found)，那就要等個幾秒再試一次。

可以直接參考下方範例程式碼，或參考這篇官方說明。

* 當然只有 "設定任務" 請求會收費 (如果成功的話)。
* 查詢結果最多會存在伺服器 24 小時，這段時間你還是可以使用 Response ID 去取得查詢結果。

Python 程式碼範例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


# 記得要先去後台開啟 Asynchronous requests
url = f'https://api.brightdata.com/serp/req?customer={ACCOUNT_ID}&zone={ZONE}'
headers = {
'Content-Type': 'application/json',
'Authorization': f'Bearer {API_TOKEN}'
}
data = {
"country": "tw",
"query": {
"q": "Google Gemini", # 搜尋關鍵字
"gl": "tw",
"num": "100"
},
"brd_json": "json" # 回傳 JSON 格式，預設是 html
}
response = requests.post(url, headers=headers, json=data)
response_id = response.headers.get("x-response-id")
print(f"response id: {response_id}")
time.sleep(10) # 等待它完成查詢
url = f'https://api.brightdata.com/serp/get_result?customer={ACCOUNT_ID}&zone={ZONE}&response_id={response_id}'
headers = {'Authorization': f'Bearer {API_TOKEN}'}
response = requests.get(url, headers=headers)
print(response.json())

* 各個狀 SERP API 錯誤訊息意思如這個官方清單。

查詢結果說明

SERP API 回傳的查詢結果我以 JSON 格式來說明，以下直接貼出範例結果給大家參考，大部分欄位應該很容易就看出來意思。

其他說明可以直接參考官方說明：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67


{
"general": {
"search_engine": "google",
"results_cnt": 2030000000,
"search_time": 0.31,
"language": "zh-TW",
"mobile": false,
"basic_view": false,
"search_type": "text",
"page_title": "Google Pixel - Google 搜尋",
"timestamp": "2023-12-03T14:27:44.026Z"
},
"input": {
"original_url": "https://www.google.com.tw/search?q=Google+Pixel&gl=tw&lang=zh-TW&location=Kaohsiung+City%2CTaiwan&brd_json=1",
"request_id": "xxxxxxxx"
},
"organic": [
{
"link": "https://store.google.com/tw/category/phones?hl=zh-TW",
"display_link": "https://store.google.com › category › phones",
"title": "Google Pixel 手機- Google 商店",
"description": "Google 5G smartphones feature the latest technology so you always have that new phone feeling. Find out which Pixel is right for you.",
"rank": 1,
"global_rank": 1
},
{
"link": "https://store.google.com/tw/?hl=zh-TW",
"display_link": "https://store.google.com › ...",
"title": "Google 商店官網，專售Google 製造的裝置和配件",
"description": "全新Pixel 手機內建Google AI 技術，搭載最令人驚艷的Pixel 相機。 ... 支援大多數搭載Android 9.0 以上版本的手機，須有Google 帳戶、Google Pixel Watch 應用程式和網路連 ...",
"rank": 2,
"global_rank": 2
},
......
{
"link": "https://guidebooks.google.com/pixel?hl=zh-Hant",
"display_link": "https://guidebooks.google.com › pixel",
"title": "瞭解「Google Pixel」",
"description": "設定新的Pixel 手機. 瞭解如何從你的舊Android 手機或iPhone® 轉移資料。 接下來，你可以學習如何自訂各項設定、取得日常事務協助以及 因應緊急狀況等等。",
"rank": 10,
"global_rank": 10
}
],
"pagination": {
"current_page": 1,
"next_page_link": "https://www.google.com.tw/search?q=Google+Pixel&sca_esv=587474982&gl=tw&hl=zh-TW&ei=XZBsZxxxxxxxx4HIDg&start=10&sa=N",
"next_page_start": 10,
"next_page": 2
},
"related": [
{
"list_group": false,
"link": "https://www.google.com.tw/search?sca_esv=587474982&gl=tw&hl=zh-TW&q=google+pixel%E8%A9%95%E5%83%B9&sa=X&ved=2ahUKEwiS9uLuvPOCAxXYBogKHdNVAOkQ1QJ6BAgjEAE",
"text": "google pixel評價",
"rank": 1,
"global_rank": 11
},
......
{
"list_group": false,
"link": "https://www.google.com.tw/search?sca_esv=587474982&gl=tw&hl=zh-TW&q=google%E6%89%8B%E6%A9%9Fpixel+7&sa=X&ved=2ahUKEwiS9uLuvPOCAxXYBogKHdNVAOkQ1QJ6BAgeEAE",
"text": "google手機pixel 7",
"rank": 8,
"global_rank": 18
}
]
}

完整 Python 範例

首先要確認有安裝 Requests 套件：

1

pip install requests

完整 Python 程式碼：

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106


import time
import json
import requests
ZONE = "<your_zone>"
ACCOUNT_ID = "<your_account_id>"
PASSWORD = "<your_password>"
HOST = "<your_host>"
API_TOKEN = "<your_api_token>"
class Brightdata():
def __init__(self, zone, account_id, password, host, api_token):
self.zone = zone
self.account_id = account_id
self.password = password
self.host = host
self.api_token = api_token
self.username = f"brd-customer-{self.account_id}-zone-{self.zone}"
self.proxy_url = f"http://{self.username}:{self.password}@{self.host}"
def sync_get_search_result(self, keyword):
""" SERP API 同步請求 - 取得搜尋結果"""
proxies = {
'http': self.proxy_url,
'https': self.proxy_url
}
url = 'https://www.google.com.tw/search'
params = {
"q": keyword, # 搜尋關鍵字
"gl": "tw",
"lang": "zh-TW",
"location": "Kaohsiung City,Taiwan",
"num": "100",
"brd_json": "1" # 回傳 JSON 格式，預設是 html
}
# 使用 verify=False 忽略 SSL 憑證
# 為了安全，建議還是安裝 SSL 憑證：https://help.brightdata.com/hc/en-us/articles/4413322250001
response = requests.get(url, params=params, proxies=proxies, verify=False)
if response.status_code != 200:
print(f"Error: {response.status_code} - {response.reason}")
return {}
return response.json()
def async_set_search_job(self, keyword):
""" SERP API 非同步請求 - 設定搜尋任務

 * 記得要先去後台開啟 Asynchronous requests
 """
url = f'https://api.brightdata.com/serp/req?customer={self.account_id}&zone={self.zone}'
headers = {
'Content-Type': 'application/json',
'Authorization': f'Bearer {self.api_token}'
}
data = {
"country": "tw",
"query": {
"q": keyword, # 搜尋關鍵字
"gl": "tw",
"lang": "zh-TW",
"location": "Kaohsiung City,Taiwan",
"num": "100"
},
"brd_json": "json" # 回傳 JSON 格式，預設是 html
}
response = requests.post(url, headers=headers, json=data)
response_id = ""
if response.status_code == 200:
response_id = response.headers.get("x-response-id")
print(f"response id: {response_id}")
else:
print(f"Error: {response.status_code} - {response.reason}")
return response_id
def async_get_search_result(self, response_id):
""" SERP API 非同步請求 - 取得搜尋結果
 """
url = f'https://api.brightdata.com/serp/get_result?customer={self.account_id}&zone={self.zone}&response_id={response_id}'
headers = {'Authorization': f'Bearer {self.api_token}'}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Error: {response.status_code} - {response.reason}")
return {}
return response.json()
if __name__ == '__main__':
brightdata = Brightdata(ZONE, ACCOUNT_ID, PASSWORD, HOST, API_TOKEN)
# SERP API 同步請求
result = brightdata.sync_get_search_result("Google Pixel")
print(json.dumps(result))
# SERP API 非同步請求
# response_id = brightdata.async_set_search_job("Google Pixel")
# time.sleep(10) # 等待它完成查詢
# result = brightdata.async_get_search_result(response_id)
# print(json.dumps(result))

* 官方還有更多的說明文件，有需要都可以進去看看：

如果願意透過此連結註冊，我可以獲得一絲絲分潤，就當支持我寫作吧~🫡

註冊 Bright Data 帳號：https://get.brightdata.com/fabjye

官方還提供我的讀者優惠~
透過上述連結註冊的新用戶，首次儲值 25 美元再送 25 美元，直接省一半!!

結語

如果你有爬取(抓取)搜尋結果資料的需求，我覺得花點小錢還是蠻值得的，總比自己在那邊搞爬蟲、驗證碼(CAPTCHA)、換 IP、Proxy、被Ban帳號好太多了… (<- 過來人😭😭😭

Bright Data 除了這次介紹的 SERP API 工具外，他還有其他很多的服務，像是 Proxy、Scraping Browser API、Web Scraper IDE、Web Unlocker 等等，如果有這方面的需求，也可以跟他們詢問 (反正問又不用錢XD)。

參考：
BrightData 官方網站
 BrightData SERP-API 官方文檔1
BrightData SERP-API 官方文檔2
BrightData SERP-API 常見 Q&A
BrightData 使用者後台

只做能力範圍的事，就永遠無法進步。

DataForSEO 教學 — Google、Yahoo 搜尋結果 SERP API

jia@jiatool.com (Jia) — Sat, 18 Nov 2023 21:50:00 +0800

(先澄清，以下非業配，純粹依個人使用過程描述。)

前言

在很久之前，我有寫一篇關於第三方 Google 搜尋結果的 API (Aves API) 。而最近又在因緣際會下，被迫(?)接觸了另一個類似的服務平台 — DataForSEO。

DataForSEO 提供了更多的服務，包括 Google Search、Google Maps、Google News、Google Images、YouTube、Yahoo Search、Bing Search、百度 Search、Google Play 和 Apple App，還有一些其他商業應用的服務。可以看的出來還蠻多樣的，如果有這方面的需求或許可以參考。

這次就改以「Yahoo 搜尋 API」當範例，來跟著我一起嘗試這個 API 服務吧，這篇也算把我自己的使用經驗記錄下來。

DataForSEO 官網

SERP API

官方的 SERP API 頁面有一些簡單的介紹，SERP API 目前支援以下幾種搜尋：

Google SERP
Google 圖片
Google 新聞
Google 地圖
Yahoo SERP
Bing SERP
百度 SERP
YouTube SERP

SERP API 支援的搜尋引擎

搜尋測試頁面

在 DataForSEO 官網上有提供一個 Google SERP 搜尋測試頁面，可以實際輸入關鍵字，並查看它回傳的資料，只可惜好像沒有提供台灣的選項。

但它在使用者後台(需註冊)也有提供一個 API Explorer (就是 Playground) 的 GUI 介面，會完整許多，各種支援的搜尋引擎都可以選，地區也有台灣(並細分到縣市)，也有許多參數可以設定，但這邊就會直接花到錢的 (新帳戶有送 1 美元的額度可供試用)。

關於使用者後台頁面，我文章後續章節會再介紹。

Google SERP 搜尋測試頁面

SERP API 價格

搜尋 API 價格官方有詳細說明在這個網頁，依照你使用的模式它分為三種價格：STANDARD QUEUE、PRIORITY QUEUE、LIVE MODE。

STANDARD QUEUE：每一次查詢 $0.0006，平均等 5 分鐘。
PRIORITY QUEUE：每一次查詢 $0.0012，平均等 1 分鐘。
LIVE MODE：每一次查詢 $0.002，平均等 6 秒。

* 以上價格為美金

SERP API 價格

LIVE MODE 使用上最簡單，只要單一請求就會回傳結果，速度也最快，但價格當然也最貴。
STANDARD QUEUE 和 PRIORITY QUEUE 則是要先發送查詢任務請求，再來定時去問問它查好了沒，最後再取得查詢結果，要分成三段，在程式上寫起來比較麻煩，但它比較便宜(窮人的悲哀QQ)，而 STANDARD QUEUE 和 PRIORITY QUEUE 兩者看起來只差在等待時間及價格。

以下文章我會以 STANDARD QUEUE 和 PRIORITY QUEUE 模式來示範。

API 使用

SERP API 使用上分為三個請求：

Task POST (task_post)：設定任務
Tasks Ready (tasks_ready)：取得已完成任務
Task GET (task_get)：取得任務的結果

* STANDARD QUEUE、PRIORITY QUEUE 模式的區分是在送出 task_post 請求時，帶上 priority 參數來指定，1 (預設)代表 STANDARD、2 代表 PRIORITY。

SERP API 流程

首先使用 "Task POST" 設定查詢任務，指定關鍵字以及其餘參數，讓它開始去抓我們想要的搜尋結果，這邊最多可以一次給 100 組關鍵字，不過稍微注意有限制每分鐘最多只能發送 2000 個 API 請求。

* 你也可以指定 pingback_url，當任務完成時它會主動通知你；
* 或指定 postback_url，當任務完成時它會主動將結果傳送給你。
再來使用 "Tasks Ready" 查詢它執行完哪些任務，可以每 10 秒檢查一次，或一分鐘檢查一次，它只有限制每分鐘最多進行 20 次 API 請求。另外，已經被收集的任務(我猜是指已使用 task_get 取得的任務)和放超過三天未收集的任務會被移除不會在裡面。
最後，使用 "Task GET" 帶上任務 ID 取得任務的查詢結果，它有分三種 Regular、Advanced、HTML，Regular 就是以 JSON 格式整理好的結果；Advanced 跟 Regular 一樣，只是好像還有多一些特定資訊，我也不是很清楚；HTML 就是回傳搜尋結果的 HTML 格式。

* 而且任務結果在 30 天內都會保留，用 ID 都可以取得結果。
* 關於搜尋結果不同類別(type)各自代表甚麼，在這邊有官方的圖文說明：https://dataforseo.com/serp-features

* 以上三種請求，只有 "Task POST" 會收費，其餘兩個並不會產生費用。

送出的請求 Header 皆需要帶上憑證，確認是哪個帳號發出的，其格式如下：

Authorization: Basic ${credentials}

其中 credentials 是將你的 "API login" 與 "API password" 組的字串 {login}:{password} 經過 Base64 編碼的結果。

例如帳號是 jia@gmail.com、密碼是 abc123，組成 jia@gmail.com:abc123，再經過 Base64 變成 amlhQGdtYWlsLmNvbTphYmMxMjM=。

* "API login" 與 "API password" 可以在使用者後台 API Dashboard 網頁找到。

對了，
它們 API 還有提供 📦 沙盒模式(Sandbox)，讓我們可以在撰寫程式時做測試，不會花費到費用，但當然回傳的資料就是它們的範例資料，但可以讓我們確認 API 回傳的資料格式、測試程式有沒有問題。

官方文件：https://docs.dataforseo.com/v3/appendix/sandbox/

* 官方文件有更完整的說明：https://docs.dataforseo.com/v3/serp/yahoo/overview/

* 其他常見的 Q&A：https://dataforseo.com/help-center/category/serp-api

Python 範例

首先要確認有安裝 Requests 套件：

1

pip install requests

完整 Python 程式碼：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79


import json
import requests
class DataforseoSerp():
def __init__(self, credentials, open_sandbox=False):
self.base_url = 'https://api.dataforseo.com/v3/serp'
if open_sandbox:
self.base_url = 'https://sandbox.dataforseo.com/v3/serp' # 沙盒模式
self.search_engine = 'yahoo'
self.headers = {
'Authorization': f'Basic ${credentials}',
'Content-Type': 'application/json',
}
self.location_code = 1012825 # New Taipei City,Taiwan
# https://docs.dataforseo.com/v3/serp/yahoo/locations/
self.language_code = 'zh-TW'
# https://docs.dataforseo.com/v3/serp/yahoo/languages/
self.device = "desktop" # mobile
self.os = "windows" # macos android ios
def task_post(self, keywords, depth=100):
"""
 設定查詢任務，keywords 最多一次可以 100 個，每分鐘最多可以發送 2000 個 API 呼叫
 https://docs.dataforseo.com/v3/serp/yahoo/organic/task_post/
 """
if (keywords is None) or (len(keywords) == 0):
return None
url = f'{self.base_url}/{self.search_engine}/organic/task_post'
data = []
for keyword in keywords:
data.append({
"keyword": keyword,
"location_code": self.location_code,
"language_code": self.language_code,
"device": self.device,
"os": self.os,
"depth": depth
})
response = requests.post(url, headers=self.headers, json=data)
return response.json()
def tasks_ready(self):
"""
 取得已完成的查詢任務
 https://docs.dataforseo.com/v3/serp/yahoo/organic/tasks_ready/
 """
url = f'{self.base_url}/{self.search_engine}/organic/tasks_ready'
response = requests.get(url, headers=self.headers)
return response.json()
def task_get(self, task_id):
"""
 取得查詢任務的結果
 https://docs.dataforseo.com/v3/serp/yahoo/organic/task_get/regular/
 """
if task_id is None:
return None
url = f'{self.base_url}/{self.search_engine}/organic/task_get/regular/{task_id}'
response = requests.get(url, headers=self.headers)
return response.json()
if __name__ == "__main__":
dataforseo_serp = DataforseoSerp("xxxxxxxxxxxxxxxxxxxxxxxxxxx", open_sandbox=True)
result = dataforseo_serp.task_post(["飲料"])
print(json.dumps(result))
result = dataforseo_serp.tasks_ready()
print(json.dumps(result))
result = dataforseo_serp.task_get("11171539-6790-0066-2000-fa82270464a2")
print(json.dumps(result))
with open('dataforseo_serp_result.json', 'w') as f:
json.dump(result, f)

當然比較好的做法，是還要判斷它回傳結果的 status_code 欄位和 tasks 底下的 status_code 欄位，確保任務執行 OK 才去取資料，如果有錯誤，程式內要做相對應處理。

這邊只是為了示範，我就沒有寫出來了。

* 各個狀態代碼意思如這個官方清單。

使用者後台

當註冊後登入，即可進入使用者後台頁面去查看更多相關資訊。

其中有幾個重要的頁面：

API Dashboard (儀錶板)
API Usage (使用紀錄)
API Errors (錯誤紀錄)
API Explorer (API Playground)
API Settings (設定 API 限制)

API Dashboard (儀錶板)

有顯示你的 "API login" 與 "API password"，以及圖表化顯示每天的花費。

API Dashboard (儀錶板) 頁面

API Usage (使用紀錄)

就是你 API 的呼叫紀錄，它有將不同種類的 API 區分開來，方便我們查找。
有紀錄任務 ID、執行時間、執行狀態、花費、送出的參數，甚至可以從這邊看到查詢結果(等同於 "Task GET" 請求)。

API Usage (使用紀錄) 頁面

API Errors (錯誤紀錄)

發生錯誤的 API 請求會在這頁列出來。

API Errors (錯誤紀錄) 頁面

API Explorer (API Playground)

以圖形化的操作頁面，讓你實際測試 API 的結果是否符合你的預期，有輸入框讓你設定 API 不同參數，像是用哪個搜尋引擎、地區(有細分到縣市)、語言、電腦版或手機版、作業系統、關鍵字。

但要稍微注意，這邊是會直接花到錢的 (新帳戶有送 1 美元的額度可供試用)。

API Explorer (API Playground) 頁面

API Settings (設定 API 限制)

能設定可以呼叫 API 的 IP 白名單、限制每日最大花費額度(總共額度，或也可以細到 by 不同 API 去限制)。

API Settings (設定 API 限制) 頁面

注意事項

我在使用 Yahoo 搜尋 API 時發現，我明明設定要 100 筆結果(depth=100)，結果回傳只有 70 筆、甚至 40 幾筆而已的，我也有透過 API 回傳的 check_url 網址去確認，經過詢問與確認，官方是這樣答覆我：

Today, you contacted our Support Team and provided us with ID of your task sent to the Yahoo Serp API that returned fewer results than expected.
Our developers have carefully checked the situation and explained that such a search engine has some limitations. To avoid timeouts, we have a restriction that allows us to crawl up to 6 pages of the ordinary SERP (the one you can see in a browser). Taking into account that each page contains 7-8 results. In total, the API does not return more than 50 results.
If we remove such a restriction globally, this API will return 500 errors, and since we will have to send numerous requests to this search engine, it may harm it due to high traffic coming from us. I hope it makes sense.
Hope for your understanding!

也就是可能他們的 Yahoo 搜尋 API 很可能沒辦法抓到我們指定的筆數，除非你只需要第一頁，或前三頁之類的，不然這也是很困擾，要特別注意。

結語

相比上次使用的 Aves API 來說，DataForSEO 真的多了非常多的服務，而且價格貌似也比較便宜。官方同樣有線上客服，有相關需求都可以直接詢問，回應速度還蠻快的。

當然我目前只是短暫的嘗試，還不確定它長久、大量地使用下來穩定性如何，這部分有需求的人可以自行比較看看。

參考：
DataForSEO 官方網站
 DataForSEO 官方文檔
 DataForSEO Dashboard 後台

「失敗很正常，如果沒有經歷失敗，表示你還不夠創新。」
Failure is an option here. If things are not failing, you are not innovating enough.

—— Elon Musk 伊隆·馬斯克 (著名企業家)