巴哈姆特 on IT 空間

[Python爬蟲實例] 巴哈姆特動畫瘋：新手入門基礎網路爬蟲教學

jia@jiatool.com (Jia) — Sat, 11 Dec 2021 20:55:00 +0800

前言

這次文章比較面向網路爬蟲初學者，以爬取" 巴哈姆特動畫瘋 "的本季新番動畫資訊示範，從如何使用開發人員工具尋找網頁元素，到如何轉為可實際運作的程式碼，從頭到尾的流程。

來源：巴哈姆特動畫瘋

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任。

套件

此次 Python 網路爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

教學

先說明本篇網路爬蟲目標，只針對較容易爬取的欄位來教學，分別是"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"等資料，以下瀏覽器以 Chrome 版本 96.0.4664.45 示範。

來到 " 巴哈姆特動畫瘋 " 網頁後打開"開發人員工具" (F12 或 Ctrl + Shift + i)。

巴哈姆特動畫瘋網頁

網頁元素架構

想要知道網頁上的資料在哪個元素中，有個好用的選擇工具，位於開發人員工具地左上角。
點它一下後，可以直接在網頁上點擊想要查看的區塊，Elements(元素)視窗裡的程式碼會自動跳到相應的地方。

開發人員工具內的選擇工具

但在找元素的定位之前，我們先來觀察元素的架構，這也會影響到後續程式碼的流程。

搭配以上說的"選擇工具"(Ctrl + Shift + C)，可以看出這部分的架構如下圖：

網頁元素架構

外圈會有一個 <div class="newanime-block"> 開頭，一直到下面以 </div> 結尾 (因為太長，所以圖片沒有擷取到結尾)，圖片中我以黃色方框表示。

而裡面每一部動畫的元素我以綠色方框表示，一個黃色框底下包含許多綠色框(動畫資訊)，在右邊開發人員工具中我以灰色框所圈起來的，每一個都對應著左邊網頁中一部動畫資訊。

發出請求

好，來寫網路爬蟲程式吧~💪
從請求網頁開始。

首先引入 requests 套件，來對"巴哈姆特動畫瘋"網址(https://ani.gamer.com.tw/)發出 GET 請求，再從它回傳的狀態碼(HTTP Status Code)來判斷請求是否成功。

* 我們網路爬蟲最常使用的 HTTP 請求方法為 "GET" 和 "POST"，兩者介紹與差異可以參考別人撰寫的文章： http Post 和 Get 差異 | Medium

1
2
3
4
5
6
7


import requests
r = requests.get('https://ani.gamer.com.tw/')
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

執行後……ㄟㄟ？！
為什麼請求失敗，回傳的狀態碼是"503"，不過使用瀏覽器網頁卻是正常顯示的。
(各個狀態所代表的意思： HTTP狀態碼 | 維基百科 )

很有可能是我們送出的請求中缺少某些要素(資料)，以至於動畫瘋的伺服器不回傳資料給我們，
最一開始，可以先加上 Headers 內的 "User-Agent" 試試：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
else:
print(f'請求失敗：{r.status_code}')

果然，這樣再執行程式碼就請求成功了~

你可能會想問「User-Agent」是什麼？從哪來的？

「User-Agent」(使用者代理)簡單來說是要"自我介紹"，說明自己是誰、版本號多少、使用什麼作業系統這類資訊。
例如我這邊是使用 Chrome 瀏覽器、版本為 96.0.4664.45、作業系統為 Windows 10 64 位元。如果你是使用 Android 或 iOS 系統的手機，那它送出去的 User-Agent 也會有所不同。

「User-Agent」算是一個讓伺服器最簡易判斷送出請求的人是誰，是電腦瀏覽器？是手機瀏覽器？還是Google爬蟲？
不過就像我們上面程式操作的，它也很容易自己去更改。

* 要怎麼辨別使用者瀏覽者用哪種瀏覽器呢？用UserAgent是最簡單的方式喔！

那該如何取得請求的「User-Agent」？

在開發人員工具視窗裡切換到 "Network" 分頁，篩選確認是在 "All"，重整網頁(F5)，這樣它才會抓到我們送出的請求。
然後會在下方列表的最上面看到 "ani.gamer.com.tw" 的請求。

開發人員工具 > Network

點擊 "ani.gamer.com.tw" 請求後，在右邊出現的視窗中切到 "Headers" 分頁 (正常來說預設就是"Headers"分頁)。
找到在 Request Headers 底下的 "user-agent" 欄位，這個數值就是你瀏覽器發出請求時，所包含的 User-Agent。

Headers > Request Headers > user-agent

* 此圖片是後來截圖的，所以瀏覽器版本號有些不同。

解析網頁元素

我們在請求成功後，將網頁原始碼顯示出來看看：

1

print(r.text)

接下來要從網頁原始碼解析出我們要的資料，雖然你可以直接從網頁原始碼"字串"切出想要的資料，但光想就知道很麻煩。

網頁原始碼 HTML 是有一定的規則，依循此規則架構可以容易地取出資料。我們將藉助 BeautifulSoup 套件，解析 HTML 文件，方便我們提取資料。

一樣要先將套件引入：

1

from bs4 import BeautifulSoup

* BeautifulSoup 基礎常用說明參考： Python 使用 Beautiful Soup 抓取與解析網頁資料，開發網路爬蟲教學

將剛剛取得的網頁原始碼傳入，並選擇使用內建的 html.parser 解析器：

1

soup = BeautifulSoup(r.text, 'html.parser')

要抓取元素，需要給程式依據，讓它可以正確定位到你想抓取哪個元素。

那照上面的 "網頁元素架構" 圖片所示，動畫資料的元素都被包在 <div class="newanime-block"> 之中，是不是只要抓 class 等於 newanime-block 就完事了呢？

可惜這樣會有個小問題，在此網頁中 class 等於 newanime-block 的元素有兩個啊 😕

怎麼知道的？！
在 "開發人員工具" 的 "Elements" 分頁中開啟搜尋框(鍵盤 Ctrl + F)，並輸入 .newanime-block (注意前面有小數點)。
.newanime-block 等於告訴它我要尋找 class 等於 newanime-block 的元素，可以看見它找到兩個符合此條件的元素。

* 你可能還不清楚如何寫 CSS Selector (選擇器)，之前我整理一篇常用的幾種寫法，可以搭配練習：
常用網頁 CSS Selector (選擇器)取得元素，搭配 Python BeautifulSoup 套件

"Elements" 分頁中搜尋

原來這兩個分別是代表 "本季新番" 和 "週期表" 的動畫。

從 <div class="newanime-block"> 再往上看一層，會發覺兩者有不同之處(用來定位元素)，一個 class 有 timeline-ver，另一個是 normal-ver，因此我們可以改用 .timeline-ver > .newanime-block 來更準確定位，也就是跟程式說 "我要抓取 class 有包含 timeline-ver 元素底下一層 class 有包含 newanime-block 的元素"。

* class 不一定要全部都寫，主要找出它代表性的、盡量不要跟別的元素重複的 class 即可。

網頁元素架構

程式中以這樣撰寫：

1

newanime_item = soup.select_one('.timeline-ver > .newanime-block')

再往下一層可抓到每一個動畫資料元素，我就以 newanime-date-area 這個 class 來定位。
每個綠框代表一組動畫的元素。

動畫資料元素

這邊程式碼有一些些不同，剛剛是只要抓一個元素，所以使用 select_one()，但這邊是要抓全部的動畫元素，有很多個就必須使用 select()，它會以"陣列"的形式回傳：

1

anime_items = newanime_item.select('.newanime-date-area')

到目前為止，程式部分如下。
為了察看結果，我先暫時用 len() 來看共抓到幾組動畫元素。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
print(len(anime_items))
else:
print(f'請求失敗：{r.status_code}')

終於要進入抓取 "動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結" 的時候了🎉

一樣使用"選擇工具"(Ctrl + Shift + C)輔助，觀察動畫資料元素的架構：

動畫資料元素

一樣像前面說明，先透過 CSS Selector (選擇器)抓到元素，再來可以使用 text 提取文字，最後的 strip() 只是將字串的前後空格和換行去除。

1
2
3
4
5
6
7
8
9


# 取得元素
anime_name = anime_item.select_one('.anime-name > p')
print(anime_name)
# <p class="">無職轉生，到了異世界就拿出真本事</p>
# 取得元素裡的文字
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
# 無職轉生，到了異世界就拿出真本事

而 "觀看連結" 稍微特別一點，連結並不是以文字形式被包在元素之間，而是在元素裡的 href 屬性，這時要透過 get('href') 方法來取得。

而且只有網址的後半段，所以我們要再補上前半部才完整。

動畫觀看連結

1
2


anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)

到這部分的程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area')
# 依序針對每個動畫區塊擷取資料
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

好耶~ 快來執行看看~

怎麼發生錯誤了... OAQ...

抓取動畫元素失敗

檢查後發現，原來是最後這個"付費比例"區塊搞的鬼，它也同樣有 newanime-date-area 這個 class，一樣會被抓出來，但它沒有動畫名稱，所以才會造成後續在取得文字時發生錯誤。

付費比例區塊

沒關係，可以看見它有個獨特的 class premium-block，我們程式只要使用 :not() 將其排除即可。

1
2
3
4


# 原先寫法
anime_items = newanime_item.select('.newanime-date-area')
# 改成將"付費比例"區塊排除
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')

好了，花費九牛二虎之力(?)
網頁中"動畫名稱"、"觀看人數"、"動畫集數"、"觀看連結"的資料都如期取得啦~👍

兎田ぺこら

最終程式碼如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
}
r = requests.get('https://ani.gamer.com.tw/', headers=headers)
if r.status_code == 200:
print(f'請求成功：{r.status_code}')
soup = BeautifulSoup(r.text, 'html.parser')
newanime_item = soup.select_one('.timeline-ver > .newanime-block')
anime_items = newanime_item.select('.newanime-date-area:not(.premium-block)')
for anime_item in anime_items:
anime_name = anime_item.select_one('.anime-name > p').text.strip()
print(anime_name)
anime_watch_number = anime_item.select_one('.anime-watch-number > p').text.strip()
print(anime_watch_number)
anime_episode = anime_item.select_one('.anime-episode').text.strip()
print(anime_episode)
anime_href = anime_item.select_one('a.anime-card-block').get('href')
print('https://ani.gamer.com.tw/'+anime_href)
print('----------')
else:
print(f'請求失敗：{r.status_code}')

對了，動畫還有"日期"與"時間"資料，"時間"資料不難取得，和上方教學的方式一樣，不過"日期"在這邊就稍微麻煩點了，本篇文章屬於基礎教學，就先跳過它，但我會附在"完整程式碼"中。

完整程式碼

附上完整程式碼供參考： gamer_ani_spider.py | GitHub

延伸練習

你能試著抓取動畫的圖片網址嗎？會遇到什麼問題？最後如何解決？
除了"本季新番"這個畫面的資料，它還可以切換到"週期表"的畫面。
這邊交由你試試看，能不能藉由文章的教學，實際自己爬取資料？

結語

在上方教學範例中，使用哪些 class 來定位都不是絕對，你可以嘗試不同的組合、不同的寫法。
從實作中摸索、犯錯後尋找解答是學習程式的一個很好的方法。

我陸續都有在寫一些網站的 Python網路爬蟲實例，如果你正好是剛開始想學爬蟲的新手、想知道某網站如何爬取資料、遇到其他問題，也歡迎在底下留言🔖，或追蹤 FB 粉專『 IT空間』~ 🔔

我們總是在注意錯過太多，卻不注意自己擁有多少。

—— 《未聞花名》

[Python爬蟲實例] 巴哈姆特哈啦區留言-動態載入

jia@jiatool.com (Jia) — Fri, 02 Oct 2020 21:10:00 +0800

前言

Python網路爬蟲實例系列第一篇「巴哈姆特哈啦區」裡，我們先跳過留言的爬取，並於延伸練習中的第二題讓大家嘗試。

而在經過了上一篇「聯合新聞網-動態載入」，應該大致知道該怎麼處理動態載入的部分。本文再實際帶著大家來爬取"巴哈姆特哈啦區的留言"，一樣是採用 Ajax 動態載入，最後也會附上完整程式碼供參考，那我們就開始吧~

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

首先進到巴哈姆特哈啦區中任一看板的任一文章，如同Python網路爬蟲實例第一篇「巴哈姆特哈啦區」先爬取各個樓層回覆，再進入抓取底下留言的部分。

一樣要觀察其留言列表載入方式，使用瀏覽器的開發人員工具找出 Ajax 請求網址，透過此網址取得新聞列表的 JSON 格式資料。

欲爬取的留言

爬蟲程式

網站有些常見的反爬蟲機制是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

如何載入留言

我們先找一則回覆的留言是需要點擊展開的，例如： https://forum.gamer.com.tw/C.php?bsn=60076&snA=4549786 ，對網頁點滑鼠右鍵 > 檢視網頁原始碼，查看此網頁的原始碼，

檢視網頁原始碼

在其中試著搜尋(Ctrl + f)需要展開才能看到的留言，會發現並沒有在網頁原始碼內，因此可以推測留言可能使用動態載入的方式。

試著搜尋留言

打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Network(網路) 分頁，切換到XHR重整網頁一下(F5)，當點擊"還有 2 則留言"後會發現有新的項目出現。

開發人員工具 > Network(網路) > XHR

單點選它之後，右邊選擇 Preview 分頁，即可發現這就是我們想要的資料！🤩

開發人員工具 > Network(網路) > XHR > Preview

試著載入留言

切換到 Headers 分頁，會顯示請求的網址(綠色框)以及請求方式(紫色框)，如此圖片顯示是使用 GET 方式，
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275&returnHtml=1
將網址複製起來，開個新分頁貼上網址後前往，順利取得回傳的資料(留言)。

開發人員工具 > Network(網路) > XHR > Headers

回傳資料(留言)

從上方回傳資料發現其留言已經使用 HTML 的格式，為了可以直接丟到網頁上顯示，雖然我們可以抓下來用 BeautifulSoup 解析，但注意觀察請求的網址會發現當中有帶一個參數 returnHtml，如果將其參數的值改為1，或將此參數移除，它回傳的資料就變成我們喜歡的 JSON 格式~ (歡呼)
https://forum.gamer.com.tw/ajax/moreCommend.php?bsn=60076&snB=50892275

觀察網址參數

回傳資料(留言) JSON格式

不用再耗費力氣去找哪個資料對應哪個Tag、Class之類的麻煩事~

觀察回傳資料

將資料貼到線上 JSON 工具( JSON Editor Online )來觀察，發現它除了有一個 next_snC，剩下都是留言資料。

觀察回傳資料

其中比較重要的有以下欄位：

參數	代表意思
bsn	板塊ID
snB	回覆ID
sn	留言ID
userid	留言者ID
nick	留言者名稱
comment、content	留言內容 (目前不知道兩者差異)
gp	GP
bp	BP
wtime	發布時間
mtime	編輯時間

OK！接下來就要實際動手寫 code 囉~ 😙

爬取每一樓層回覆

* 為了簡化程式碼方便理解，像之前判斷請求是否成功的部份，這次將其省略。

1
2
3
4


r = requests.get(url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []

跟之前「 [Python爬蟲實例] 巴哈姆特哈啦區」一樣，透過 Tag 的 id 爬取每一樓層回覆。

每一樓層回覆

這邊還需要取得"板塊ID"，因為爬取留言網址需要。
(這部分可以拉出來寫個 Function，之後需要使用比較方便。)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_reply_info_list(url):
"""爬取回覆列表"""
r = requests.get(url, headers=HEADERS)
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
# 這部分可以拉出來寫個 Function，之後需要使用比較方便。
bsn = url.split('bsn=')[1]
bsn = bsn.split('&')[0]
# ......

也需要取得"回覆ID"，而其 Tag 的 id 後方接著的數字就是"回覆ID"。

將"板塊ID"與"回覆ID"傳入 get_commend_info_list() 供組合出爬取留言網址使用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
# 對每一則回覆解析資料
for reply_block in reply_blocks:
floor = reply_block.select_one('.floor').get('data-floor')
reply_id = reply_block.get('id')
reply_id = reply_id.split('_')[1]
print(f'第 {floor} 樓 ID:{reply_id}')
commends = get_commend_info_list(bsn=bsn, reply_id=reply_id)
print(f'-> 總共有 {len(commends)} 則留言')

爬取每一則留言

組合出爬取留言用的網址，取得回傳資料，用 requests 提供的 r.json() 解碼轉換成 Dict。

留言網址

這邊有一點要注意，回傳資料中會有一個叫"next_snC"，其他都是字串格式的數字。
數字的裡面放著留言，要排除掉"next_snC"。

回傳資料

這邊我們弄一個 commends 的列表保存需要的留言資料，最後回傳。

備註：不太確定它一次最多可以回傳幾則留言，如果有人發現超過 1000 則留言的回覆，歡迎底下留言，我再將其補充。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


def get_commend_info_list(bsn, reply_id):
url = f"https://forum.gamer.com.tw/ajax/moreCommend.php?bsn={bsn}&snB={reply_id}"
r = requests.get(url, headers=HEADERS)
commends_duct = r.json()
commends = []
for key, value in commends_duct.items():
# 判斷是否是數字(commend)，排除"next_snC"
if key.isdigit():
commends.append(
{
'板塊ID': value.get('bsn'),
'回覆ID': value.get('snB'),
'留言ID': value.get('sn'),
'留言者ID': value.get('userid'),
'留言者名稱': value.get('nick'),
'留言內容': value.get('comment'),
'GP': value.get('gp'),
'BP': value.get('bp'),
'發布時間': value.get('wtime'),
'編輯時間': value.get('mtime'),
}
)
return commends

執行結果如下，這邊我顯示第一則留言方便觀察：

1
2
3


第 1 樓 ID:50892275
{'板塊ID': '60076', '回覆ID': '50892275', '留言ID': '2434849', '留言者ID': 'madaan40', '留言者名稱': 'ABC123', '留言內容': '1', 'GP': '0', 'BP': '0', '發布時間': '2019-12-15 08:43:18', '編輯時間': '0000-00-00 00:00:00'}
-> 總共有 7 則留言

完整程式碼

附上完整程式碼： gamer_commend_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

回傳的留言資料中，有一筆 "next_snC":0 資料，你可以猜測它是代表什麼意思嗎？
嘗試結合第一篇「巴哈姆特哈啦區」文章，寫出可以爬取"文章"、"回覆"、"留言"的爬蟲程式~

結語

其實沒有想像中的難吧~趕快自己實際動手寫寫看~

之後會繼續加入不同網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手、想知道某個網站如何爬取資料，又或者遇到其他問題，歡迎參考和在底下留言ㄛ~😙

參考：
巴哈姆特 - 哈啦區

別想一下造出大海，必須先由小河川開始。

[Python爬蟲實例] 巴哈姆特哈啦區

jia@jiatool.com (Jia) — Sun, 13 Sep 2020 21:10:00 +0800

前言

本篇主要一步步講解如何使用 Python 爬取巴哈姆特哈啦區的文章及回覆，最後也會附上完整程式碼供參考。

備註：此文僅教育學習，切勿用作商業用途，個人實作皆屬個人行為，本作者不負任何法律責任

套件

此次 Python 爬蟲主要使用到的套件有：

Requests [ Doc ] [ GitHub ]
BeautifulSoup [ Doc ] [ Source ]

流程

先來講一下我們這次寫爬蟲想抓取的資料及流程，在巴哈姆特哈啦區中選擇一個看板，想抓取文章列表中的文章及回覆。

一開始要先在文章列表中抓取每一篇文章的網址，再來進入文章網址中抓取每一樓層的回覆。
那因為這是本系列第一篇文章，較複雜的部分先省略，在文章列表中只抓第一頁的文章就好，回覆底下的留言是採用動態載入(AJAX)的方式，本次也先跳過，等後續文章再講解。

爬取說明

爬蟲程式

首先查看網站對於爬蟲的規範( robots.txt )，
https://forum.gamer.com.tw/robots.txt
OK 它只有這兩個路徑不允許，跟我們爬取哈啦區文章沒有關係。

robots.txt

有些有反爬蟲的網站，基本的方式就是偵測你送來 requests 的 header 中 User-Agent 欄位，因此我們就需要模仿一般瀏覽器送出去的資料。
先在上方定義 HEADERS 變數，待之後需要發出請求就帶入此數值。

1
2
3


HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
}

爬取文章列表

對網站伺服器發出請求後，要確認回傳的結果，如果是正常成功的才繼續後續的處理。

1
2
3
4
5
6
7
8


def get_article_url_list(forum_url):
"""爬取文章列表"""
r = requests.get(forum_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return []
# ......

這邊就以荒野亂鬥板來示範。
打開瀏覽器的 開發人員工具 (F12 或 Ctrl + Shift + i) > Elements(元素) 分頁，
當你指到程式碼時，它對應網頁區塊就會用顏色顯示，

但這樣找太麻煩費時了，有個好用的功能，就是位在開發人員工具左上角的選擇工具，
點一下它後，就可以直接在網頁上點擊想要查看的區塊，Elements(元素)裡的程式碼也會自動跳到相應的地方。

開發人員工具 > 選擇工具

先指到文章區塊，在右方可以看到在 <table class="b-list"> 裡的每一個 <tr class="b-list__row b-list-item b-imglist-item"> 對應每一篇文章區塊，因此CSS選擇器可以使用 table.b-list tr.b-list-item 去選擇。
* 這部分還不太懂的人，可以參考我之前整理的文章：網頁CSS節點定位整理。

開發人員工具 > Elements(元素) > 文章區塊

我們這邊只需要抓取文章的網址，再往下找在 class="b-list__main__title" 元素中的 href 參數後方發現前往文章頁面的網址。
不過取出來時還要要加上網域，才是完整的文章網址。

開發人員工具 > Elements(元素) > 文章區塊 > 文章網址

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def get_article_url_list(forum_url):
"""爬取文章列表"""
# ......
article_url_list = []
soup = BeautifulSoup(r.text, features='lxml')
item_blocks = soup.select('table.b-list tr.b-list-item')
for item_block in item_blocks:
title_block = item_block.select_one('.b-list__main__title')
article_url = f"https://forum.gamer.com.tw/{title_block.get('href')}"
article_url_list.append(article_url)
return article_url_list

先來稍微觀察一下文章網址，
https://forum.gamer.com.tw/C.php?bsn=60076&snA=3919777&tnum=429
網址中後方的參數有"bsn"、"snA"、"tnum"，其分別代表：

參數	代表意思
bsn	板塊 ID
snA	文章 ID
tnum	文章內目前最新回覆的樓層數
(bPage)	在文章列表中此文章是出現在第幾頁

題外話："tnum"參數可有可無，能的話最好把它拿掉，這樣網址比較"乾淨"。

爬取文章資訊

此函式會爬取文章標題、網址、樓層回覆，網址剛剛已經知道了，標題也很容易就抓出來。

文章標題

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
r = requests.get(article_url, headers=HEADERS)
if r.status_code != requests.codes.ok:
print('網頁載入失敗')
return {}
soup = BeautifulSoup(r.text, features='lxml')
article_title = soup.select_one('h1.c-post__header__title').text
# ......

這邊的重點就是如何抓取樓層回覆，
我們嘗試點選不同頁數，會發現網址會有個 page 參數用來跳頁，藉由如此，我們就可以前往每一頁。

但，我們要先知道這篇文章總共有幾頁啊！
觀察一下，只要取得 <p class="BH-pagebtnA"> 內最後一個 <a> 元素即可。

文章回覆頁數

1
2
3
4


def get_article_total_page(soup):
"""取得文章總頁數"""
article_total_page = soup.select_one('.BH-pagebtnA > a:last-of-type').text
return int(article_total_page)

知道總頁數後，就可以使用 for 迴圈來歷遍每一頁。
組出網址字串，接著就是抓取每一層回覆(等等會講)，並合併成 Dict 格式回傳。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


def get_article_info(article_url):
"""爬取文章資訊(包含回覆)"""
# ......
article_total_page = get_article_total_page(soup)
reply_info_list = []
for page in range(article_total_page):
crawler_url = f"{article_url}&page={page + 1}"
reply_list = get_reply_info_list(crawler_url)
reply_info_list.extend(reply_list)
time.sleep(1)
article_info = {
'title': article_title,
'url': article_url,
'reply': reply_info_list
}
return article_info

* for 迴圈中加入時間延遲 time.sleep(1) ，避免太頻繁的爬取，造成對方伺服器的負擔。1秒可以換成 random.uniform(1, 3)，來達到一段隨機範圍延遲，更避免被伺服器偵測為爬蟲。

爬取回覆資訊

爬取回覆的部分，從下圖的綠色方框能得知每一層回覆都是位於 <section class="c-section" id="post_43280297"> 裡。
但有些比較特殊的樓層，像是下圖中"已刪除"或"已摺疊"的樓層，可以看到其 id 會是 disable_ 開頭，"已刪除"的樓層我們可以略過，但"已摺疊"的樓層該怎麼抓呢？
別擔心，在往下看可以發現一樣有被摺疊起來樓層的資料，只是它被隱藏起來而已(style="display:none")
如下圖指示，綠色代表一般正常樓層；藍色代表已折疊樓層；深紅色代表已刪除樓層。

已刪除&已摺疊的樓層

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
reply_info_list = []
soup = BeautifulSoup(r.text, features='lxml')
reply_blocks = soup.select('section[id^="post_"]')
for reply_block in reply_blocks:
# ......
return reply_info_list

接下來就是各別抓取需要的部分了，
例如"回覆樓層"雖然網頁上只顯示樓主，看不到樓層的數字，但從網頁原始碼中能發現，此元素中 data-floor 欄位裡有我們想要的樓層數字。

回覆樓層欄位

又或者想抓取"發文時間"，但如果有編輯過的回覆，它網頁上顯示著是"編輯時間"，這時從網頁原始碼中也能發現，元素裏頭有 data-mtime 欄位記錄著發文時間。
但抓下來的資料是文字格式(字串)的，最好轉成 datetime 格式方便後續的判斷、處理。

回覆發文時間欄位

而"推"、"噓"也要注意例外，當"推"超過 1000 時會顯示"爆"；當"噓"超過 500 時會顯示"X"、等於 0 會顯示"-"。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


def get_reply_info_list(url):
"""爬取回覆列表"""
# ......
for reply_block in reply_blocks:
reply_info = {}
reply_info['floor'] = int(reply_block.select_one('.floor').get('data-floor'))
reply_info['user_name'] = reply_block.select_one('.username').text
reply_info['user_id'] = reply_block.select_one('.userid').text
publish_time = reply_block.select_one('.edittime').get('data-mtime')
reply_info['publish_time'] = datetime.strptime(publish_time, '%Y-%m-%d %H:%M:%S')
reply_info['content'] = reply_block.select_one('.c-article__content').text
gp_count = reply_block.select_one('.postgp span').text
if gp_count == '-':
gp_count = 0
elif gp_count == '爆':
gp_count = 1000
reply_info['gp_count'] = int(gp_count)
bp_count = reply_block.select_one('.postbp span').text
if bp_count == '-':
bp_count = 0
elif bp_count == 'X':
bp_count = 500
reply_info['bp_count'] = int(bp_count)
# 從命名應該可以知道分別代表什麼資料，這邊我就不細說了
reply_info_list.append(reply_info)
return reply_info_list

完整程式碼

附上完整程式碼： gamer_spider.py
(對超連結右鍵 > 另存連結為)

延伸練習

在本篇教學中只爬取第一頁的文章，該如何自動爬取前五頁的文章呢？
提示：參考爬取每一頁回覆的方式
為了簡單，本篇教學中並沒有爬取樓層回覆底下的留言，這部分有沒有什麼辦法可以做到？

樓層回覆底下的留言

結語

有些機制這邊沒有寫出來，像是當網頁請求失敗該做什麼處理，將字串轉換為日期時間格式時(或將字串轉換為整數)時，需要加上 try-except 去捕抓錯誤等等。

之後我會慢慢陸續寫一些網站的"網路爬蟲實例"，如果你正好是剛開始想學爬蟲的新手，或者是不知道某個網站如何爬取資料，都很歡迎過來參考ㄛ~

有想推薦的網站，或遇到其他問題，也歡迎再底下留言。😙

參考：
網頁CSS節點定位整理

又不是所有的答案都必須完美，失敗和錯誤也是生命的養分。

—— Peter Su

巴哈姆特 GNN 新聞統計分析

jia@jiatool.com (Jia) — Sun, 06 Sep 2020 15:20:00 +0800

前言

之前看到巴哈姆特 GNN 新聞發了這篇文章：
巴哈姆特 GNN 遊戲新聞達成 20 萬篇里程碑！感謝所有玩家一路相挺
慶祝經過服務誕生 20 周年之際，在此篇新聞正式邁入第 20 萬篇新聞的里程碑，並統計了 GNN 相關數據。
覺得這統計還蠻有趣的，在想是不是也可以藉由爬蟲，來抓取巴哈姆特 GNN 新聞做一些簡單的統計。
本分析也只是帶著趣味所做的統計而已，大家當茶餘飯後娛樂看看就好。🤣

💬 本篇數據皆以我能收集到的 GNN 新聞文章進行統計，分析說明也只是本人見解。

資料說明

使用 Python 爬蟲將 GNN 新聞抓取下來，保存其"文章編號"、"標題"、"發布時間"、"按讚數"、"留言數"、"來源(作者)"，並以這些資料來做簡單的統計、分析。
資料來源為巴哈姆特 GNN 新聞列表的文章，這次我抓取了從 2000 年 11 月 20 日第一篇開始，到 2020 年 8 月 31 日為止的 199,472 篇巴哈姆特 GNN 新聞文章(包含巴友投稿)，某些文章不知名的原因已遭移除，因此才會不滿 20 萬篇。

備註：
💬 "按讚機制"在GNN新聞頁面是"推"、小屋內是"喜歡"，本文統一叫做"讚"。
💬 文中所述"文章編號"代表網址 https://gnn.gamer.com.tw/detail.php?sn=200000 中sn=後方的數字。
💬 "投稿系統"、"留言系統"、"按讚機制"不是一開始就有的，是之後才加入，因此統計時也會區分排除開來。

投稿系統：根據官方說法是從 2009 年開始啟用，不過也許之前投稿的文章會放置於 GNN 的頁面，不像現在連結到作者小屋的創作頁面，所以已我目前判斷的依據(文章位於作者小屋)，第一篇是編號 63168 於 2012-03-08 發表的文章開始計算。
留言系統：官方是說從 2007 年 11 月 28 日正式導入，不過我從編號 312 於 2001-01-07 發表的文章就開始看到第一則留言，但之後這段時間內有留言的篇數很少，也許是官方在測試此功能(?)。
按讚機制：官方貌似沒有說從何時加入，但我在編號 45 於 2000-12-04 的文章發現按讚按鈕，在編號 19743 於 2005-04-29 的文章出現了第一個讚。不過也許我了解不多，因為並不是每篇GNN新聞都有按讚的按鈕。

篇數統計

總篇數

首先來看看目前還有效的文章總篇數為 199,472 篇，
其中 GNN 編輯部佔了 173,589 篇 (87.0%)；巴友投稿佔了 25,883 篇 (13.0 %)。
(這百分比還真的是這樣…87)

文章總篇數

累積總篇數依照官方所述，10 萬篇新聞是於 2014 年 7 月達成 (花費 13 年 8 個月)，20 萬篇新聞是於 2020 年 7 月達成 (僅花費 6 年)。
我將其以每 5 萬篇文章切割，並換算成天數來比較，發現到前 5 萬篇所需要的時間最久，需要 3,698 天，後來大概都只需 1,000 多天：

累積文章總篇數耗費時間 (表格)

累積文章總篇數耗費時間 (圖表)

假如以文章編號來計算，從 2000 年 11 月 20 日第一篇開始，到 2020 年 8 月 31 日為止，文章編號大約是 202600 左右 (因為玩家投稿的文章收錄後可能編號還比較後面，這邊以大略值估計)，共計 7225 天，等於平均一天發布 28 篇新聞文章。

最多篇數的一天

發布最多文章的一天前三多的分別是"2014-08-15"、"2014-10-24"、"2020-06-12"、"2013-11-01"，各別有114、110、103、103篇文章，不知道是剛好有什麼盛大的活動還是什麼原因？

最多篇數的一天

各年月星期的篇數

這部分我各別依照文章發布日期的年、月、星期做區分統計，並把官方發布跟巴友投稿拆分統計。

各年份的篇數

初期巴哈剛創立，而且可能全台瘋 ACG 的人數不像現在越來越多，發布的篇數相較後期是較少的。
照官方的說法從 2009 年起加入投稿系統，也透過各位巴友貢獻了許多文章，豐富了巴哈姆特 GNN 新聞。
(* 今年只統計到八月底，因此文章量較少)

各年份的文章篇數

各月份的篇數

按照各月份統計的篇數就蠻平均的，二月份的那個窟窿應該是二月只有 28 天的關係。XD

各月份的文章篇數

各星期的篇數

從依照星期來區分的數據中，可以很明顯地觀察出週末(六日)的文章非常少，就像日本製造的壓縮機非常稀少(X
而平日從週一到週五有逐步上升的趨勢，這與"星期一症候群"有關嗎?!😂

各星期的文章篇數

按讚數

全部文章中最多按讚的前五名如下表，第一名是 [ 論遊戲 ] 為什麼我們輸很大?! 就認證角度淺談韓國遊戲人才培育，共有 1,535 個讚。
其中發現到作者"哈利菠菜"竟然有兩篇文章擠進前五名，真的是非常佩服。

最多按讚數前五名

平均按讚數中，GNN 頁面上的平均一篇文章會有 2.11 個讚，而巴友投稿的平均多達 24.4 個讚。

平均按讚數

* 如果文章沒辦法按讚則跳過不計，

留言數

全部文章中最多留言的前五名如下表，第一名是赤燭《還願》埋梗小熊維尼風波延燒發行商宣布終止合作並將求償，竟多達 1,775 則留言，回應非常熱烈。
全部都是 GNN 官方文章，推測是在 GNN 網頁(不是個人小屋)，其留言的意願比較高。

最多留言數前五名

平均留言數中，GNN 頁面上的平均一篇文章會有 34.29 則留言，而巴友投稿的平均一篇文章會有 15.6 則留言。

平均留言數

官方在 20 萬篇里程碑有說到 "於 2007 年 11 月 28 日正式導入留言系統，在這 12 年間累積超過 480 萬則留言，平均每篇新聞有 37 則留言"。
而我統計到今年 8 月底的數據，累積總留言數 542 萬則留言、平均每篇新聞有 32 則留言。

而《劍俠情緣 3 免費版》代理商於中國哀悼日為維護台灣玩家權益不惜與原廠終止合作同時擠進最多按讚與最多留言的前五名，討論也是非常熱烈。

標題文字雲

在展示標題的文字雲之前，先來看看最長、最短、平均標題字數(字元)為何。一個中文字、英文字母、標點符號、空白都算一個字元，例如："最近最熱門的遊戲：Fall Guys" 這樣算 18 個字。
從統計結果看來，平均標題使用 32 個字元，最長的有到 94 個字元，最短的竟然只有 3 個字。😆

標題字元數

這邊我簡單使用 jieba 套件加入繁體中文詞彙來分詞，並搭配 wordcloud 套件來繪製標題的文字雲。

先來看看全部文章的標題文字雲：

標題文字雲全部

再來我將其依照年份分為四等分，分別為"2000年~2005年"、"2006年~2010年"、"2011年~2015年"、"2016年~2020年"：

標題文字雲 2000年~2005年

標題文字雲 2006年~2010年

標題文字雲 2011年~2015年

標題文字雲 2016年~2020年

題外話 (八二法則)

突然想到試試看八二法則 (關鍵少數法則、帕累托法則) 是否存在。
先以留言數來計算，總篇數 199,472 篇，前 20% 占了 70% 的留言數，只能算接近八二法則，不過我想是因為抓取時忘記將沒有留言區塊的文章去除…

八二法則留言數

而按讚數有將沒有按讚區塊的文章排除掉，總篇數 81,948 篇，前 20% 占了 87% 的按讚數，不知是否跟不是每篇文章都有按讚區塊有關？

八二法則按讚數

歡迎底下留言你的看法、討論~~~📢

參考：
巴哈姆特 GNN 遊戲新聞達成 20 萬篇里程碑！感謝所有玩家一路相挺
 巴哈姆特 GNN 遊戲新聞突破 10 萬篇！感謝所有玩家一路相挺

再小的努力，乘以 365 都很明顯；
再大的困難，除以 365 都很簡單。

巴哈姆特 on IT 空間

[Python爬蟲實例] 巴哈姆特 動畫瘋：新手入門基礎網路爬蟲教學

前言

套件

教學

網頁元素架構

發出請求

解析網頁元素

完整程式碼

延伸練習

結語

[Python爬蟲實例] 巴哈姆特哈啦區留言-動態載入

前言

套件

流程

爬蟲程式

如何載入留言

試著載入留言

觀察回傳資料

爬取每一樓層回覆

爬取每一則留言

完整程式碼

延伸練習

結語

[Python爬蟲實例] 巴哈姆特哈啦區

前言

套件

流程

爬蟲程式

爬取文章列表

爬取文章資訊

爬取回覆資訊

完整程式碼

延伸練習

結語

巴哈姆特 GNN 新聞統計分析

前言

資料說明

篇數統計

總篇數

最多篇數的一天

各年月星期的篇數

各年份的篇數

各月份的篇數

各星期的篇數

按讚數

留言數

標題文字雲

題外話 (八二法則)

[Python爬蟲實例] 巴哈姆特動畫瘋：新手入門基礎網路爬蟲教學