Weil Jimmer's Blog

使用 PVE 與 OpenWrt 23.05 實現鏈路聚合 LACP 及 VLAN 建立多個虛擬區域網路的踩坑經驗

前言

按照最近的慣例，開頭要先說一段廢話，最近因為家裡空間不夠放交換器，於是訂了一個機櫃，打算重新整理我亂七八糟的網線和複雜的網路環境，以及升級我的 OpenWrt 版本，下為我房間的機櫃照。

花了我滿長的時間在進行除錯，裝設機櫃反而沒什麼，最大的問題在於用 OpenWrt 設定 VLAN。

先前我灌了 ImmortalWrt 23.05.2，想說我之前裝的 OpenWrt 有點舊，而且還是當時的 SNAPSHOT 版本，已經遇到過好幾次要安裝什麼軟體包，出現內核版本過新或過舊的問題，實在不能接受，所以趁這個時機升級一下。

然後在 ImmortalWrt 安裝鏈路聚合所需要的軟體：

opkg update
opkg install kmod-bonding luci-proto-bonding

試了老半天，都沒有成功耶，在交換器那邊總是顯示 Blocking，害我在思考是不是交換器的問題，但是後來我在 NAS 上設置成功，所以我覺得是 ImmortalWrt 的問題。

直到一天後，我才終於意識到問題出在哪裡，在於那個被我遺忘的 PVE 阿！原來我一直錯怪了 ImmortalWrt。

因為底層是 PVE，我在虛擬機中設置鏈路聚合只是在它的虛擬網卡上聚合而已啊，所以應該在 PVE 上設置。

在 PVE 上建立 Linux Bond

首先到你的資料中心，然後選擇你的「節點」，再選擇 System → Network，點 Create 選擇 「Linux Bond」。

Slaves 輸入你想要聚合的網卡，我目前軟路由上有四張網卡，但我只選擇其中三張聚合，其中一張要給 WAN 使用，而且 PVE 也使用這張網卡，設定下去的話，會失去 PVE 的連線，因此我只選中三張。

模式就用 LACP，接著直接創建即可，之後你多出來一個 bond0 網卡，就是你聚合後的結果。

接著就到你的交換器上設定鏈路聚合（Link Aggregation, LACP），LACP 是我比較推薦的模式。

在 PVE 上建立 Linux Bridge

建立一個虛擬網橋 vmbr1，作為我的 LAN 區網用，這裡有一步驟很重要，那就是要把 VLAN aware 打勾。

回想起幾個月前，第一次在 ImmortalWrt 設定的時候，老是出問題，其實就是 PVE 沒設定好，那時候沒有打勾這個選項（我也根本沒注意到這選項），自然 VLAN 接口收不到封包阿。

到這步，PVE 設定完之後就沒 PVE 的事了。

開啟 OpenWrt 23.05

這次我安裝的版本是 OpenWrt 官方的 openwrt-23.05.3-x86-64-generic-squashfs-combined-efi.img。

手動裝了一些軟體包，比如主題 (Argon)、和繁體中文。

建立 VLAN 裝置

鑒於有了先前的經驗，基本駕輕就熟。直接到 網路 → 介面 → 裝置 → 加入裝置設定。

這邊直接選擇 VLAN (802.1q)，預設值應該已經有了，新版本的 OpenWrt 已經拔掉了 Switch，所以很多文章和教學都過時了，很少人提到新版本的 OpenWrt VLAN 的設置。

VLAN ID，按照我這邊的環境，就是 10、20、30、40、50，直接重複五次，建好建滿。即使網路孔位沒有那麼多也沒關係，這邊已經虛擬化了。

像這樣，我建立了 VLAN 10～50 的網路裝置。

建立網卡介面

到「介面」列表，點「新增新介面」，靜態位址，選擇各自的 VLAN 裝置。

比如 LAN 配 eth0.10，LAN2 配 eth0.20，LAN3 配 eth0.30…

IP 的話，按照慣例，根據 VLAN TAG 定義 Gateway IP，VLAN 10 的話，設定 192.168.10.1/24。

然後是巨坑，防火牆要建立一個新的 Zone，如果沒設定防火牆是不會通的，沒有路由的話，DHCP Server 連分配 IP 都不會分配！

然後是必須的 DHCP 伺服器，直接點安裝即可。

這邊都不需要動，維持預設就可以了。

為了防止意外，建議開啟這個功能，「強制」DHCP，以防詭異的狀況發生。

建立防火牆規則

這裡就是老話重談了，為每個新創建的區域網路新增規則，允許轉發到 WAN。

我這邊比較特別，LAN 轉發到 WG0，是 VPN 通道，這個不是通常操作。而 LAN5，我是想建立一個隔離的網路，所以沒有轉發的能力。

建立 DNS 伺服器

建立好網路後，記得要在監聽介面打開剛剛新建的所有介面，否則即使有連線遠端 IP 的能力，卻沒辦法解析網域。

到這步，基本就大功告成。

接下來就是配置交換器，設置路由器所連接的 3 個 Port 為 TRUNK 接口。

同時給予其接口為 VLAN 10、20、30、40、50 的成員。

之後有空，會再補篇關於 VLAN 的基礎知識的文章。

深入研究 iWin 網路封鎖的模式 以及 如何免 VPN 繞過網路封鎖

前言

最近我朋友向我抱怨，iWin 此舉竟然開始影響到他的生活，讓他覺得很幹。我個人也是這麼覺得的，既然剛好有這個案例，何不來深入研究呢，前幾日本該發文的，不過身體不舒服就懶得發文了，一直沒什麼時間，現在忙太多專案，沒什麼空。

釐清

首先呢，avhu.com 這組網域被封鎖了，依照朋友提供給我的圖片是這樣。

第一直覺應該不是擋 IP 而是擋解析，先嘗試用了一下 VPN 發現完全正常，解除了 VPN 後，發現還是能正常訪問，讓我懷疑了一下是否真有封鎖？

原來，只是因為我自己本身的網路就不是走中華的 DNS ，最終確定，應該是 DNS 汙染無誤。

DNS 汙染

何謂 DNS 污染呢，上網搜尋應該會有一大堆文章，這邊也不細說太多，基本上對岸的防火長城有一部分阻擋的方法就是 DNS 汙染。

各位在瀏覽網頁時，都會需要將網域名稱（例如weils.net）轉換成 IP (例如123.123.123.123)，然後再發送封包到目的地IP。

而 DNS 服務就是為了讓人查詢正確的 IP 是多少，使用者會去詢問這個網域他的 IP 是多少呢？DNS 伺服器才會返回正確的 IP 給使用者，這樣使用者才可以連線。

那 DNS 汙染又是什麼？只要在 DNS 伺服器投毒，讓上游的伺服器給出錯誤的 IP 地址，那你就沒辦法連線到正確的網站，會被導向到他所給予的錯誤 IP 地址，以至於無法訪問你要去的網站。

基本上 iWin 的所作所為就是 DNS 汙染，只感染國內的 ISP 業者提供的 DNS，例如中華電信的 DNS 被汙染了。

以上圖為例，如果將 DNS 伺服器設定為 中華電信 DNS。

我查詢了 weils.net 返回的結果，完全是正常的 IP 位置，也就是他是正確的 IP 地址。

而一旦查詢 avhu.com 則返回錯誤的地址（被汙染的結果）。

反之，如果我將 DNS 伺服器設定為 Google DNS，進行查詢。

結果會截然相反，avhu.com 返回的 IP 會是他原本正確的 IP。

而 IP 150.242.101.120 直接訪問的話會到下圖這個網站。

由此可知，目前的阻擋方法是屬於落後的 DNS 汙染，並沒有解析封包，攔截 SNI Host，如果這麼做的話，成本也有點太大。

解決方法

只要了解原理，基本上這種低能方法，只要改個 DNS 就可以繞過了，比如換成 Google DNS，或是其他國外的 DNS，任何一個能夠查詢到權威紀錄的 DNS 就可以了。

直接去「控制台」，找到網路和共用中心，點乙太網路，然後再點「內容」，設定IPv4，把 DNS 修改為 8.8.8.8 及 8.8.4.4 (Google DNS) 即可繞過封鎖。

就這麼簡單，沒什麼難度。

RAID 陣列降級與重建：一個自組 NAS 使用者的親身經驗 Truenas Scale

前言

記得上次組完 NAS 經過了約略一個月半，五十天左右的時間，沒想到我的二手硬碟就出事了（果然便宜沒好貨，其實是我人品太差了），就順便來寫篇文章記錄一下。

原本還期望大概可以撐個一兩年再開始慢慢換硬碟的說，沒想到兩個月不到就壞了一顆硬碟。

簡單來說就是週日下午，突然聽到很吵的聲音，正思考是什麼東西發出來的，仔細聽才發現是 NAS 傳來的，是那種磁頭反覆到硬碟上讀不到資料又復位的感覺（聲音非常像下面的影片），一聽到這聲音我就覺得這硬碟大概是沒救了。

既然沒救了，我就先提前拔掉硬碟，並且火速上網買了 ST6000NT001，而 NAS 直接呈現「降級狀態（DEGRADED）」，跳出警告。

TrueNAS @ truenas  
  
New alert:

  * Pool z2cpool1 state is DEGRADED: One or more devices is currently being resilvered. The pool will continue to function, possibly in a degraded state.  
The following devices are not healthy:

    * Disk ST6000NM0024-1HT17Z Z4D04HLW is UNAVAIL

這一連串事件，真的是打個我措手不及，我每天都在做 S.M.A.R.T. Short Test，根本沒想到硬碟會直接 GG。雖說這批硬碟剛到的時候，我其實偶爾發現硬碟會有怪聲音，但都是非常突然冒出一下就沒了，我也沒辦法定位到是哪個硬碟有問題，我上網查聽說企業硬碟讀取很吵是正常的，所以也不在意，以為企業硬碟本來就是這樣。

而現在那硬碟真的是吵到我光用聽的就知道是哪個槽出事，而且讀寫燈號也是不停的閃爍，就那槽長亮綠燈，其他的燈號都是暗的，更是直接就鎖定了是它出事。拔掉之後也沒聽到怪聲了，因此確定就那硬碟問題。

所幸，我是用 6顆 6TB 硬碟組 RAID-Z2，能容忍兩顆硬碟同時壞掉，應該算挺保險的組法了。

更換硬碟

拿到剛買的新硬碟後，就立刻將其鎖上螺絲直接裝進 NAS 中，就完全熱插拔沒有關機。

登入管理員畫面，就能看到一顆未被配置的新硬碟。

之後直接點 Manage Devices，然後選取被拔掉的硬碟，直接點 Replace 替換上目前的新硬碟。

選取硬碟，然後按下「Replace Disk」（替換硬碟）。

之後就是等待漫長的重建時間了。

畫面會顯示 REPLACING （替換中）。

同時右上角刷新的圈圈也會不斷地旋轉，顯示「Resilvering」（重建中）。

到目前為止，一切都滿順利，挺無腦的，基本上沒有甚麼大問題。UI 點開按鈕點一點就好了，剩下只需要等待重建完成。

重建狀態，大概消耗了我 30% 左右的 CPU。全部硬碟的讀寫燈號都呈現綠燈常亮，很明顯可以聽到正在寫入資料的聲音。

最後，花了我大概 65 分鐘完成重建，其實比我想像中的還快速。

看不少網路文章提到，組 NAS 必須有 UPS 不斷電系統，就是擔心在這種重建資料的關鍵時刻，突然來個停電，真的會氣死。重建的時候，似乎其他硬碟也同時死掉機會滿高的……光是想想就瑟瑟發抖。

之後系統狀態就全部正常了，原本的健康度的紅燈和橙色警告全部都沒有了。

大概是這樣，操作的部分非常簡單。

其他文章：
DIY 自組 NAS 家用私有雲 TrueNAS 安裝經驗分享

DIY 自組 NAS 家用私有雲 TrueNAS 安裝經驗分享

前言

最近一直有心想組一台 NAS 備份我的資料，已經看了頗久，基於安全和價格的考量，最終還是沒有直接選用群暉(Synology)的套裝 NAS。

最主要還是因為怕資料外洩。看到 Youtube 上面安裝他們家的產品有夠簡單，掃個碼就可以註冊帳號登入，總有一種數據不受控的感覺，最近替公司開發產品也是一樣的概念。

那些東西要連線上雲端，讓客戶自己控制，那雲端必須得有存取裝置的權限及能力，所以，那些套裝 NAS 如果可以這麼簡單就遠端讀取查看分享資料的話，我覺得，那些販售該產品的公司的工程師說不定…呵呵。這只是猜測，個人比較敏感一點，也不好評論什麼。

總之為了隱密性、存放機密資料，勢必不可能讓自己的 NAS 曝露在公網上，更別提讓別人擁有一鍵後門抓資料的能力。

要買套裝 NAS 的大前提是要讓網路環境完全隔離。接觸不到公網，不過這是題外話了。好了，廢話也說太多了，直接進入正題。

配備

這次我選用的配備是：

• 1　*　CPU N5105 暢網微控 妖板 (6 SATA)(ITX)
• 2　*　SAMSUNG 三星 980 500GB NVMe M.2
• 2　*　Micron Crucial 美光 DDR4 3200 16G RAM
• 6　*　二手 6 TB HDD
• 1　*　偏貴的 NAS 機殼 (ITX) + 250W電供

價格大概是 6200+2200+2000+9500+6200=26100 (NT)

如果是直接買現成套裝機，以六槽來看，光是 NAS 主機不包括硬碟就可能要三、四萬起跳。

外殼

買來大概長這樣，然後新竹物流有夠爛，都不打電話的，還會偽造紀錄。

正面圖：

背面圖：

取出來的硬碟槽：

正面圖：

俯視圖：

然後是配件，基本上螺絲很齊全，想到之前買 TP-Link 網卡沒有附上螺絲，真廢，連螺絲都捨不得給嗎？沒螺絲我鎖個屁。

最後是貴死人的雜牌電供，250瓦而已。唯一的優點是很小巧，可以塞進 ITX 機箱，除此之外沒什麼優點。

然後機箱必須先自己轉開螺絲，把外殼拆掉，內部大概長這樣。

左邊風扇，最下面是板子的空間，超級小。下次絕對不要買 ITX 機殼，有夠難安裝。

另外一面：

背面：（左邊那孔位是塞電供的。）

硬碟背板：3 個 SATA 一組。

上下各一個大4Pin供電：

用不到的 USB3.0線，風扇線和開機線（貌似也用不到，一插電就給我自動開機。）

背面的風扇也是大4Pin供電。

介紹完機殼後，該來介紹一下主機板了。

主板

開箱 6 SATA槽的 NAS 妖板。

這裡放個高清版的圖。

然後是 SATA 槽的位置，這是重點中的重點，上面的編號很重要，之後要按照順序由上往下接上數據線。

1 3 5
0 2 4

再來是 Power 的燈，和電源的針腳。

組裝

首先，先把主機板的擋板卡上機殼，不然之後主機板裝進去就不能裝了。

當初犯了個小錯，先把主機板放進去，其實應該先放接上電源再放進去。之後電源線根本進不去阿，很難插。

這縫隙真的很小，組得很痛苦。

最後，接電供和整線。

照順序，接上 SATA 線。

完成開機！

安裝作業系統

前面光是組裝硬體的部分就可以搞得滿頭大汗，鎖一堆螺絲，真累，接下來是軟體的安裝。

先到 TrueNAS 官網下載 iso。

然後使用 win32DiskImager 之類的軟體，把 ISO 寫入 USB 隨身碟，用 USB 開機。

直接開始安裝！

接下來基本上沒有甚麼難度，一直無腦下一步。就懶得貼那麼多圖了。

到這步驟，解壓縮真的超久，一度以為是不是掛了，超緊張，一直沒吐訊息出來。

接著重開機。系統應該就自動啟動了，要多等一下。

然後進入這個畫面基本就完成了，剩下網路配置搞一搞。

輸入 NAS 的 IP 就可以連到 NAS 的 WebUI 進行管理和後續的設定。

設定

首先，先到 Storage 那邊新建一個 Pool，把我要組的六個 HDD 都加進去，我是組 ZFS 檔案系統 Raid-Z2 可以有兩個容錯空間。然後 1 個 SSD 當系統碟，另 1 個當 快取碟 L2ARC。

設定 SMB 分享

直接到共用那邊，啟動服務，設定要分享路徑。

到「認證」＞「本機使用者」＞「新增」，創建一個使用者並給定目標目錄的讀寫權限，這樣就可以在 SMB 中使用。

Windows 直接新增網路資料夾。

測速

下圖是在 Windows 上進行測速，讀寫約 300 MiB/s，大概吃滿了我目前 2.5 Gbps 的網速。

這是我和 gateway (軟路由) 進行 iperf 測速的結果。

差不多約等於我硬碟的讀寫速度，其實 2.5 Gbps 網速似乎有點不夠，感覺還可以再更快，雖然 400~500 MiB/s 應該就是極限了。

設定 HTTPS 證書

我發現 TrueNAS 還有支援 ACME DNS Challenge，這樣就可以簽發一個 Localnetwork 的網域證書阿！

如果有網域的話會更安全，雖然都走有線網路了，也不用怕被竊取帳密。

只怕 Wi-Fi 被破解偷連，只是我家的網路還是雙層內網，連進 Wi-Fi 也沒用，因為是兩個網段，進不到 NAS，得再設定軟路由防火牆。

不過 HTTP 畢竟是沒加密的，洩漏管理員帳密的風險還是很大，更何況如果有機密資料，還是使用 HTTPS 會好一點。

可以參考這篇文章：Configuring ACME DNS

基本上就是把網域停在 Cloudflare 上，申請一個 API，填入 TrueNAS 讓它可以替網域新增 TXT 紀錄。

接下來就是設定 CSR，全自動簽發證書。把系統預設證書改成新簽發的網域。

設定雲端憑證

想到，我 Google Drive 上面還有不少東西，要一個一個下載有點麻煩，可沒想到 TrueNAS 也有這個功能！內建的！

可以參考這篇文章：Backing Up Google Drive to TrueNAS SCALE

一鍵授權，也不用自己搞 API，直接從 Google Drive 拉目標資料夾下來備份，真的很讚。

設定好後，到「資料保護」＞「Cloud Sync Tasks」，新增定時同步任務，然後直接啟動它，就會開始拉檔案下來備份了。

七百 GB 大概要花三、四個小時。

現在直接連進去 NAS 可以看到：我雲端的檔案已經出現在裡面了。

而且感覺起來也不怎麼吃資源。

介紹得差不多了，如果以後有試到甚麼好用的功能再補充吧。

其他文章：
RAID 陣列降級與重建：一個自組 NAS 使用者的親身經驗 Truenas Scale

在區域網路中使用 OpenWrt 的 LuCI 介面實現喚醒電腦 Wake on LAN (WOL)

前言

昨天剛睡醒躺在床上看小說的時候，內心一直有個聲音是：好想開電腦聽音樂喔，但是我卻很懶得爬起床。

想到我應該寫個 Web API 用區網 (Wi-Fi) 就可以啟動音樂播放軟體阿！後來仔細想了想，電腦如果是關機狀態的話，即便寫了，也還是沒有用。

於是才突然想到，可以嘗試看看 Magic Packet 喚醒功能 (Wake-on-LAN) 阿。於是就有了這篇文章，懶惰是促使人進步的動力來源。

原則上這篇文章沒有甚麼技術成分。僅僅是記錄我的操作過程。

設定網卡

這非常簡單設置，基本上就是直接從 Windows 中控制台找到網路介面卡，打勾選項，點確定而已。

設定開啟。

這裡是關機時的網卡速度，正處於關機狀態時，用不到那麼大的頻寬，可以設定成最低，也就是 10 Mbps。

設定允許這個裝置喚醒電腦。

接著重新啟動，到主機板 BIOS 設定允許我現在的網卡喚醒電腦。

設定 OpenWrt

開啟登入 OpenWrt，安裝 WOL 的相關套件。

opkg install etherwake luci-app-wol

重啟 OpenWrt 軟路由，應該會在服務的 tab 下面找到 Wake on LAN。

測試

在關機狀態下，可以從交換器中看到 Port 3 (也就是連接電腦網卡的接口)，它此時的速度只有 10M，跟上面所設定的一模一樣。

如果沒有設定 WOL 的話，你關機後，Port Status 會直接顯示成 Down (下線)。

之後就可以將電腦關機，然後直接透過手機連到 OpenWrt 發送 Magic 封包叫醒電腦。

按下發送鍵後，就會看到封包的資料，結構很簡單，類別 0x0842，內容給定 ffffffffffff 之後，再重複目標 MAC 地址十六次。

DA     (6)        | SA     (6)        | Type WOL (2)
3c 52 a1 29 6d 9e | 26 62 d2 e3 a6 83 | 08 42

Sync stream       | Repeat 16 times of MAC
ff ff ff ff ff ff | 3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e
3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e
3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e
3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e
3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e
3c 52 a1 29 6d 9e 3c 52 a1 29 6d 9e 

當網路介面卡收到這「魔法封包」後，電腦就會自己開機，進入 Windows 登入畫面！而此時交換器中 Port 3 的狀態也會恢復成正常的 1000M。

順帶一提，我網卡本身是 2.5 Gbps，但交換器只有支援 1 Gbps，所以上限 1000M 是正常的。