N54L 與 iSCSI

老實,今次 N54L 頂盡只算配角
呢度相信唔少版友都係將部 NAS 以 file based 形式咁做 storage(其實我部 210j 何嘗又唔係 )
但當初買 N54L 其中一個想法,係配合 iSCSI 去幫部 Mac Pro 做 storage expansion(Mac Pro 變咗劉江華 style 後冇咗 internal HDD bay),USB 3 storage 唔係我杯茶,Thunderbolt device 直頭好似幫我荷包放血咁,於是突然諗到已經平民化的 enterprise storage -- iSCSI(題外話:部 N54L 原則上仲平過我買 thunderbolt 1-bay HDD 盒)

有玩開 NAS 都知,無論係唔係講得出口既秘密都有做 iSCSI support,但係大部份 single interface 情況下俾你玩到 80-100MB/s 都要還神啦(個 torrent client 無新年假期架,無時無刻都有野 download ),咁既 performance 駁落 Mac 真係 Steve Jobs 都會爬起身鬧人....

係開始之前,梗係要介紹下 d setup......
真正主角係.....2 張 Intel Pro/1000 PT Dual Port Server (PCI-e x4) (對唔住冇圖)
分別係 client testing PC 同 HP N54L 各一張.....

本帖最後由 fakeman 於 2015-2-28 03:02 編輯

今次唔記得先影相,個位擺得唔好懶得再影,cap screen 算數 XD
Client side config: Intel Xeon X5660 (6C12T) + 24GB ECC DDR3 PC-10600 + Toshhiba 128GB SSD + 2 x Intel Pro/1000 PT Dual Port, OS 為 Windows 7 Professional, IP 設定為 192.168.10.9 & 192.168.100.9
config.jpg
2015-2-28 02:55


Server side 仍然係 HP N54L,8GB ECC RAM,以一隻 HGST 4TB 作測試,當然都唔少得一張 Intel Pro/1000 PT Dual port,OS 係琴日做測試裝上去的 Open Media Vault 1.3(安裝於獨立 500GB HDD),兩個 Intel port IP 分別係 192.168.10.10 & 192.168.100.10
成隻 4TB 以 block size 形式 share 出去,並設定為容許多個 connection/session
target.png
2015-2-28 02:58

TOP

本帖最後由 fakeman 於 2015-2-28 03:34 編輯

兩部機採取直接連線,完全唔經過 switch(我邊有咁多 switch support jumbo frame)
大家都設定 9014byte jumbo frame

Windows 7 使用內置 iSCSI initiator,根據網上資料指出,Windows 7 及 Windows 2008 Server 其實都係同屬一種 iSCSI initiator,但 2008 server 有 extra tools 去幫忙設定 multi-path 去協助 HA (failover),不過 anyway 今次重點在於 MC/S,即 multiple connection/sessions,目的係於 single session 中增加 bandwidth
其實加卡後,desktop client & server side 都每邊有 3 NICs 但我只用 Intel 兩個,主因係:client side Broadcom 只係 desktop model,N54L 雖然 NC107i(即 Broadcom BCM5723) 係 server grade 但兩隻都唔可以用 jumbo frame,再加上我只係 single spinning disk (4T x 1) 我自問單碟 throughput 要過 2Gbps 好難所以試 dual link 就算。

以下係 windows 部分設定畫面(使用 round robin style MC/S)
iscsi.jpg
2015-2-28 03:09


雖然 OMV 有 iSCSI,但唔知係咪新舊 software update 後有 d 野會唔 work,我都搞咗陣先撻得著個 iSCSI,終於 Windows 同一部機透過 2 個 link 去同一組 iSCSI LUN,Windows 中辨認到係一隻 unformatted 4TB drive(因為我成隻 share 出去)並且我整個 2TB MBR drive)
iscsi-2.jpg
2015-2-28 03:16

TOP

本帖最後由 fakeman 於 2015-4-15 14:23 編輯

搞咗成日,好支力,隨便咁搵個 ATTO 做 benchmark,其實我知道呢類特殊 systems 唔應該咁做,不過當我實際測試由 windows copy 5xx MB ISO 去 OMV 快到噤唔切秒錶時,心諗都係一切從簡算喇

test1.jpg
2015-2-28 03:20


Linux 下用 hdparm 簡單試到 N54L 內隻 4TB disk 係大約 160MB/s,而正常 single link iSCSI 我當全部 bandwidth dedicated 的話經 network 只係 max 125MB/s,而家求其 cap 咗一個上來,間中會見到有 burst rate 去到近 150MB/s,而 Windows monitor 會話 network loading 係每張卡大約 70%,算係不負我既期望。

到有機會正式使用時,single volume 會轉去使用 RAID 5/10 等等增加 disk throughput,咁我諗 iSCSI 可以再盡一步加快。

眼利既各位應該見到,好似經常係 write speed > read speed,呢個真,原因不明,網上見唔少人都遇過呢個奇怪 behaviour,我暫時未有時間研究點搞。至於實質 user experience 方面,上面講既 Windows -> OMV 我掉轉做,為免 disk latency 我將 24GB RAM 分 4GB 做 ramdrive然後發現 OMV -> Windows 係慢過我由 Windows -> OMV

TOP

有實物圖會開心 D

TOP

本帖最後由 mkid 於 2015-2-28 07:37 編輯

MacBook pro 駁入去 N54l ,  
只可用 經 switch 駁 ?
單 lan port ?
performance 如何 ?

TOP

你N54l 有冇用 esxi ?
有冇用 raid card ?

TOP

MacBook pro 駁入去 N54l ,  
只可用 經 switch 駁 ?
單 lan port ?
performance 如何 ?
mkid 發表於 2015-2-28 07:34



    單頭冇試,呢個亦係我選用 desktop 試既原因(可以加卡),而 Mac Pro(不是 Macbook Pro)本身 onboard 2 x Gbe,我仲有條 thunderbolt -> Gbe 所以可以做到 3 LAN 不過部機唔係呢邊屋企所以冇試

TOP

你N54l 有冇用 esxi ?
有冇用 raid card ?
mkid 發表於 2015-2-28 07:35



    冇,部機既 hardware 本來都唔適合使用 VM(冇 IOMMU 既話 device 會慢),RAID card 冇加,因為張 Intel Pro1000 PT Dual Port 本身已經係 PCI-e x4,冇位再加卡

TOP