[技術討論] VM OS 裝係 network storage 優點 / 缺點

webservices

想 ：
- ESXi host 同任何 data (包括 VM OS) 分離

考慮緊：
- 用獨立實體機行 raid，經 iSCSI 或 NFS 比 ESXi host。會用 software raid，死碟容易救。唔想用 raid 咭，一來貴，二來怕壞咭已斷貨。

煩：
- 屋企揾地方另擺 raid 實體機
- raid 實體機，如要停或移位，ESXi host 又要停
- 以屋企現成 network infra 測試，1GB ethernet 經 iSCSI 大概有 70 MB/s，行多個 VM OS 會唔會好慢？

有冇ching比下心得？

133954202

想 ：
1. ESXi host 同任何 data (包括 VM OS) 分離

考慮緊：
1. 用 software raid，死碟容易救。唔想用 r ...
webservices 發表於 2016-9-28 10:01

1GB 經iscsi 如果你一隻VM 計就冇大問題, 多既話10GB 會好D, 同埋屋企玩唔似公司咁有SAN 有fiber 同RAM cache

a2940u2w

esxi host應該唔support sw raid,一係响esxi裝兩隻獨立hdd,再share入去比guest os做software raid

Comeon

正如上面CHING 所講，esxi 食唔到 software raid
得 hardware raid 先可以做到 local datastore

1G iSCSI 唔夠既話咪行 2G (玩 etherchannel)，esxi 入面好似叫 teaming
2g 都唔夠咪玩夠 4g囉
如果自己home use 既，咪上淘仔買張 4port lan card 都唔係好貴

KinChungE

你要measure既唔係throughput幾多MB/sec, 而係IOPS
network latency會導致IOPS降低
如果你用harddisk還好, 用SSD的話效能同本機storage差好遠

webservices

先謝過，我寫得唔好，已改原文。其實意思係：會揾另一實體機行 software raid，唔係 ESXi host 本身行 software raid

至於 network 部份，再拉 cat 5e / 6 好煩，拉得就經 SFP+ 行 10GB。未 research，遲 d 諗。
依家主攻先諗 storage 部份

正如上面CHING 所講，esxi 食唔到 software raid
得 hardware raid 先可以做到 local datastore

1G iSCSI  ...
Comeon 發表於 2016-9-28 15:37

webservices

回覆 5# KinChungE


謝謝 ching。頭先試用其中一個 VM ( 無行raid, disk 1 )  經 iSCSI 比番另一個 VM ( disk 2 )，4K read 有 29MB/s，IOPS 得 ~7400，好可憐

1. Command Line: diskspd -c1G -b4K -t1 -d10 -a0,1 testfile1.dat testfile2.dat
   
2. 
   
3. Input parameters:
   
4. 
   
5.         timespan:   1
   
6.         -------------
   
7.         duration: 10s
   
8.         warm up time: 5s
   
9.         cool down time: 0s
   
10.         random seed: 0
    
11.         advanced affinity round robin (group/core): 0/0, 0/1
    
12.         path: 'testfile1.dat'
    
13.                 think time: 0ms
    
14.                 burst size: 0
    
15.                 using software cache
    
16.                 using hardware write cache, writethrough off
    
17.                 performing read test
    
18.                 block size: 4096
    
19.                 using sequential I/O (stride: 4096)
    
20.                 number of outstanding I/O operations: 2
    
21.                 thread stride size: 0
    
22.                 threads per file: 1
    
23.                 using I/O Completion Ports
    
24.                 IO priority: normal
    
25.         path: 'testfile2.dat'
    
26.                 think time: 0ms
    
27.                 burst size: 0
    
28.                 using software cache
    
29.                 using hardware write cache, writethrough off
    
30.                 performing read test
    
31.                 block size: 4096
    
32.                 using sequential I/O (stride: 4096)
    
33.                 number of outstanding I/O operations: 2
    
34.                 thread stride size: 0
    
35.                 threads per file: 1
    
36.                 using I/O Completion Ports
    
37.                 IO priority: normal
    
38. 
    
39. 
    
40. 
    
41. Results for timespan 1:
    
42. *******************************************************************************
    
43. 
    
44. actual test time:       10.02s
    
45. thread count:           2
    
46. proc count:             4
    
47. 
    
48. CPU |  Usage |  User  |  Kernel |  Idle
    
49. -------------------------------------------
    
50.    0|  31.05%|   1.40%|   29.64%|  68.96%
    
51.    1|  17.32%|   1.25%|   16.07%|  82.68%
    
52.    2|  11.39%|   0.62%|   10.76%|  88.61%
    
53.    3|   9.20%|   0.78%|    8.42%|  90.64%
    
54. -------------------------------------------
    
55. avg.|  17.24%|   1.01%|   16.22%|  82.72%
    
56. 
    
57. Total IO
    
58. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
    
59. ------------------------------------------------------------------------------
    
60.      0 |       150626304 |        36774 |      14.34 |    3671.71 | testfile1.dat (1024MB)
    
61.      1 |       151920640 |        37090 |      14.47 |    3703.27 | testfile2.dat (1024MB)
    
62. ------------------------------------------------------------------------------
    
63. total:         302546944 |        73864 |      28.81 |    7374.98
    
64. 
    
65. Read IO
    
66. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
    
67. ------------------------------------------------------------------------------
    
68.      0 |       150626304 |        36774 |      14.34 |    3671.71 | testfile1.dat (1024MB)
    
69.      1 |       151920640 |        37090 |      14.47 |    3703.27 | testfile2.dat (1024MB)
    
70. ------------------------------------------------------------------------------
    
71. total:         302546944 |        73864 |      28.81 |    7374.98
    
72. 
    
73. Write IO
    
74. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
    
75. ------------------------------------------------------------------------------
    
76.      0 |               0 |            0 |       0.00 |       0.00 | testfile1.dat (1024MB)
    
77.      1 |               0 |            0 |       0.00 |       0.00 | testfile2.dat (1024MB)
    
78. ------------------------------------------------------------------------------
    
79. total:                 0 |            0 |       0.00 |       0.00

複製代碼

nivlacckw

先謝過，我寫得唔好，已改原文。其實意思係：會揾另一實體機行 software raid，唔係 ESXi host 本身行 soft ...
webservices 發表於 2016-9-28 15:56

    行software raid 經nfs, iscsi係正路，因為vsan/nutanix其實都係行software raid，有budget買多幾隻ssd 玩all flash好過買raid card

Storage traffic如果只係single esx host就cross cable 10g Nic 已經可以

咪以為大公司行FC san,多咗好多公司行vsan, nutanix. NFS流行咗好多

webservices

回覆 8# nivlacckw


多謝 ching 介紹。vSAN 未玩過。算唔算 distributed RAID？
都想試。係咪一定要跟 vCenter 同 Horizon？可惜兩個都無 license
有無免費或 open source 代替品呢？
Check 過 min. requirement 要有3個 hosts 嘅 cluster，屋企黎講要求有d高

kirafung

我試緊 Synology 做 ISCSI, ESX 經 1G giga switch
host 緊8 個 win7, 8 個 user 暫時都冇乜問題.
IO 都係 8-10MB up down.
不過有試過放D server DB 做 patching 就食哂 disk IO