[技術討論] VM OS 裝係 network storage 優點 / 缺點

本帖最後由 webservices 於 2016-9-28 16:00 編輯

想 :
- ESXi host 同任何 data (包括 VM OS) 分離

考慮緊:
- 用獨立實體機行 raid,經 iSCSI 或 NFS 比 ESXi host。會用 software raid,死碟容易救。唔想用 raid 咭,一來貴,二來怕壞咭已斷貨。

煩:
- 屋企揾地方另擺 raid 實體機
- raid 實體機,如要停或移位,ESXi host 又要停
- 以屋企現成 network infra 測試,1GB ethernet 經 iSCSI 大概有 70 MB/s,行多個 VM OS 會唔會好慢?

有冇ching比下心得?

想 :
1. ESXi host 同任何 data (包括 VM OS) 分離

考慮緊:
1. 用 software raid,死碟容易救。唔想用 r ...
webservices 發表於 2016-9-28 10:01


1GB 經iscsi 如果你一隻VM 計就冇大問題, 多既話10GB 會好D, 同埋屋企玩唔似公司咁有SAN 有fiber 同RAM cache

TOP

esxi host應該唔support sw raid,一係响esxi裝兩隻獨立hdd,再share入去比guest os做software raid

TOP

正如上面CHING 所講,esxi 食唔到 software raid
得 hardware raid 先可以做到 local datastore

1G iSCSI 唔夠既話咪行 2G (玩 etherchannel),esxi 入面好似叫 teaming
2g 都唔夠咪玩夠 4g囉
如果自己home use 既,咪上淘仔買張 4port lan card 都唔係好貴

TOP

你要measure既唔係throughput幾多MB/sec, 而係IOPS
network latency會導致IOPS降低
如果你用harddisk還好, 用SSD的話效能同本機storage差好遠

TOP

本帖最後由 webservices 於 2016-9-28 16:23 編輯

先謝過,我寫得唔好,已改原文。其實意思係:會揾另一實體機行 software raid,唔係 ESXi host 本身行 software raid

至於 network 部份,再拉 cat 5e / 6 好煩,拉得就經 SFP+ 行 10GB。未 research,遲 d 諗。
依家主攻先諗 storage 部份


正如上面CHING 所講,esxi 食唔到 software raid
得 hardware raid 先可以做到 local datastore

1G iSCSI  ...
Comeon 發表於 2016-9-28 15:37

TOP

本帖最後由 webservices 於 2016-9-28 17:28 編輯

回覆 5# KinChungE


謝謝 ching。頭先試用其中一個 VM ( 無行raid, disk 1 )  經 iSCSI 比番另一個 VM ( disk 2 ),4K read 有 29MB/s,IOPS 得 ~7400,好可憐
  1. Command Line: diskspd -c1G -b4K -t1 -d10 -a0,1 testfile1.dat testfile2.dat

  2. Input parameters:

  3.         timespan:   1
  4.         -------------
  5.         duration: 10s
  6.         warm up time: 5s
  7.         cool down time: 0s
  8.         random seed: 0
  9.         advanced affinity round robin (group/core): 0/0, 0/1
  10.         path: 'testfile1.dat'
  11.                 think time: 0ms
  12.                 burst size: 0
  13.                 using software cache
  14.                 using hardware write cache, writethrough off
  15.                 performing read test
  16.                 block size: 4096
  17.                 using sequential I/O (stride: 4096)
  18.                 number of outstanding I/O operations: 2
  19.                 thread stride size: 0
  20.                 threads per file: 1
  21.                 using I/O Completion Ports
  22.                 IO priority: normal
  23.         path: 'testfile2.dat'
  24.                 think time: 0ms
  25.                 burst size: 0
  26.                 using software cache
  27.                 using hardware write cache, writethrough off
  28.                 performing read test
  29.                 block size: 4096
  30.                 using sequential I/O (stride: 4096)
  31.                 number of outstanding I/O operations: 2
  32.                 thread stride size: 0
  33.                 threads per file: 1
  34.                 using I/O Completion Ports
  35.                 IO priority: normal



  36. Results for timespan 1:
  37. *******************************************************************************

  38. actual test time:       10.02s
  39. thread count:           2
  40. proc count:             4

  41. CPU |  Usage |  User  |  Kernel |  Idle
  42. -------------------------------------------
  43.    0|  31.05%|   1.40%|   29.64%|  68.96%
  44.    1|  17.32%|   1.25%|   16.07%|  82.68%
  45.    2|  11.39%|   0.62%|   10.76%|  88.61%
  46.    3|   9.20%|   0.78%|    8.42%|  90.64%
  47. -------------------------------------------
  48. avg.|  17.24%|   1.01%|   16.22%|  82.72%

  49. Total IO
  50. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
  51. ------------------------------------------------------------------------------
  52.      0 |       150626304 |        36774 |      14.34 |    3671.71 | testfile1.dat (1024MB)
  53.      1 |       151920640 |        37090 |      14.47 |    3703.27 | testfile2.dat (1024MB)
  54. ------------------------------------------------------------------------------
  55. total:         302546944 |        73864 |      28.81 |    7374.98

  56. Read IO
  57. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
  58. ------------------------------------------------------------------------------
  59.      0 |       150626304 |        36774 |      14.34 |    3671.71 | testfile1.dat (1024MB)
  60.      1 |       151920640 |        37090 |      14.47 |    3703.27 | testfile2.dat (1024MB)
  61. ------------------------------------------------------------------------------
  62. total:         302546944 |        73864 |      28.81 |    7374.98

  63. Write IO
  64. thread |       bytes     |     I/Os     |     MB/s   |  I/O per s |  file
  65. ------------------------------------------------------------------------------
  66.      0 |               0 |            0 |       0.00 |       0.00 | testfile1.dat (1024MB)
  67.      1 |               0 |            0 |       0.00 |       0.00 | testfile2.dat (1024MB)
  68. ------------------------------------------------------------------------------
  69. total:                 0 |            0 |       0.00 |       0.00
複製代碼

TOP

先謝過,我寫得唔好,已改原文。其實意思係:會揾另一實體機行 software raid,唔係 ESXi host 本身行 soft ...
webservices 發表於 2016-9-28 15:56



    行software raid 經nfs, iscsi係正路,因為vsan/nutanix其實都係行software raid,有budget買多幾隻ssd 玩all flash好過買raid card

Storage traffic如果只係single esx host就cross cable 10g Nic 已經可以

咪以為大公司行FC san,多咗好多公司行vsan, nutanix. NFS流行咗好多

TOP

本帖最後由 webservices 於 2016-9-29 11:31 編輯

回覆 8# nivlacckw


多謝 ching 介紹。vSAN 未玩過。算唔算 distributed RAID?
都想試。係咪一定要跟 vCenter 同 Horizon?可惜兩個都無 license
有無免費或 open source 代替品呢?

Check 過 min. requirement 要有3個 hosts 嘅 cluster,屋企黎講要求有d高

TOP

我試緊 Synology 做 ISCSI, ESX 經 1G giga switch
host 緊8 個 win7, 8 個 user 暫時都冇乜問題.
IO 都係 8-10MB up down.
不過有試過放D server DB 做 patching 就食哂 disk IO

TOP