作者: umvue 時間: 2017-10-1 22:56 標題: 砌緊部計數機,幫我睇睇
主要攞嚟計數,會有好勁的DISK I/O,兩部NVMe SSD諗住行RAID1
2 x Intel Xeon Gold 6148F 20C40T 2.4GHz US$6,454
2 x Intel Passive/Active Combination Heat-Sink BXSTS300C US$86
24 x Kingston KSM26RD4/32HAI 32GB DDR4-2666 ECC US$8,913
1 x Intel 2U Server R2312WFTZS US$2,599
2 x Intel Data Center P3520 2TB U.2 2.5inch PCIe 3.0x4 NVMe SSD HK$16,240
問題如下:
1) 啲RAM夾底板嗎?
2) 隻NVMe SSD能放進2U Server嗎?
謝謝大神指點
作者: colincc228 時間: 2017-10-1 23:03
1. 應該ok ddr4 ecc reg （reg係呢個用途用嘅 unbuffered 好似support唔到咁多)
2. nvme ssd唔係插m.2 位咩？ 咁應該ok 嘅
作者: bam1a 時間: 2017-10-1 23:05
TR/EPYC嘅16C啦
唔好落咁重皮去intel,16C已經有佢接近呢款野嘅性能,重要平幾雞,重要有熱能效率少少
作者: umvue 時間: 2017-10-1 23:19
TR/EPYC嘅16C啦
唔好落咁重皮去intel,16C已經有佢接近呢款野嘅性能,重要平幾雞,重要有熱能效率少少 ...
bam1a 發表於 2017-10-1 23:05
我INTEL有OMNIPATH,可以方便以後加多幾部機
有乜技術可以代替OMNIPATH?
作者: bam1a 時間: 2017-10-2 07:03
我INTEL有OMNIPATH,可以方便以後加多幾部機
有乜技術可以代替OMNIPATH?
umvue 發表於 2/10/2017 01:19
而家技術水平你覺得以呢個方法增加唔嘅server有用？你會有信心Intel將8代U技術兼容9代U？
主要做學術計算既話，應該睇點樣實行異平台平行演算多過純粹加幾部機完全連接一齊
via HKEPC Ionic Reader v1.7.0 - Android
作者: umvue 時間: 2017-10-2 07:12
而家技術水平你覺得以呢個方法增加唔嘅server有用？你會有信心Intel將8代U技術兼容9代U？
主要做學 ...
bam1a 發表於 2017-10-2 07:03
OmniPath好像是用來取代Infiniband的,至少會玩幾代吧
異平台即是用CLUSTER軟件?好像沒有這類硬件系的快哦
作者: bam1a 時間: 2017-10-2 08:57
本帖最後由 bam1a 於 2017-10-2 11:04 編輯
OmniPath好像是用來取代Infiniband的,至少會玩幾代吧
異平台即是用CLUSTER軟件?好像沒有這類硬件 ...
umvue 發表於 2/10/2017 09:12
計數真係要做到要動用呢個supercomputer/大型mainframe級嘅通信技術?
既然要計數,點解一定要燒錢去用呢個特定技術?
定係首先着手做好單機嘅平行演算能力先?
如果要IO快,應該係走RAID10比較着數過純RAID1?
PS:我應該講呢類野==>https://zh.wikipedia.org/wiki/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97%E5%B9%B3%E5%8F%B0
作者: umvue 時間: 2017-10-2 11:28
計數真係要做到要動用呢個supercomputer/大型mainframe級嘅通信技術?
既然要計數,點解一定要燒錢去用呢 ...
bam1a 發表於 2017-10-2 08:57
我都想RAID10,但底板只能插兩個NVMe
插兩個NVMe能行RAID10?
作者: bam1a 時間: 2017-10-2 13:24
本帖最後由 bam1a 於 2017-10-2 15:26 編輯
我都想RAID10,但底板只能插兩個NVMe
插兩個NVMe能行RAID10?
umvue 發表於 2/10/2017 13:28
咁實有PCIe slot做NVMe喎
實有幾隻PCIe x4,甚至x16 口而唔會咁孤寒到得幾隻m.2 NVMe而無PCIe擴充槽掛
要快IO,不如諗吓拆散2TB做4隻1TB然後開RAID? 主板無可能無呢個option
作者: umvue 時間: 2017-10-2 14:03
咁實有PCIe slot做NVMe喎
實有幾隻PCIe x4,甚至x16 口而唔會咁孤寒到得幾隻m.2 NVMe而無PCIe擴充槽掛
要 ...
bam1a 發表於 2017-10-2 13:24
https://ark.intel.com/products/8 ... r-System-R2312WFTZS
官網說插兩個,什麼意思?
作者: bam1a 時間: 2017-10-2 14:19
官網說插兩個,什麼意思?
umvue 發表於 2/10/2017 16:03
你睇咗邊度???
明明internal drive可以裝4個
仲有,PCIe slot亦可以裝M.2座架,實有一隻支援RAID1,插兩隻咪可以叫塊板RAID10囉(好似係)
而且RAID卡市面實有server級架
作者: ccc123 時間: 2017-10-2 14:23
>>計數機
what's the purpose of the machine.......................
作者: umvue 時間: 2017-10-2 14:25
你睇咗邊度???
明明internal drive可以裝4個
仲有,PCIe slot亦可以裝M.2座架,實有一隻支援RAID1,插兩隻咪 ...
bam1a 發表於 2017-10-2 14:19
什麼意思?
Supplemental Information
Description
Intel® Server System R2312WFTZS is an Integrated 2U system featuring an Intel® Server Board S2600WFT supporting 12 3.5 inch hot-swap drives front mount drives (support for up to 2 NVMe drives) dual 10-GbE LAN, 24 DIMMs
作者: umvue 時間: 2017-10-2 14:29
>>計數機
what's the purpose of the machine.......................
ccc123 發表於 2017-10-2 14:23
need to do calculations based on 500GB data input and generate 1TB data output daily.
作者: bam1a 時間: 2017-10-2 14:45
本帖最後由 bam1a 於 2017-10-2 16:46 編輯
什麼意思?
Supplemental Information
Description
Intel® Server System R2312WFTZS is an Integrated ...
umvue 發表於 2/10/2017 16:25
佢本身唔使PCIe插口就可以用嘅hard drive量,你咁講嘅2個NVMe係真
但我亦想講,PCIe本身就係擴充用途,有理由可以用佢當drive bay用,有D極速IO嘅server都唔會用原生就係咁,爲咗快,用PCIe所有頻寬開RAID0/RAID10/RAID5
你冇見宜家D NVMe RAID卡都會用PCIe插咩?
作者: umvue 時間: 2017-10-2 14:59
佢本身唔使PCIe插口就可以用嘅hard drive量,你咁講嘅2個NVMe係真
但我亦想講,PCIe本身就係擴充用途,有理 ...
bam1a 發表於 2017-10-2 14:45
直插會快過PCIe嗎？
作者: eh 時間: 2017-10-2 16:20
好勁的DISK I/O唔係放上RAM先,再一批批放上backend storage咩?
作者: eh 時間: 2017-10-2 16:21
話說,仲未有人叫樓主搵Vender quote既?
作者: umvue 時間: 2017-10-2 17:37
好勁的DISK I/O唔係放上RAM先,再一批批放上backend storage咩?
eh 發表於 2017-10-2 16:20
係呀，諗住整300gb ramdisk 裝temp file
作者: umvue 時間: 2017-10-2 17:39
話說,仲未有人叫樓主搵Vender quote既?
eh 發表於 2017-10-2 16:21
應該揾邊度買？
以前用jxxbo 買過westmere x2 48gb ram
但今次呢部唔知佢做不做到
作者: eh 時間: 2017-10-2 17:56
應該揾邊度買？
以前用jxxbo 買過westmere x2 48gb ram
但今次呢部唔知佢做不做到 ...
umvue 發表於 2017-10-2 17:39
來來去去都係Dell或者SI搞嫁啦
作者: umvue 時間: 2017-10-2 19:05
來來去去都係Dell或者SI搞嫁啦
eh 發表於 2017-10-2 17:56
SI是什麽？
作者: god_md5 時間: 2017-10-2 20:07
SSD U.2唔同.M.2的.....
作者: bam1a 時間: 2017-10-2 20:11
直插會快過PCIe嗎？
umvue 發表於 2/10/2017 16:59
分別咪係一個內置一個外置driver,就算係內置快都唔會快得去邊
你個內置開RAID1個seq. R/W bandwidth咪都係正常嘅電腦1隻M.2級嘅速度,既然要極速I/O性能不如打真槍買RAID卡開RAID10提升性能
作者: umvue 時間: 2017-10-2 20:36
分別咪係一個內置一個外置driver,就算係內置快都唔會快得去邊
你個內置開RAID1個seq. R/W bandwidth咪都 ...
bam1a 發表於 2017-10-2 20:11
RAID1不是ＲＥＡＤ快一倍，ＷＲＩＴＥ無快到嗎？
作者: s84292 時間: 2017-10-2 20:37
RAID1不是ＲＥＡＤ快一倍，ＷＲＩＴＥ無快到嗎？
umvue 發表於 2017-10-2 20:36
唔一定係,好多RAID 卡同軟RAID RAID 1讀速度都係同冇RAID 一樣
作者: umvue 時間: 2017-10-2 20:43
SSD U.2唔同.M.2的.....
god_md5 發表於 2017-10-2 20:07
係喎，底板只支持Ｍ．２，謝謝指出
作者: bam1a 時間: 2017-10-2 21:45
本帖最後由 bam1a 於 2017-10-2 23:47 編輯
RAID1不是ＲＥＡＤ快一倍，ＷＲＩＴＥ無快到嗎？
umvue 發表於 2/10/2017 22:36
raid1係
一個真一個backup用
主要用作細server用途,因爲其中一隻死仲有一隻可以做救援,但要實行巨型機同高速I/O係好冇成本效益
要快應該係raid0,佢主要係將佢D資料並排放/出,增加頻寬,但其中一隻死係所有RAID0嘅一齊去死
作者: umvue 時間: 2017-10-3 00:36
SSD U.2唔同.M.2的.....
god_md5 發表於 2017-10-2 20:07
Samsung 960 PRO M.2 2280 MZ-V6P2T0 2TB PCIe 3.0 x4, NVMe 1.2 SSD
換成三叔可以了吧？
作者: umvue 時間: 2017-10-3 01:57
揾到intel p4800x。好似好正
作者: pomkon 時間: 2017-10-3 03:33
提示: 作者被禁止或刪除 內容自動屏蔽
作者: pomkon 時間: 2017-10-3 03:34
提示: 作者被禁止或刪除 內容自動屏蔽
作者: umvue 時間: 2017-10-3 08:14
How long does that take on your current machine?
pomkon 發表於 2017-10-3 03:34
two hours to process 1GB
goal is to process 400GB in 20 hours
作者: macis 時間: 2017-10-3 09:26
two hours to process 1GB
goal is to process 400GB in 20 hours
umvue 發表於 2017-10-3 08:14
有咩數據要咁耐
作者: pomkon 時間: 2017-10-3 15:14
提示: 作者被禁止或刪除 內容自動屏蔽
作者: henry9207 時間: 2017-10-3 16:23
提示: 作者被禁止或刪除 內容自動屏蔽
作者: umvue 時間: 2017-10-4 01:21
UPS邊款好?我只是想佢開到夠時間熄機
2U版好像貴很多,值得嗎?
1 x APC BACK-UPS Pro 1000VA BR1000G US$180
1 x APC SMART-UPS RT ON-LINE 1000VA 2U Rackmount SURT1000RMXL2U US$920
作者: agfaapogeex 時間: 2017-10-4 03:55
我估都係公司用,Ibm X , Dell PE 會唔會穩陣D,講緊 7x24 4hour 既support 等
作者: umvue 時間: 2017-10-4 17:59
我估都係公司用,Ibm X , Dell PE 會唔會穩陣D,講緊 7x24 4hour 既support 等
agfaapogeex 發表於 2017-10-4 03:55
只是計算機,可忍受一定DOWNTIME,所以想自砌
作者: redblood 時間: 2017-10-5 11:00
反而我覺得樓主應該諗下如何篩選data，雖然可能你搵到食唔理budget。database又好似無咩新技術，改善data mining技術更容易提升成本效益，除非做rendering要求高解像度可能真係不能減少數據量。
作者: infiniteslice 時間: 2017-10-6 14:38
樓主留意哦, 塊server board似乎唔支援PCIe M.2 SSD RAID.
Server board specs:
https://www.intel.com/content/da ... 00WF_TPS_rev1_0.pdf
P.62 (6.2.1.1)有講.
作者: umvue 時間: 2017-10-6 23:05
樓主留意哦, 塊server board似乎唔支援PCIe M.2 SSD RAID.
Server board specs:
P.62 (6.2.1.1)有講. ...
infiniteslice 發表於 2017-10-6 14:38
P.61說可以兩個M.2行ERST RAID
P.62說可以四個PCIE行RST RAID
但不能U.2
作者: infiniteslice 時間: 2017-10-6 23:43
本帖最後由 infiniteslice 於 2017-10-6 23:53 編輯
P.61說可以兩個M.2行ERST RAID
P.62說可以四個PCIE行RST RAID
但不能U.2
umvue 發表於 2017-10-6 23:05
P.61 ERST 祗 for SATA mode(<600MB/s), PCIe mode唔得
P.62 PCIe行RST RAID要駁 OcuLink
暫時知道以下兩種方案可行到RAID10.
(1)SATA mode:
8x 500GB(or 4x 1TB) SATA SSD 行RAID10
(2)PCIe mode:
4x 1TB U.2 NVMe 1TB 行RAID10
要另買OcuLink Cable x 4, VROC(Virtual RAID on Chip) Upgrade Key(P.65-67)
作者: infiniteslice 時間: 2017-10-7 00:22
同埋留意兩個M.2喺PCIe mode係唔等速的, 一個PCIe x4, 一個PCIe x2 (P.62, Figure 28). 唔知係咪呢個原因PCIe mode行唔到RAID.
作者: umvue 時間: 2017-10-7 00:30
P.61 ERST 祗 for SATA mode(
infiniteslice 發表於 2017-10-6 23:43
咁我可以買四個P4800X加OCULINK就可以RAID10 PCIE???
作者: infiniteslice 時間: 2017-10-7 00:37
本帖最後由 infiniteslice 於 2017-10-7 01:02 編輯
同埋呢個係部server嘅 Hot Swap Backplane
https://www.connection.com/produ ... u8x25s3phs/34311982
睇到有8 x OcuLink connectors, 2 x miniSAS connectors
作者: infiniteslice 時間: 2017-10-7 00:47
本帖最後由 infiniteslice 於 2017-10-7 00:52 編輯
咁我可以買四個P4800X加OCULINK就可以RAID10 PCIE???
umvue 發表於 2017-10-7 00:30
睇spec應冇問題.
除了買oculink cable仲要買upgrade key(p.66-67)
作者: infiniteslice 時間: 2017-10-7 09:50
回覆 45# umvue
RAid10可能唔得. 我睇漏左4個oculink分別屬兩粒cpu.
CPU_1: Oculink_0, Oculink_1
CPU_2: Oculink_2, Oculink_3
有文話BOOTABLE raid唔可以across CPUs. 所以on-board Oculink衹可行RAID 0,1
要行PCIE RAID10就要考慮呢D方案了
ASUS Hyper M.2 PCIe card
https://www.pcworld.com/article/ ... ns-for-a-price.html
但要留意，暫時衹知張卡支援intel ssd.
作者: umvue 時間: 2017-10-7 14:36
回覆 umvue
RAid10可能唔得. 我睇漏左4個oculink分別屬兩粒cpu.
CPU_1: Oculink_0, Oculink_1
CPU_2: Oc ...
infiniteslice 發表於 2017-10-7 09:50
https://www.intel.com/content/da ... VMe_for%20Linux.pdf
算不算SOFTWARE RAID10就可以?
作者: umvue 時間: 2017-10-8 13:23
https://www.intel.com/content/da ... c-product-brief.pdf
好像用MDADM可以四隻P4800X RAID0
作者: infiniteslice 時間: 2017-10-8 13:39
回覆 49# umvue
你呢個砌法唔知個raid係咪BOOTABLE. 我上面(#48)都祇係強調BOOTABLE raid唔得.
如果個raid唔使BOOTABLE, Linux嘅options應該比Windows仲多...
作者: qcmadness 時間: 2017-10-8 13:47
到而家都未知你用咩software計數
作者: umvue 時間: 2017-10-8 13:55
P.61說可以兩個M.2行ERST RAID
P.62說可以四個PCIE行RST RAID
但不能U.2
umvue 發表於 2017-10-6 23:05
https://www.intel.com/content/ww ... 600wf.html?cache=no
好像底板已包四條OCULINK
作者: umvue 時間: 2017-10-8 13:56
回覆 umvue
你呢個砌法唔知個raid係咪BOOTABLE. 我上面(#48)都祇係強調BOOTABLE raid唔得.
如果個raid ...
infiniteslice 發表於 2017-10-8 13:39
BOOT到吧,我而家也是UBUNTU MDADM RAID0
只要認到啲DRIVE,就能SOFTWARE RAID
當然SOFTWARE RAID比HARDWARE RAID慢少少
作者: infiniteslice 時間: 2017-10-8 14:14
回覆 53# umvue
Included Items
(1) Intel® Server Board S2600WFT (Dual 10GbE LAN) (2) PCIe Riser card brackets; Includes (2) 3-slot PCIe* riser cards 2UL8RISER2 (12) 3.5” Hot-swap drive bays with drive carriers and drive blanks; Includes (1) SAS/NVMe Combo backplane F2U8X25S3PHS; Includes (12) 3.5” hot swap drive tool less carriers FXX35HSCAR2 (1) Storage Rack Handle Assembly A2UHANDLKIT (1) 175mm Backplane I2C Cable (1) 800mm Mini SAS HD Cable AXXCBL800HDHD (1) 875mm Mini SAS HD Cable AXXCBL875HDHD (1) 950mm Mini SAS HD Cable AXXCBL950HDHD (1) 525/675mm Backplane power cable (1) Standard 2U Air duct (6) Hot swap system fans FR2UFAN60HSW (16) DIMM slot blanks (1) 1300W AC Power Supply Module AXX1300TCRPS (1) Power supply bay blank insert (2) AC Power Cord retention strap assembly (2) CPU heat sinks FXXCA78X108HS (2) CPU heat sink “NO CPU” label insert (2) Standard CPU Carrier (2) Chassis handle (1 set) installed (1) 3x RMFBU Mounting Bracket (1) 250mm Fixed Mount SSD Power Cable
但部SErver Included Items話只包括3涤MiniSAS HD cable, 唔見有OCuLink cable.
作者: infiniteslice 時間: 2017-10-8 15:07
回覆 53# umvue
佢秖系話有4個OCuLink connectors, 好似冇話跟埋cable..
作者: umvue 時間: 2017-10-8 15:09
回覆 umvue
佢秖系話有4個OCuLink connectors, 好似冇話跟埋cable..
infiniteslice 發表於 2017-10-8 15:07
係喎,CABLE和CONNECTOR兩樣野
作者: doraemonho 時間: 2017-10-8 16:26
好有興趣，樓主計咩?