作者: inori 時間: 2020-10-30 11:55 標題: 10G Lan過file好似過山車咁?
本帖最後由 inori 於 2020-10-30 12:02 編輯
10G Lan過file好似過山車咁?
兩邊都係intel X550-T2, switch係asus XG-U2008
由A機抄個File(一個60GB的iso)去B機佢會先寫入RAM既Modified
然後寫到咁上下佢就會停咗唔Transfer file, idle咗lan port
將Modified上面既嘢寫咗落SSD先, 然後又再cache入Modified,
Modified(SSD idle)-> SSD(Lan idle) -> Modified(SSD idle)咁樣不斷重覆
但係B機 local 抄File 就無過山車既問題
係A機睇會係咁
試過用iperf係好正常無過山車
隻intel P4510正常,應該同SSD無關,我用HDD & Ramdisk試都係過山車
已經係device manager度untick咗write cache,但唔知點解都係咁
有無ching知點解?
作者: shukuist 時間: 2020-10-30 12:30
本帖最後由 shukuist 於 2020-10-30 12:34 編輯
因為你做SSD speed test 只係test 到個Cache 嘅速度，唔係真實SSD 嘅速度。你過file 如果太大，用10Gbps 會極速填滿個cache, 爆左Cache咪要暫停收新data, 寫番入隻SSD 度先，呢下最慢。
寫晒入去又再次收data入cache, 即時又爆速，cache 滿左咪再暫停，不停咁循環直到過完data 為止
其實你都已經講左出來
要平均地快，就正正經經用兩個multi bay NAS連10Gbps Lan, 兩個NAS入滿HDD, 咁就平均地快啦
作者: inori 時間: 2020-10-30 14:05
本帖最後由 inori 於 2020-10-30 14:19 編輯
因為你做SSD speed test 只係test 到個Cache 嘅速度，唔係真實SSD 嘅速度。你過file 如果太大，用10Gbps 會 ...
shukuist 發表於 2020-10-30 12:30 PM
intel P4510係Enterprise grade既U.2 SSD唔係普通cosumer grade nvme ssd,無write drop既問題.......
至少頭30%(500GB) Linear write都一直Keep住2GB/s
[attach]2227877[/attach]
而且我係空盤做test, file只係60GB
即使照你咁講點解我隻SSD會有idle時間?
唔係應該一直Fullload,只係cache(RAM上的Modified區)不斷增大又減少?
隻ssd有idle者係証明佢唔係爆SLC Cache,佢已經一早做完佢要做既嘢
同埋我都話A機Ramdisk to B機Ramdisk都係過山車
另外我張LSI 9460-16i有兩個RAID ARRAY
一個WD GOLD 10TB*8 RAID6
一個係WD GOLD 3TB*7 RAID5
兩個ARRAY R/W都接近1GB/s, 點都快過NAS
同樣經10G lan write就會過山車,
所以我已經提出咗係當寫入cache就idle既問題而唔係我啲SSD/HDD唔夠快
作者: shukuist 時間: 2020-10-30 14:09
本帖最後由 shukuist 於 2020-10-30 14:11 編輯
intel P4510係Enterprise grade既U.2 SSD唔係普通cosumer grade nvme ssd,無write drop既問題.......
至 ...
inori 發表於 2020-10-30 14:05
既然你唔信，咁我祝你快啲搵到原因
作者: inori 時間: 2020-10-30 14:13
既然你唔信，咁我祝你快啲搵到原因
shukuist 發表於 2020-10-30 02:09 PM
咁你解釋吓點解Ramdisk to Ramdisk都係過山車? ramdisk都有cache?
作者: shukuist 時間: 2020-10-30 14:18
咁你解釋吓點解Ramdisk to Ramdisk都係過山車? ramdisk都有cache?
inori 發表於 2020-10-30 14:13
要講都已經講左，點講都唔會係你想聽嘅答案
作者: ricky1992 時間: 2020-10-30 14:28
咁你解釋吓點解Ramdisk to Ramdisk都係過山車? ramdisk都有cache?
inori 發表於 2020-10-30 14:13
Ramdisk冇理由都過山車
作者: adamchoy2005 時間: 2020-10-30 14:37
係smb先會咁？
開個webdav,ftp server試下？
用第三方軟件copy又如何，fastcopy嗰d
作者: inori 時間: 2020-10-30 14:38
要講都已經講左，點講都唔會係你想聽嘅答案
shukuist 發表於 2020-10-30 02:18 PM
你既講法係有道理有可能既如果隻SSD係差到不得了既話
但我已經po晒data, result證明我隻SSD係有能力handle
而且唔單止ssd係咁連R/W 1GBs既HDD,甚至RAMDISK都係咁,比你口中所講既滿bay NAS更強
上得forum開post都係想大家討論,錯咪認咗佢囉,唔洗死雞撐飯蓋既.....
作者: shukuist 時間: 2020-10-30 14:42
本帖最後由 shukuist 於 2020-10-30 15:21 編輯
你既講法係有道理有可能既如果隻SSD係差到不得了既話
但我已經po晒data, result證明我隻SSD係有能力handl ...
inori 發表於 2020-10-30 14:38
你講嘅情況其實就係cache 不足。你show 嘅SSD speed test 正正就係test 你嘅SSD 內置cache有幾快，呢樣係測試軟件嘅特性。
你喺Windows 停左cache 只係停左唔用系統嘅ram 做cache, 唔代表停埋SSD內置嘅cache
NAS 都有呢個問題我懷疑係你隻NAS 實際read/write 都係去唔到你講嘅速度，只係Cache 出來嘅假象
你如果想check 到真實速度，你要做番正確嘅設定，完全停晒windows 用ram 來cache先會出到直實速度。
又或者好似樓上哴嘅CHING 咁講，開FTP 之類來test
作者: inori 時間: 2020-10-30 15:28
本帖最後由 inori 於 2020-10-30 15:34 編輯
係smb先會咁？
開個webdav,ftp server試下？
用第三方軟件copy又如何，fastcopy嗰d
adamchoy2005 發表於 2020-10-30 02:37 PM
可能係SMB
試咗FTP寫落B機SSD (P4510 & 970Pro) & Ramdisk, 雖然唔足速(6-8Gbps,應該係filezilla問題),但無咗過山車
但如果SMB問題可以點解決呢,邊度有SMB既setting
[attach]2227898[/attach]
作者: inori 時間: 2020-10-30 15:29
你講嘅情況其實就係cache 不足。你show 嘅SSD speed test 正正就係test 你嘅SSD 內置cache有幾快，呢樣係 ...
shukuist 發表於 2020-10-30 02:42 PM
不到黃河心不死
SAMSUNG 970Pro是MLC NAND沒有SLC CACHE
都係過山車
點?
[attach]2227905[/attach]
作者: shukuist 時間: 2020-10-30 15:38
不到黃河心不死
SAMSUNG 970Pro是MLC NAND沒有SLC CACHE
都係過山車
點?
...
inori 發表於 2020-10-30 15:29
即使冇冇SLC cache, 但windows都會用另一種形式嘅cache. 你都試左FTP server 冇問題，但會慢左，反而用SMB先有問題（不過初始速度快）
開頭爆速（未寫入SSD)嘅資料放左去邊？唔需要多講啦。
作者: meguro_ 時間: 2020-10-30 16:49
本帖最後由 meguro_ 於 2020-10-30 16:53 編輯
會唔會係lan card或都switch過熱throttle呢？
我張x540唔開風扇吹佢會先降速後消失
直頭係device manager唔見左張卡
要開風扇吹一輪再restart先用得返
btw用iperf試先最正式試到10gbe個表現
再唔係用iscsi都可以
smb寫出黎個速度就算把啦
作者: 觀星是答案 時間: 2020-10-30 16:53
可能係SMB
試咗FTP寫落B機SSD (P4510 & 970Pro) & Ramdisk, 雖然唔足速(6-8Gbps,應該係filezilla ...
inori 發表於 2020-10-30 15:28
Windows SMB "Settings" 一般都係直接搞 registry / group policy
作者: shukuist 時間: 2020-10-30 16:53
會唔會係lan card或都switch過熱throttle呢？
我張x540唔開風扇吹佢會先降速後消失
直頭係device manager ...
meguro_ 發表於 2020-10-30 16:49
佢用FTP 冇呢個問題，排除過熱
作者: ToNg. 時間: 2020-10-30 19:31
mtu set大d
作者: inori 時間: 2020-10-31 00:30
本帖最後由 inori 於 2020-10-31 00:32 編輯
即使冇冇SLC cache, 但windows都會用另一種形式嘅cache. 你都試左FTP server 冇問題，但會慢左，反而用SM ...
shukuist 發表於 2020-10-30 03:38 PM
我都話咗FTP唔足速係Filezilla ftp server既問題
3rd party既software ftp server performance係一定唔及windows自帶既native ftp server
我再用windows IIS既Native FTP Server功能,
係A機既Ramdisk抄一個64GB既Mkv落B機既無論係P4510,970PRO定RAMDISK全程都100%行足9.8-10Gbps,
完全無任何既停頓/idle/speed drop/過山車
證明並唔係因為我隻P4510入面SLC cache爆咗所以過山車
[attach]2227989[/attach]
同你講咗P4510係enterprise grade ssd唔會爆cache有失速既情況
#2#9你就死都話係我隻SSD內置嘅cache不足所以過山車
好吖我用一隻天下人都知無SLC cache唔會失速PCI-E 3.0地上最強既MLC SSD試比你睇都係過山車
#13你又話即使無SLC cache,windows都會用另一種形式嘅cache
喂你擺定個龍門未呀?篇文作好未?作好先回post啦唔該
如果你唔熟SSD可以去儲存燒錄區補一補課先, thx
吖你好似仲未答我點解Ramdisk無cache都會過山車? 算啦我諗你都係答唔到我,當我無問過啦
作者: inori 時間: 2020-10-31 00:52
本帖最後由 inori 於 2020-10-31 01:02 編輯
會唔會係lan card或都switch過熱throttle呢？
我張x540唔開風扇吹佢會先降速後消失
直頭係device manager ...
meguro_ 發表於 2020-10-30 04:49 PM
我AB機兩張X550-T2都綁咗隻鍋輪扇上去吹住~未試過唔見咗
個heatsink暖暖地熱熱地,但未至於辣手,
switch我就用隻12cm fan吹住佢,個殼微暖(唔用風扇吹住會辣手
)所以應該唔關過熱事~
iperf 同 ftp都試過, 全速10Gbps一直線無問題
所以相信同Hardware無關,應該就係windows setting/SMB既問題
作者: inori 時間: 2020-10-31 01:24
mtu set大d
ToNg. 發表於 2020-10-30 07:31 PM
mtu set大啲會唔會影響我出街條wan?