#1 2010-11-18 17:14:34
X86 Storage OS 整理
本文修訂以這為主
http://www.osslab.org.tw/Storage/Enterp … AN/Storage
隨著現在儲存設備容量越來越大,價格越來約低廉,一般使用者或中小公司對於Network 儲存設備
已從單純NAS 到 混合NAS 與ISCSI Target Server 再加上高速,穩定,易擴充需求.
ISCSI Target Server 可提供緊急備用Lun.
品牌X86 硬體再加Software與專用SAN ,FC ,NAS Storage 比較
目前市場上各種中高階SAN,FC Storage 硬體都是 x86 硬體+軟體搭配
自行搭配跟廠商配套好的比較.
1. 前期測試
硬體相容測試
主機 ,Raid Card , SAS Expander , HDD 三者可能會有不相容性 或速度不佳.
購買現成硬體 可以比較不用管上述二樣測試
上線運作測試
整體效能測試
災難狀況測試
2. 價格
3. 原x86硬體故障時,更換不同x86 硬體是否能正常Working.
自行架構時.
軟體選擇考量
* 需求
1. 高監控狀態:
有主機運作狀態,硬碟監控管理 介面 .對Raid 熱抽換,熱擴充(Hot-Expansion) 換更高容量硬碟,熱增加硬碟數等功能
硬體Raid Card要有其介面可以控制
ZFS 則可以不用.
2. 高備份機制:
Snapshot (對Pool,Volume,分割Lun做備份,並且可以隨變更量更新,不需要每次從新寫入.)
3. 高效能與穩定性.
4. 高省用空間Thin provisioning
動態分配 Samba 與ISCSI ,FC Lun 的 Datastore . Lun thin provisioning
5. 高彈性 擴充性
Client 端與Storage Server 端
6. 災難恢復特性
Hardware Raid VS ZFS
1. Raid 5 為標準數據與校驗塊串連起來
Stripe Size:大小固定
ZFS 本質為WAFL Write Anywhere File Layout
Stripe Size:大小不固定
http://blog.virtual-on.org/2010/04/zfs2-vm.html
2. Rebuild time 花的時間 Raid 5 > Raid Z
3. 失去一塊硬碟 Raid Z 讀寫高於Raid 5
4. ZFS 最多Triple 校驗 最大丟失硬碟量為 3 顆.
Raid 6 最大丟失硬碟量為 2顆
5. 混用硬體Raid Card +ZFS 會造成 Striple Size 被切更多. 不要做此應用
1.性能不會提高
2.管理上不方便
3.增加數據恢複難度.
NAS+SAN軟體比較
商用軟體 in windows
1. SANmelody
http://www.datacore.com/Software/Produc … tware.aspx
ISCSI 4TB US 2000
2. Starwind
http://www.rocketdivision.com/wind.html
4TB US 995
OSSLab實驗室有購買,服務很不好,升級限制大.不建議
3. http://www.kernsafe.com/
4. http://www.iscsicake.com/
以上Windows 派系 ,Hardware Raid support 需要自己再安裝該Raid Card 工具軟體.
Linux 類 Bare Metal Storage OS
1. Open-e DSS Software
功能強大的商用軟體,可監控raid card.內建多產牌硬體Raid 卡(包含LSI) 工具,RAID,全圖形化管理計介面
免費版 2TB
10 TB DSS.價格約 US 1100 .
FC target mode 硬體限定為Qlogic (1Gbps,2Gbps,4Gbps ,8Gbps)
2. Nexenta
http://www.nexenta.com 4TB US 1100
基於Opensolaris 改版的儲存專用OS
3. Quantastor
http://www.osnexus.com/
免費或開源軟體
1. FreeNAS
http://freenas.org/
http://tw.network01.net/modules/newbb/v … 94&forum=8
1.效能不佳
2.無法在FREENAS OS底下做硬體RAID 擴充與設定修改
2. opensolaris +comstar+webmin+品牌Server 專用管理程式
Opensolaris
一.ZFS 檔案系統
二.Comestar 為SUN open sources iscsi target project
http://opensolaris.org/os/project/comstar/
http://developers.sun.com/openstorage/a … erver.html
支持 Lan 1G 10G ,FC ,SAS ,Infniband做Target server
硬體:只支持Qlogic 4G,8G Emulex 2G,4G,8G 不支持Qlogic 2G.
討論串
http://bbs.vmsky.com/redirect.php?fid=8 … nextoldset
http://phorum.study-area.org/index.php/ … 836.0.html
中文Sun ZFS 管理指南網頁版
中文Sun ZFS 指令管理指南PDF版
3. Openindiana
http://openindiana.org/
由於Oracle 對於Opensolaris 置之不理,因此原有Opensosolaris開發者繼續此專案
4. Nextena Core
http://www.nexenta.org/
Nextena 是基於 OpenSolaris kernel +GNU/Debian OS 儲存專用開源OS. 可用apt -get安裝套件.
沒有GUI 不過
加上 NAPP-IT 套件就有GUI
為目前最強大跟方便open sources的Storage 軟體
http://www.nexenta.org/projects/site/wi … _+_napp-it
開發公司另有付費版
ZFS 派系Storage OS 效能的比較可參考
http://www.zfsbuild.com/category/benchmarks/
5. openfiler (rpath linux+scst)
Xinit Systems 於2001 開始的開源碼專案,強調效能跟穩定性.本身有SCST 可做為ISCSI or FC Target Sever.
目前版本2.3 已二年沒有更新 最大缺點在於無法對 Raid Disk 做熱擴充性
虛擬化環境搭配 可參考本頁附件
http://bbs.vmware.cn/thread-16567-1-1.html 作者貓貓
http://bbs.vmware.cn/thread-11787-1-1.html 作者
NIC bonding http://forums.citrix.com/message.jspa?messageID=1339598 有待測試
FC 硬體支援 QLogic 22xx/23xx/24xx
https://forums.openfiler.com/viewtopic.php?id=1968&p=2
6. opensuse +webmin+scst
SCST 本身對於Qlogic 光纖網卡做為FC Target 支援不錯,但是有待大量測試與證明
http://scst.sourceforge.net/targets.html QLogic 22xx/23xx/24xx
http://lifestory.moqin.com/?p=695
離線
#2 2011-07-31 00:07:33
Re: X86 Storage OS 整理
前前後後處理這些硬體跟軟體耗近一年時間 ,因為有在上線 因此沒有時間公開詳細資料 簡單把一些重點經驗整理一下
1. 硬體上每個環節都不放過 CPU , DRAM ,匯流排 ,Disk i/o, 控制卡, hdd
2 .Raid Card +SAS Expander 相容性問題很大. 或是I/O 很糟 這部份把FAE call 死也沒用. 找原廠也不會有用 我們已非常規解決
3.電源穩定性很重要 ,建議用用光華訂線.中國轉線很不穩
4.Bay 燈號 相容性偶爾是問題
5.10G 網卡必備
以上如果要省事 建議跟原廠訂 12 Bay 以上機器 目前狀況會建議dell 或HP Server+新版HP 料號LSI raid 卡....
6.差不多測爛所有Storage Software ,最滿意 Starwind
OSSLab 三大工作內容 都靠它完成 : Data recovery, digital forensic, Cluster Storage Lab
這方面評估是 : 價格, 易用性 ,效能性,功能性.
7.安全起見 超大型 Storage Server 沒有backup server 請作二組Array . 做重要文件互相備份
市場未來的走向
1. 現行Storage 軟體價格與功能面必需有優勢.否則Starwind 免費版 性能跟功能已非常好用..
差價又是5萬~1x 萬 又不是差幾千....
2. 現成硬體Storage Server 官方IBM 與Dell 準備提供官方 SAS Cluster Soultion 會對原有FC Cluster Storage 會有衝擊
3.10G 網卡必備 ,1G Lan 真的不夠用,非Linux 系 Storage software 如何支持 特殊10G 網卡 並要說清楚HCL
4.由於10G 網卡關係 ,FC Target Server 這功能重要性降低.因為10G 網卡可同時做file level 跟raw level 共存取, FC Storage HBA 無法做file level存取
並且價格上 10G網卡有競爭力
5.公司中主力Storage 我想要這樣拼起來 恐怕有些人會怕怕 ,但是如果做為 虛擬化+Storage 實驗性Server .合一是非常方便.
Local DAS 轉化成 ISCIS target Lun, 還有NFS, CIFS 分享,其他 的CPU Resources 跑VM .
EMC VNX5300 也是同樣硬體設計架構但是價格大概是自己搞10倍....
這架構可參考這文章
http://www.napp-it.org/napp-it/all-in-one/index_en.html
最後修改: thx (2011-08-18 13:21:57)
離線
#3 2011-08-18 13:16:45
Re: X86 Storage OS 整理
架構圖...不過 1000M 的802.3AD 其實還沒設好
最後修改: thx (2011-08-18 13:17:06)
離線
相關討論主題
主題 | 回覆 | 點閱 | 最後發表 |
---|---|---|---|
|
15 | 57305 | 2010-09-28 22:55:16 作者 dearjohn |
[DD-WRT] 3G 測試 (完全不動到 flash 和外接 storage) 作者 dennys
|
0 | 9952 | 2010-02-15 23:11:45 作者 dennys |
Asus Eee Storage D200 作者 Aven
|
7 | 38097 | 2009-04-08 22:58:43 作者 hippo |
Maxtor Shared Storage (MSS) 改機步驟 作者 qycity
|
4 | 23699 | 2009-03-24 00:00:00 作者 Aven |