數位天堂

Nokia:科技始終來自於人性; 拜耳:如果文明不能使我們更相愛,那科技便失去意義!
歡迎您的加入,讓我們一起討論科技與環保的整合應用...

您尚未登入。

#1 2010-11-18 17:14:34

thx
精靈
註冊日期: 2008-01-29
文章數: 99
目前積分 :   
網站

X86 Storage OS 整理

本文修訂以這為主

http://www.osslab.org.tw/Storage/Enterp … AN/Storage

隨著現在儲存設備容量越來越大,價格越來約低廉,一般使用者或中小公司對於Network 儲存設備
已從單純NAS 到 混合NAS 與ISCSI Target Server 再加上高速,穩定,易擴充需求.
ISCSI Target Server 可提供緊急備用Lun.


品牌X86 硬體再加Software與專用SAN ,FC  ,NAS Storage 比較


目前市場上各種中高階SAN,FC Storage 硬體都是  x86  硬體+軟體搭配
自行搭配跟廠商配套好的比較.

   1. 前期測試

      硬體相容測試
      主機  ,Raid Card , SAS Expander , HDD 三者可能會有不相容性 或速度不佳.

      購買現成硬體 可以比較不用管上述二樣測試

      上線運作測試
      整體效能測試
      災難狀況測試

       
   2. 價格
       
   3. 原x86硬體故障時,更換不同x86 硬體是否能正常Working.
      自行架構時.




軟體選擇考量

    * 需求
       

   1. 高監控狀態:
      有主機運作狀態,硬碟監控管理 介面 .對Raid  熱抽換,熱擴充(Hot-Expansion) 換更高容量硬碟,熱增加硬碟數等功能
      硬體Raid Card要有其介面可以控制
      ZFS 則可以不用.
       
   2. 高備份機制:
      Snapshot (對Pool,Volume,分割Lun做備份,並且可以隨變更量更新,不需要每次從新寫入.)
       
   3. 高效能與穩定性.
       
   4. 高省用空間Thin provisioning
      動態分配 Samba 與ISCSI  ,FC Lun 的 Datastore .  Lun thin provisioning
       
   5. 高彈性 擴充性
      Client 端與Storage Server 端
       
   6. 災難恢復特性



Hardware Raid VS ZFS

   1. Raid 5 為標準數據與校驗塊串連起來
      Stripe Size:大小固定

      ZFS 本質為WAFL Write Anywhere File Layout
      Stripe Size:大小不固定
      http://blog.virtual-on.org/2010/04/zfs2-vm.html
       
   2. Rebuild time 花的時間 Raid 5 > Raid Z
       
   3. 失去一塊硬碟  Raid Z 讀寫高於Raid 5
       
   4. ZFS  最多Triple  校驗  最大丟失硬碟量為 3 顆.
      Raid 6 最大丟失硬碟量為 2顆
       
   5. 混用硬體Raid Card +ZFS 會造成 Striple Size 被切更多. 不要做此應用
      1.性能不會提高
      2.管理上不方便
      3.增加數據恢複難度.

       

NAS+SAN軟體比較

商用軟體 in windows



   1. SANmelody
      http://www.datacore.com/Software/Produc … tware.aspx
      ISCSI 4TB US 2000
       
   2. Starwind
      http://www.rocketdivision.com/wind.html
      4TB US 995
      OSSLab實驗室有購買,服務很不好,升級限制大.不建議
       
   3. http://www.kernsafe.com/
       
   4. http://www.iscsicake.com/

      以上Windows 派系 ,Hardware Raid support 需要自己再安裝該Raid Card 工具軟體.

       


Linux 類 Bare Metal Storage OS



   1. Open-e  DSS Software
      功能強大的商用軟體,可監控raid card.內建多產牌硬體Raid 卡(包含LSI) 工具,RAID,全圖形化管理計介面
      免費版 2TB
      10 TB DSS.價格約 US 1100  .
      FC target mode 硬體限定為Qlogic  (1Gbps,2Gbps,4Gbps ,8Gbps)
       
   2. Nexenta
      http://www.nexenta.com  4TB US 1100
      基於Opensolaris 改版的儲存專用OS

       
   3. Quantastor
      http://www.osnexus.com/

       

免費或開源軟體


   1. FreeNAS
      http://freenas.org/
      http://tw.network01.net/modules/newbb/v … 94&forum=8
      1.效能不佳
      2.無法在FREENAS OS底下做硬體RAID 擴充與設定修改

   2. opensolaris +comstar+webmin+品牌Server 專用管理程式
      Opensolaris
      一.ZFS 檔案系統
      二.Comestar 為SUN open sources iscsi target project

      http://opensolaris.org/os/project/comstar/
      http://developers.sun.com/openstorage/a … erver.html

      支持 Lan 1G 10G  ,FC ,SAS ,Infniband做Target server

      硬體:只支持Qlogic 4G,8G Emulex 2G,4G,8G  不支持Qlogic 2G.
      討論串
      http://bbs.vmsky.com/redirect.php?fid=8 … nextoldset
      http://phorum.study-area.org/index.php/ … 836.0.html

      中文Sun ZFS 管理指南網頁版
      中文Sun ZFS 指令管理指南PDF版

       
   3. Openindiana
      http://openindiana.org/
      由於Oracle 對於Opensolaris 置之不理,因此原有Opensosolaris開發者繼續此專案
       
   4. Nextena Core
      http://www.nexenta.org/
      Nextena 是基於 OpenSolaris kernel +GNU/Debian OS 儲存專用開源OS. 可用apt -get安裝套件.
      沒有GUI 不過

      加上 NAPP-IT 套件就有GUI
      為目前最強大跟方便open sources的Storage 軟體
      http://www.nexenta.org/projects/site/wi … _+_napp-it

      開發公司另有付費版

      ZFS 派系Storage OS 效能的比較可參考
      http://www.zfsbuild.com/category/benchmarks/

       
   5. openfiler (rpath linux+scst)
      Xinit Systems 於2001 開始的開源碼專案,強調效能跟穩定性.本身有SCST 可做為ISCSI or FC Target Sever.
      目前版本2.3 已二年沒有更新 最大缺點在於無法對 Raid Disk 做熱擴充性

      虛擬化環境搭配 可參考本頁附件
      http://bbs.vmware.cn/thread-16567-1-1.html 作者貓貓
      http://bbs.vmware.cn/thread-11787-1-1.html   作者
      NIC bonding http://forums.citrix.com/message.jspa?messageID=1339598 有待測試
      FC 硬體支援 QLogic 22xx/23xx/24xx 
      https://forums.openfiler.com/viewtopic.php?id=1968&p=2


   6. opensuse +webmin+scst

SCST 本身對於Qlogic 光纖網卡做為FC Target 支援不錯,但是有待大量測試與證明

http://scst.sourceforge.net/targets.html  QLogic 22xx/23xx/24xx
http://lifestory.moqin.com/?p=695





Opensources,虛擬化,Voip,FC ,Storage  ,Embedded system 無聊人士實驗室
http://www.osslab.com.tw

離線

 

#2 2011-07-31 00:07:33

thx
精靈
註冊日期: 2008-01-29
文章數: 99
目前積分 :   
網站

Re: X86 Storage OS 整理

http://www.osslab.com.tw/@api/deki/files/2378/=P1120421.JPG

http://www.osslab.com.tw/@api/deki/files/2364/=P1120350_NOTE.jpg

http://www.osslab.com.tw/@api/deki/files/2195/=P1120348.JPG

http://www.osslab.com.tw/@api/deki/files/2237/=10gcifs.png

http://211.72.203.62/@api/deki/files/2086/=newraid.png

前前後後處理這些硬體跟軟體耗近一年時間   ,因為有在上線 因此沒有時間公開詳細資料  簡單把一些重點經驗整理一下

1. 硬體上每個環節都不放過       CPU , DRAM ,匯流排 ,Disk i/o, 控制卡, hdd

2 .Raid Card +SAS Expander 相容性問題很大. 或是I/O 很糟 這部份把FAE call 死也沒用. 找原廠也不會有用 我們已非常規解決

3.電源穩定性很重要 ,建議用用光華訂線.中國轉線很不穩

4.Bay 燈號 相容性偶爾是問題

5.10G 網卡必備

以上如果要省事 建議跟原廠訂 12  Bay 以上機器 目前狀況會建議dell  或HP Server+新版HP 料號LSI raid  卡....

6.差不多測爛所有Storage Software ,最滿意 Starwind
   OSSLab 三大工作內容 都靠它完成 : Data recovery, digital forensic, Cluster Storage Lab
  這方面評估是 : 價格, 易用性 ,效能性,功能性.


7.安全起見 超大型 Storage Server 沒有backup server 請作二組Array .  做重要文件互相備份

市場未來的走向

1. 現行Storage 軟體價格與功能面必需有優勢.否則Starwind 免費版  性能跟功能已非常好用..
    差價又是5萬~1x 萬 又不是差幾千....


2. 現成硬體Storage Server 官方IBM 與Dell 準備提供官方 SAS Cluster Soultion 會對原有FC Cluster Storage 會有衝擊

3.10G 網卡必備 ,1G  Lan 真的不夠用,非Linux 系 Storage software  如何支持 特殊10G 網卡 並要說清楚HCL

4.由於10G 網卡關係 ,FC Target Server  這功能重要性降低.因為10G 網卡可同時做file level 跟raw level 共存取, FC Storage HBA 無法做file level存取
並且價格上 10G網卡有競爭力

5.公司中主力Storage 我想要這樣拼起來 恐怕有些人會怕怕   ,但是如果做為 虛擬化+Storage 實驗性Server .合一是非常方便.
Local DAS 轉化成  ISCIS target Lun, 還有NFS, CIFS 分享,其他 的CPU Resources 跑VM .
EMC VNX5300 也是同樣硬體設計架構但是價格大概是自己搞10倍....

這架構可參考這文章
http://www.napp-it.org/napp-it/all-in-one/index_en.html


最後修改: thx (2011-08-18 13:21:57)



Opensources,虛擬化,Voip,FC ,Storage  ,Embedded system 無聊人士實驗室
http://www.osslab.com.tw

離線

 

#3 2011-08-18 13:16:45

thx
精靈
註冊日期: 2008-01-29
文章數: 99
目前積分 :   
網站

Re: X86 Storage OS 整理

架構圖...不過 1000M 的802.3AD 其實還沒設好
http://www.osslab.com.tw/@api/deki/files/2400/=2011STATION.jpg

最後修改: thx (2011-08-18 13:17:06)



Opensources,虛擬化,Voip,FC ,Storage  ,Embedded system 無聊人士實驗室
http://www.osslab.com.tw

離線

 

相關討論主題

主題 回覆 點閱 最後發表
Maxtor Shared Storage 作者 Aven  [ 1 2 ]
15 57305 2010-09-28 22:55:16 作者 dearjohn
0 9952 2010-02-15 23:11:45 作者 dennys
Asus Eee Storage D200 作者 Aven
7 38097 2009-04-08 22:58:43 作者 hippo
4 23699 2009-03-24 00:00:00 作者 Aven

友情連結

論壇頁尾

Powered by PunBB
© Copyright 2018 Rickard Andersson
RSS Feed