老菜鸟学EMC笔记

向Alligator学习，写写笔记，跟大家分享，请大家都提意见。由于是第一次接触EMC的存储产品，所以有很多不明白的地方，还请高手们指点一二。

我们新装了一台dmx-1000，其硬件配置：
146GB的硬盘，放了144个。划分成540个3390-3的盘，1530个9GB的一般硬盘，做raid5(3+1)。最多有675个9GB硬盘被定义作为SRDF之用。每5个9GB硬盘做META，组合成45GB的硬盘供AIX使用。即306个45GB硬盘里有135个是做SRDF的。而540个3390盘全部做SRDF。
4张FC的director卡，每张卡4个处理器（ABCD），每个处理器2个FC端口（01），分别插在14、13、4、3四条槽，14和3是冗余，13和4是冗余。4条光纤的编号分别是95、97、98、99，95和98插在同一个交换机上，97和99插在另一个交换机上。32个端口里面有24个定义为连接6000的机器，分别在每张卡的A、B和C处理器；有4个定义为连接MP2640做SRDF之用，位于每张卡的D处理器。
还有两张4口FICON director卡，共8个FICON MM端口连接大机。
缓存总共24GB。没有后备盘。


实施阶段：
1．        把ESS800上的数据转移到DMX-1000上
2．        把DMX-1000的数据转移到zj的DMX-3上
3．        更改SRDF的配置
4．        把zj的DMX-3的数据转移到ljz的DMX-3上
5．        把lzj的DMX-3的数据转移到ljz的HDS上
6．        更改SRDF的配置
7．        把DMX-1000的数据转移到zj的DMX-3上
8．        更改SRDF的配置
9．        在zj和ljz之间做SRDF


DMX-1000把bin文件导入后，在交换机上修改3个zone：
1．        名字是emc_ess，包含1个ESS端口和2个DMX端口，作为open replicator用；
2．        名字是p690_sas，包含1个连接sas主机的端口、1个ESS端口和1个DMX端口,此机器安装solutions enabler；
3．        名字是p690_dms_dev，包含1个连接dms_dev主机的端口、1个ESS端口和1个DMX端口。

安装文件：
AIX_rt_V621.tar 是solutions enabler的包，包含emc_install.csh和osl_cd目录
EMC.AIX.5.2.0.4.tar.Z是emc的驱动程序，包括CLARiiON 和symmetrix的驱动
map_20060829_13a0.txt是光纤端口13A0上的磁盘配置（举例）
meta_20060829.txt是磁盘做meta的配置（举例）
inq目录里面有3个文件，inq.aix_32st、inq.aix_64st、inq.tar，但不知何用。

我们首先用smitty把symmetrix的驱动装上，
EMC.Symmetrix.aix.rte       5.2.0.4
EMC.Symmetrix.fcp.MPIO.rte  5.2.0.4
我们发现EMC.Symmetrix.fcp.rte与MPIO不能同时装上去，可能是EMC本身的限制。

Solutions enabler安装过程：
先运行emc_install.csh，在/opt下面会多了一个emc目录。
EMC application root      ---- /opt/emc
EMC application to install---- SYMCLI
EMC version to install    ---- V6.2.1
EMC application path      ---- /opt/emc/SYMCLI/V6.2.1
OS Name                   ---- AIX
OS Release                ---- 5.3.0.0
OS Version                ---- 5
OS Hardware               ---- 00339DAD4C00

所有的应用程序放在/opt/emc/SYMCLI/V6.2.1/bin。

命令symlmf是输入所有应用程序的license code的，执行后，在/usr/emc/API/symapi/config/ symapi_licenses.dat里面就可以看到各个应用的license的信息：

License Key: 16F3-F1B5-6667  SYMAPI Feature: RcopyOnlinePull / Symmetrix
License Key: 9225-B6C4-1449  SYMAPI Feature: Remote-Copy / Symmetrix
License Key: 39CD-A0FF-CDC5  SYMAPI Feature: ConfigChange / Symmetrix
License Key: 2A12-2696-2A06  SYMAPI Feature: OPTMZR / Symmetrix
License Key: 6602-DABA-9E2A  SYMAPI Feature: DevMasking / Symmetrix
License Key: 9150-E0BC-9CCD  SYMAPI Feature: BASE / Symmetrix
License Key: 6044-C190-0196  SYMAPI Feature: SERVER / Symmetrix
License Key: B992-1954-4D99  SYMAPI Feature: DeltaMark / Symmetrix

命令symcfg discover是寻找一下EMC的设备。然后我们执行一次cfgmgr，然后再用lspv来看增加了什么盘。
结果增加了一个hdisk30，但这个盘只是个鬼盘，每台机器都会出现的，它的编号是000。
hdisk30          U1.13-P1-I8/Q1-W500604844894CC0D-L0  EMC Symmetrix FCP MPIO Raid1
        Manufacturer................EMC
        Machine Type and Model......SYMMETRIX
        ROS Level and ID............5671
        Serial Number...............92000140
其中W500604844894CC0D是DMX上端口地址。
命令symcfg list可以看看现在有什么可用的设备。
./symcfg list

                                S Y M M E T R I X

                                       Mcode    Cache      Num Phys  Num Symm
    SymmID       Attachment  Model     Version  Size (MB)  Devices   Devices

    000287462192 Local       1000S-M2  5671       24576         1      2203
命令symmask discover hba是寻找一下hba卡。
命令synmask list hba是看看找到什么卡了。

root@sas:/opt/emc/SYMCLI/V6.2.1/bin>./symmask list hba

Identifier        Type   Adapter           Physical Device Path      Dir:P
----------------  -----  ----------------  ------------------------  -----
10000000c940ee3b  Fibre  7V-08             /dev/rhdisk30             14A:0
这里的Identifier是hba的wwpn，7V-08是hba的位置，最后的14A:0就是DMX-1000上director的端口位置。

现在已经基本上可以看到DMX-1000了，整条光纤通道上的卡、地址都吻合了。我们可以开始做meta的动作了，meta，据EMC的同事解释，就是把几个盘组合成一个大盘。根据我们的要求，就是把5个9GB的盘组合成一个45GB的盘供AIX使用。
我们首先看看meta_20060829.txt的内容：
form meta from dev 29F config=Striped;
add dev 2A0 to meta 29F;
add dev 2A1 to meta 29F;
add dev 2A2 to meta 29F;
add dev 2A3 to meta 29F;

form meta from dev 2A4 config=Striped;
add dev 2A5 to meta 2A4;
add dev 2A6 to meta 2A4;
add dev 2A7 to meta 2A4;
add dev 2A8 to meta 2A4;
。
。
。
。
我们可以猜到它的意思就是把29F到2A3这5块盘用striped的方式组合成一块大盘，编号是29F；把2A4到2A8这5块盘用striped的方式组合成一块大盘，编号是2A4。如此类推。
因为发现bin文件里面的盘的编排有点错，所以我们先只做两个盘。生成一个新文件，内容只有上面那两块meta盘。文件名是meta_first_2_meta.txt。

命令
./symconfigure -sid 192 -f /mldata/emc/meta_first_2_meta.txt -noprompt -v preview
是测试一下这样做有没有问题。
  ./symconfigure -sid 192 -f /mldata/emc/meta_first_2_meta.txt -noprompt -v prepare
是相当于apply上去，应该有办法做reject，但还未掌握。
最后一个命令是：
  ./symconfigure -sid 192 -f /mldata/emc/meta_first_2_meta.txt -noprompt -v commit
这次是commit了。

命令symdev list可以列出DMX上所有的设备：

Symmetrix ID: 000287462192

        Device Name          Directors                   Device
--------------------------- ------------- -------------------------------------
                                                                           Cap
Sym  Physical               SA :P DA :IT  Config        Attribute    Sts   (MB)
--------------------------- ------------- -------------------------------------

0000 /dev/rhdisk30          14A:0 16A:DC  2-Way Mir     N/Grp'd  VCM WD      45
0003 Not Visible            03A:0 16A:DE  2-Way Mir     N/Grp'd      RW       3
0004 Not Visible            03A:0 01D:DC  2-Way Mir     N/Grp'd      RW       3
。
。
。
我们可以看到全部的盘，包括划给大机用的盘，而000那个鬼盘也可以见到。我们看看刚才做的meta动作是否成功，留意029F和02A4盘：
029F Not Visible            14A:0 16A:D0  RAID-5        N/Grp'd  (M) RW   43613
02A0 Not Visible            14A:0 01A:C0  RAID-5        N/Grp'd  (m) RW       -
02A1 Not Visible            14A:0 16A:C1  RAID-5        N/Grp'd  (m) RW       -
02A2 Not Visible            14A:0 01A:D1  RAID-5        N/Grp'd  (m) RW       -
02A3 Not Visible            14A:0 16A:D2  RAID-5        N/Grp'd  (m) RW       -
02A4 Not Visible            14A:0 01A:C2  RAID-5        N/Grp'd  (M) RW   43613
02A5 Not Visible            14A:0 16A:C3  RAID-5        N/Grp'd  (m) RW       -
02A6 Not Visible            14A:0 01A:D3  RAID-5        N/Grp'd  (m) RW       -
02A7 Not Visible            14A:0 16A:D4  RAID-5        N/Grp'd  (m) RW       -
02A8 Not Visible            14A:0 01A:C4  RAID-5        N/Grp'd  (m) RW       -
结果应该就达到我们的要求，5块盘组合到一块盘上。其实我们可以用另外一个命令去查看meta盘。
命令./symdev list –meta
Symmetrix ID: 000287462192

        Device Name                  Device              Meta Information
---------------------------- ---------------------- ---------------------------
Sym  Physical                Config        Attr     Config  Stripe  # of   Cap
                                                            Size    Devs   (MB)
---------------------------- ---------------------- ---------------------------

029F Not Visible             RAID-5        N/Grp'd  Striped    960k   5   43613
02A4 Not Visible             RAID-5        N/Grp'd  Striped    960k   5   43613
这样更加清晰地看到我们所做的结果。

做完meta后，我们还需要把做好的盘分配到某个光纤端口。
我们有个mapping的文件，叫做map_14a0_2.txt，内容是：
map dev 29F to dir 14a:0 lun=5;
map dev 2A4 to dir 14a:0 lun=6;
意思是把29F和2A4这两块盘分配到端口14A0上面，这个端口在前面已经介绍过定位的方法，它连接的是编号95的光纤。至于lun号码，0-4是已经被占用（这是从bin文件中查出），到底具体是谁占用，有待EMC的同事解释。

我们可以执行命令去分配这两块盘，方法与做meta差不多。
./symconfigure -sid 192 -f /mldata/emc/map_14a0_2.txt -noprompt -v preview
./symconfigure -sid 192 -f /mldata/emc/map_14a0_2.txt -noprompt -v prepare
./symconfigure -sid 192 -f /mldata/emc/map_14a0_2.txt -noprompt -v commit
这三个命令之后，我们可以查看结果。
命令./symcfg list -SA all -address –available可以看到每个端口连接的设备
Symmetrix ID: 000287462192 (Local)

           Director                 Device Name          Attr     Address
    ---------------------- ----------------------------- ---- --------------
    Ident   Symbolic  Port Sym   Physical                     VBUS  TID  LUN
    ------  --------  ---- ----  -----------------------      ----  ---  ---

    FA-3A   03A       0    0000  Not Visible             VCM     0   00  000
                           0003  Not Visible                     0   00  001
                           0004  Not Visible                     0   00  002
                           0005  Not Visible                     0   00  003
                           0006  Not Visible                     0   00  004
                           -     AVAILABLE                       0   00  005 *

我们可以发现lun号码由0到4是被占用了，3A0端口上可用的lun号码是5，那我们刚才做的14A0呢：

    FA-14A  14A       0    0000  /dev/rhdisk30           VCM     0   00  000
                           004B  Not Visible                     0   00  001
                           004C  Not Visible                     0   00  002
                           004D  Not Visible                     0   00  003
                           004E  Not Visible                     0   00  004
                           029F  Not Visible             (M)     0   00  005
                           02A4  Not Visible             (M)     0   00  006
                           -     AVAILABLE                       0   00  007 *
非常清晰地可以看到我们新加的两个lun，然后这个端口上可用的lun号码是由7开始。
*号的解释：(*): The VBUS, TID, LUN address values represent a gap in the address assignments or are the next available address in the run.

我们可以看另外一个命令./symcfg list -FA 14a，可以列出14A这个director的状态：
Symmetrix ID: 000287462192 (Local)

           S Y M M E T R I X    F I B R E   D I R E C T O R S

    Dir    Port  WWN               VCM      Volume Set   Pnt to Pnt
                                   Enabled  Addressing

    FA-14A  0    500604844894cc0d  Yes      No           Yes
    FA-14A  1    500604844894cc2d  No       No           Yes
不过，VCM的enabled不知是什么意思。


命令./symmaskdb list database

Symmetrix ID            : 000287462192

Database Type           : Type5
Last updated at         : 07:18:31 PM on Tue Aug 29,2006

Director Identification : FA-14A
Director Port           : 0

                               User-generated
Identifier        Type   Node Name        Port Name         Devices
----------------  -----  ---------------------------------  ---------
10000000c93ee6f6  Fibre  10000000c93ee6f6 10000000c93ee6f6  029F
02A4
这应该是列出每个端口所有我们做了meta的设备，待日后做多些盘就知道了。

接下来我们就要把盘分给某台主机的hba卡了。
我们先检查一下每个光纤端口上可以看到的主机hba卡，命令./symmask list logins
Symmetrix ID            : 000287462192

Director Identification : FA-3A
Director Port           : 0

                            User-generated                      Logged On
Identifier       Type  Node Name        Port Name        FCID   In     Fabric
---------------- ----- --------------------------------- ------ ------ ------
10000000c93ee6f6 Fibre 10000000c93ee6f6 10000000c93ee6f6 611913 No     Yes
5005076300cea06e Fibre NULL             NULL             620713 No     Yes
5005076300cfa06e Fibre NULL             NULL             610713 No     Yes
500604844894cc0d Fibre NULL             NULL             611213 No     Yes
………
我们可以看到3A0上面见到的设备，第一个hba卡就是现在这台6000机的，下面2个是ESS800那边的地址，最后一个是DMX在14A0上的地址。我们只留意14A0的状态：

Director Identification : FA-14A
Director Port           : 0

                            User-generated                      Logged On
Identifier       Type  Node Name        Port Name        FCID   In     Fabric
---------------- ----- --------------------------------- ------ ------ ------
10000000c93ee6f6 Fibre 10000000c93ee6f6 10000000c93ee6f6 611913 Yes    Yes
10000000c940ee3b Fibre rs20             10000000c940ee3b 611513 Yes    Yes
5005076300c3a06e Fibre NULL             NULL             610413 No     Yes
5005076300c8a06e Fibre NULL             NULL             610613 No     Yes
5005076300cfa06e Fibre NULL             NULL             610713 No     Yes
500604844894cc02 Fibre NULL             NULL             611413 No     Yes
但既然14与3是冗余的卡，那理论上应该见到相同的东西。现在14这边见到的东西比3多，是因为我们在做zone的时候，那台dms_dev机器只与14这个端口放在一起，并没有包含3。另外更加多了一个ESS800的地址，一个DMX的地址应该是3A0的，那个应该是我以前有个zone是这样连的，与这里无关，这个有待研究。

命令./symmaskdb -sid 192 init -file BackupDevMask应该是初始化整个db，文件名是做备份用的。
分配磁盘去某台主机：
命令  ./symmask -sid 192 -wwn 10000000c93ee6f6 add devs 29f:2a4 -dir 14a -p 0
192是symmetrix的编号
wwn是主机hba卡的wwn
14a是director的编号
0是director上端口号

命令./symmask refresh刷新一下应可见到磁盘分配的结果了。

[[i] 本帖最后由 炸鸡 于 2006-8-30 17:26 编辑 [/i]]

没做过dmx的，但有以下疑问：
1、怎么划9G这么小的盘，然后再拼起来？
2、24G cache小了点吧？DMX-3以后，读/写镜像，更少了。
3、前端4块DA，后端多少块DKA？（可能不是这个术语）
4、端口不能share吗？只能定义为某个类型？
5、EMC推荐用3+1的Raid5吧？个人觉得7+1更好。
6、数据迁移在主机端完成？实施，我觉得没什么好讨论的，太细节了。建议讨论方式及规划。

这个帖子，要多回，哈。

感觉DMX和USP有些相似。

板凳端来坐起先:lol

回野马：
1。我都觉得有点多余，可能是symmetrix的特点
2。机器是我们借用的，呵呵。
3。DA是什么东西
4。端口做share?反正端口有多余的，现在24个我们才用4个
5。3+1是他们推荐的，反正盘也够多的
6。本地的话，我会用lvm和open replicator转移，远程的话，用srdf。

实施的东西没啥好讨论，我只是把自己学习和应用的过程写出来，其中会有我不明白的地方，大家可以教一下我啊。:lol

1、Meta，上面多了一层干预，有一点点性能影响。毕竟这个组合动作是由Enginuity来完成的，占用Cache；以前我们这的9980V也是n多10G以内的小盘，那叫一个乱呀。。。
2、借用？power很强哟。不过我宁愿只折腾一次，也不愿借机器来用。
3、DA，我理解为Director Adapter，就是那些前端卡/后端卡之类的东西。
4、4张8口Director，总共32口，每个cluster16口，砍掉4个口做SRDF，剩下的也不多。
5、7+1的R5比3+1的R5节省资源，但DMX-2不支持在系统内混合使用两种类型的R5，估计将来会支持，哈哈。反正横竖都是对，是emc的风格。另：DMX-2还支持parity RAID，使用特定的hypervolume来存放parity信息，rebuild的时候占用3/7个hotspare。R5在rebuid的时候cost-effective，那还推parity RAID干啥，实在晕了点。。。

小盘应该是增加性能的！相当于IBM
的extent吧？

不应该是性能问题，我k点书再来回答。

DMX的东西经我手是卖不出去的,尽管我们美国的母公司是emc最大的合作伙伴.
我不能容忍有什么实施细节不掌握在我的手中,于是ds8000和usp乘机把dmx赶跑了,上个月我们公司刚唆使客户让emc出局.

占坑学习

有些问题问emc的同事，他们知道的也不太多，呵呵。

我们这里有ess800，但上海是dmx-3，所以要借个dmx的机器来做srdf，把数据转过去。

我也再K一下书吧，solutions enabler也要看看。这几天好累，倒下就睡了，看书永远是第一页。

问emc的同事？问部门内support storage的同事吧，哈。

A metavolume is a logical volume set created from individual physical disks to define volumes larger than the current Symmetrix maximum hypervolume size of approximately 32 GB. Metavolumes are functionally the same as logical volume sets implemented with host volume manager software.

Physically, a metavolume is two or more Symmetrix hypervolumes presented to a host as a single addressable device. The metavolume consists of a head device, some number of member devices (optional),and a tail device.

You can access data contained in a metavolume in two different ways:
◆ Concatenated volumes
◆ Striped data

说到底，metavolumes还是解决symm的某些问题而做的。由于整个存储对多个系统提供服务，跨多个RG做metavolumes不见得性能好，毕竟会在某些RG里面同时出现seq和random类型的I/O，降低RG性能。

[quote]原帖由 [i]wildhorse[/i] 于 2006-8-31 12:43 发表
问emc的同事？问部门内support storage的同事吧，哈。 [/quote]

马大哥，马大爷，从左到右从上到下从前到后，做6000存储。。。。。。。。都是3个人，其中一个是老板，我去问谁？

我接触了一天，算我最熟悉EMC了。

kaka
你们那人太少了。。。
不如我们一个team人多。

我派qian1100支援你去，哈哈。

好啊，让我痛打那猪头。

羡慕ing

学习中！

好详细啊，学习中。

收藏好贴~~~~

怎么到后来成了几个超牛人聊天了呢？？非常感谢炸鸡！！！

你们都不顶帖子，不参与讨论，所以就只好跑题了啊;P

学习！

:lol :lol :lol

学习了