【环境】<br />2台P570各做了2个DLAP分区，操作系统是AIX5.3+ML02，2个主分区互备，安装HACMPv5.2，oracle10g Release1(10.1.0.2)RAC。HACMP和ORACLE和都打了相应要求的补丁。<br />存储是CX600，主机上安装了ODM,agent,powerpath for aix 4.4。目前盘阵做了raid5，共划分了73G*6+2G*1的6个lun给oracle使用，对应在主机上识别出hdiskpower1-6共7个powerpath逻辑盘可供使用，其中hdiskpower1-6做成一个concurrent vg - oraclevg供oracle建库使用。<br />【故障】<br />通过hacmp挂concurrent vg-oraclevg时无法挂起，或者有时一台主机可以挂起另一台不行。<br /><br />hacmp.out中报错信息大致如下：<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X1000000000000: Invalid argument<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X2000000000000: Invalid argument<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X3000000000000: Invalid argument<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X4000000000000: Invalid argument<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X5000000000000: Invalid argument<br />cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X6000000000000: Invalid argument<br /><br />后来又分次进行了几次测试，发现，如果以单个hdiskpower做concurrent VG时hacmp挂concurrent vg都没有问题，但如果以多个hdiskpower做concurrent VG时就无法同时在2台主机上同时挂起。<br />试着将hdiskpower的reserve_lock的属性改为no (chdev -l hidskpower&lt;n&gt; -a reserve_lock=no)，现在2台主机上都能挂起concurent VG，但挂起时很慢，而且EMC工程师说一般是不允许修改这个参数属性的。<br /><br />【问题】<br />不知道CX600针对并行的concurrent VG是否需要在盘的属性上做修改？还有powerpath和环境中用的hacmp和oracle补丁是否有不兼容的地方？ 还有那位做过类似案例的麻烦帮忙分析一下问题所在，谢谢。

如果没有记错或判断的话，reserve_lock参数应该是跟SCSI reservation有关系；而在concurrent模式中，不应该使用SCSI reservation mechanism机制，那是non-concurrent模式使用的。因此把参数改为no应该是对的。 <br /><br />SCSI reservations. A SCSI reservation had to be placed on each disk in the volume group in order to ensure data integrity on a disk during the volume group varyon process. The SCSI reservation does not allow any node other than the one on which the volume group is active to access the disk, even thoughmultiple nodesmay be physically attached to the disk. <br />This prevents data loss and filesystem corruption.<br />

<!--QuoteBegin-wildhorse+2005-09-21 10:03:28--><div class='quotetop'>QUOTE(wildhorse @ 2005-09-21 10:03:28)</div><div class='quotemain'><!--QuoteEBegin-->如果没有记错或判断的话，reserve_lock参数应该是跟SCSI reservation有关系；而在concurrent模式中，不应该使用SCSI reservation mechanism机制，那是non-concurrent模式使用的。因此把参数改为no应该是对的。 <br /><br />SCSI reservations. A SCSI reservation had to be placed on each disk in the volume group in order to ensure data integrity on a disk during the volume group varyon process. The SCSI reservation does not allow any node other than the one on which the volume group is active to access the disk, even thoughmultiple nodesmay be physically attached to the disk. <br />This prevents data loss and filesystem corruption.<br />[right][snapback]491714[/snapback][/right]<br /><!--QuoteEnd--></div><!--QuoteEEnd--><br /><br />我大概明白了。<br />我记得以前做ha时两边把sharevg varyon了，两边都可以访问硬盘，做文件系统操作cp，但是另外一台主机就不能看到文件系统，再varyoff，on后就看不到文件系统了。我想就是这个参数的作用就是当一主机访问就会把其lock了，另外的主机就不能访问其lun，防止数据丢失。<br /><br />单并行系统却应该另当别论，so ＝no

<!--QuoteBegin-wildhorse+2005-09-21 10:03:28--><div class='quotetop'>QUOTE(wildhorse @ 2005-09-21 10:03:28)</div><div class='quotemain'><!--QuoteEBegin-->如果没有记错或判断的话，reserve_lock参数应该是跟SCSI reservation有关系；而在concurrent模式中，不应该使用SCSI reservation mechanism机制，那是non-concurrent模式使用的。因此把参数改为no应该是对的。 <br /><br />SCSI reservations. A SCSI reservation had to be placed on each disk in the volume group in order to ensure data integrity on a disk during the volume group varyon process. The SCSI reservation does not allow any node other than the one on which the volume group is active to access the disk, even thoughmultiple nodesmay be physically attached to the disk. <br />This prevents data loss and filesystem corruption.<br />[right][snapback]491714[/snapback][/right]<br /><!--QuoteEnd--></div><!--QuoteEEnd--><br /><br />马兄看书看得很多哦，厉害 <!--emo&^_^--><img src='style_emoticons/default/happy.gif' border='0' style='vertical-align:middle' alt='happy.gif' /><!--endemo-->  <!--emo&^_^--><img src='style_emoticons/default/happy.gif' border='0' style='vertical-align:middle' alt='happy.gif' /><!--endemo-->

但为什么将reserve_lock的属性改为no 了，VG挂起时会很慢，而且虽然2边都能挂起了，但还是会报cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X1000000000000: Invalid argument错误信息。<br /><br />EMC分析应该可能时powerpath4.4和hacmp v5.2存在兼容性问题，另外对是否需将reserve_lock的属性改为no 还是没给出肯定答复。<br /><br />不知有没有做过类似concurrent环境的同志，是否在做的过程中出现这种情况？

我明天要处理的问题和这个一模一样，希望楼上的能留下联系方法，一起研究一下，明天EMC的工程师到现场，我的QQ是30131696

两边同时varyon vg后，文件系统可同时写，但是只能看到一边的情况，估计是类似目前Enhanced Concurrent vg处理varyon的机制在起作用。看书就是瞎看，正好看到了这一段，哈哈。原本想找个时间写下来的，实在没时间，哈哈。
你比俺大哟，哈哈。。。

不会用新论坛的引用，faint。。。

Active Varyon
Active state varyon behaves as ordinary varyon, and makes the logical volumes available.
When an enhanced concurrent volume group is varied on in active state on a node, it allows the
following:
• Operations on filesystems, such as filesystem mounts
• Operations on applications
• Operations on logical volumes, such as creating logical volumes
• Synchronizing volume groups.
Passive Varyon
When an enhanced concurrent volume group is varied on in passive state, the LVM provides an
equivalent of fencing for the volume group at the LVM level.
Passive state varyon allows only a limited number of read-only operations on the volume group:
• LVM read-only access to the volume group’s special file
• LVM read-only access to the first 4k of all logical volumes that are owned by the volume
group.
The following operations are not allowed when a volume group is varied on in passive state:
• Operations on filesystems, such as filesystems mounting
• Any operations on logical volumes, such as having logical volumes open
• Synchronizing volume groups.

[quote]原帖由 [i]ipzhw[/i] 于 2005-9-21 23:21 发表
但为什么将reserve_lock的属性改为no 了，VG挂起时会很慢，而且虽然2边都能挂起了，但还是会报cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X1000000000000: Invalid argument错误信息。<br /> ... [/quote]
如果能用，只是慢点，可以先分析hacmp的日志，看在varyon的时候做了什么action再判断吧。

小马同志的确厉害，看问题一针见血，如果用 concurrent vg ，reservation 应该是no;

个人认为应该是Powerpath ODM 与 HACMP的兼容性问题，或者是某一方面出了问题

[quote]原帖由 [i]ipzhw[/i] 于 2005-9-21 23:21 发表
EMC分析应该可能时powerpath4.4和hacmp v5.2存在兼容性问题，另外对是否需将reserve_lock的属性改为no 还是没给出肯定答复。
<br /> ... [/quote]

论坛转换之前已经看到楼主贴的解决方法回贴了，现在转换过后丢了一些帖子

文档啊文档，原以为原厂商工程师应该也都是个个follow the maps：出了问题看文档，but...

可能认为EMC Support Matrix只是给售前工程师看的吧：

[u][url]http://www.emc.com/interoperability/matrices/EMCSupportMatrix.zip[/url][/u]

According to "EMC Support Matrix" April 2005 P/N 300−000−166:
CLARiiON-CX Series - Clustered Host - IBM AIX
page 1493, entry number 101: （见附图）

[color=red]因此，CX系列+HACMP 5.2+AIX 5.3的环境要求是：[/color]

[b]AIX 5.3: 20[/b]

20. AIX 5.3 when used with HACMP 5.2 requires APAR(s) IY60930, IY61034, and IY62191.

========================================================
[b]HACMP5.2: 3,11,12,13,14,15,21[/b]

3. When booting from the CLARiiON, HACMP support requires a separate storage group for each host. Sharing of the luns containing rootvg within each storage group is not supported. Only
data luns can be assigned to multiple storage groups as shared luns.

11. For all PCI−based hosts only: See [url]http://publib16.boulder.ibm.com/pseries/en_US/infocenter/base/hardware_docs/pdf/380538.pdf[/url] for appropriate HBA placement guidelines.

12. cllockd and cllockdES are no longer supported under HACMP 5.2.

13. HACMP 5.2 requires minimum APAR IY58496 − Base fixes for HACMP 5.2.0..

14. See [u]Primus ID EMC69100[/u] which contains additional requirements for support of HACMP 5.2 with Powerpath.

15. HACMP 5.2 is supported with a minimum of Powerpath version 4.2.0.

21. HACMP 5.2 when used with AIX 5.3 requires RSCT APAR IY61770.

========================================================
[b]CX600/400: 8,9[/b]

8. For AIX 5.2 Requires CLArrayS3.5.2.0.7 or later with Flare code 2.05 or earlier (CX−series) and 8.50 or earlier (FC4700). Requires EMC ODM 5.1.0.0 or later fileset support for Flare code 2.06 or later (CX−series) and 8.51 or later (FC4700).

9. For AIX 5.1 requires CLArrayS3.5.1.0.6 or later for Flare code 2.05 or earlier (CX−series) and 8.50 or earlier (FC4700). Requires EMC ODM 5.1.0.0 or later fileset support for Flare code 2.05
or later (CX−series) and 8.51 or later (FC4700).




我们遇到的问题：
HACMP 5.2的第14项要求：Primus ID EMC69100，详细内容见附件

[[i] 本帖最后由 larryh 于 2005-10-7 02:09 编辑 [/i]]

[quote]原帖由 [i]ipzhw[/i] 于 2005-9-20 20:42 发表
试着将hdiskpower的reserve_lock的属性改为no (chdev -l hidskpower<n> -a reserve_lock=no)，现在2台主机上都能挂起concurent VG，但挂起时很慢，而且EMC工程师说一般是不允许修改这个参数属性的。 [/quote]

reservation lock任何时候都不应修改，这个设置不是说锁不锁的问题，而是存储设备提不提供这个功能让你来加锁、解锁、测试锁状态的问题。这是由HACMP来控制，如果是并行卷组，HACMP不对打开的LUN加锁就行了，不用屏蔽这个功能。而且出错的地方是HACMP在解锁，这很正常，因为启动资源组的时候HACMP要是LUN被scsi reserved lock锁住了呢（不管有意还是无意还是BUGP）。

如果HACMP并行卷组都要把scsi reservation lock设置为no，HACMP Administrator's Guide会说的，但是没有一点迹象表明HACMP的有关GUIDE讲到这个事情。

所以这个事上来说EMC工程师说得对，虽然他可能只是凭经验

[[i] 本帖最后由 larryh 于 2005-9-25 11:16 编辑 [/i]]

感慨一句：
EMC的兼容性测试真是做得令人叹为观止，表达一下敬意

[[i] 本帖最后由 larryh 于 2005-9-25 11:35 编辑 [/i]]

larryh对问题的跟踪分析真是做得令人叹为观止，表达一下敬意，哈。。。
reserve_lock这个属性是在系统层，如果改了，那么在lvm这个层次上，锁机制不起作用，有可能数据会丢失，不改应该是对的。
hacmp在lvm层次之上进行控制，锁机制由hacmp来控制，如果启动时不能加载卷组，只是hacmp和存储设备配合问题，所以才有那么多的IY之类的跟上，哈。

hacmp.out中报错信息大致如下：
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X1000000000000: Invalid argument
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X2000000000000: Invalid argument
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X3000000000000: Invalid argument
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X4000000000000: Invalid argument
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X5000000000000: Invalid argument
cl_fscsilunreset[939]: ioctl SCIOLSTART id=0X10300 lun=0X6000000000000: Invalid argument



zhge 这个可以在hacmp里面有个custom PV 参数脚本设置修改，但是目前我有个比较古怪的问题。我的系统环境是HA51及AIX53-02，EMC是cx600,一共有hdiskpower0~13，其中 0~3是个raid5，4~7是个raid5，8~13是个raid1+0。
我8~13做成一个concurrent资源组在2边都可以起来是OK的，但是下面就出鬼了。其他8块hdiskpower可以单独做为concurrent资源组（就是每个hdiskpower作为1个资源组concurrent是成功的），但是当我想0~3，4~7分别为2个资源组时就出错，无法2变正常concurrent启动。经过一个个的尝试，我发现0和1，2和3可以作为2个资源组启动成功，5，6及7可以作为1个资源组成功启动。但是其他的组合就肯定是失败的，我就很郁闷。
假如4~7是做了1个concurrent资源组的话 ，那么是肯定2边启动不了的。我后来将资源组删除了，可以在HA启动后通过varyonvg -c -n vgname，2边是成功的，我就很莫名其妙。有高手能指点一二吗？
MSN：[email]haomao1879@hotmail.com[/email]

对于FAST,SSA，你必须：
chdev -l hdiskn  -a reserve_lock=no

对于ESS, EMC, HDS, CLARiiON和有MPIO功能的设备，你必须：
chdev -l hdiskn  -a reserve_policy=no_reserve

好文章

:lol 挖出来了啊