LARRY终于发话了：）
刚发了一个帖子，贴过来继续
如何判断存储设备已经达到性能瓶颈？

主机为P690(14CPU 24GB)，外连FASTT700,10块15000转73.4GB硬盘，做成RAID0+1，分成4个LUN.存储关键数据库数据，数据均衡分布在4个LUN上。

假设数据库层面没有问题（其实TMD的都是些很恶劣的查询），单从存储设备来讲，如何判断存储设备已经达到性能瓶颈？

从操作系统的nmon监控可以达到以下性能指数：
CPU TOTAL
disk total kb/s
disk busy%
disk adapater (KB/s)
disk adapter(tps)
请参见附件。
是否可以从tps上可以判断目前的FASTT700已经无法满足现在的I/O性能？

纠正一下以前的错误，目前FT700的segment size设的是64K

从NMON里看到adapter的tps已经得到1600左右，但吞吐量也就20MB/S，是否意味着由于I/O请求已经达到FT700（现有配置和硬盘个数下）的顶峰？
如果是这样那只有通过扩充磁盘（增加EXP700柜）来提高tps了，不知这样理解是否正确。

[ 本帖最后由 balefired 于 2006-3-22 17:53 编辑 ]

你的吞吐量读写比率如何？

  如larry说的，跟应用对IO的使用有关。

学习到了。。。
应用对IO的使用的确很关键。

大量随机IO的情况下，肯定是尽量将IO尽可能分布到更多的physical drive上。
比如EMC的阵列建立了多个RG，每个RG又分出了多个LUN，不同RG的LUN就是应该作stripe的。

的确，应用层设计（包括数据库的规划）对IO产生的影响更大一些。但是实际中很多客户的DBA对底层的阵列，OS的设备层次没有一个好的认识，导致很多数据库的性能低下。

我好像也回过帖子，好像也没了。

给大家一个绝对真理，你不要不相信：
一个磁盘能承受的iops只有70-150，如果在没有cache缓存的情况下，10快磁盘在最好的数据分散情况下，最多支持1500 iops

如果有cache, 几个4k如果能恰好落在一个64k里，则可以提高一些iops，但需要看数据的随机性

磁盘的顺序写入，单盘通常可以达到至少30-80MB/s以上

如果iops达到极限，可以：
增加磁盘，合理分散io
提高每次写入的数据量（由于每次写入的数据一定是连续的,增大oracle io size)

强烈支持，见到很多客户都是这样。这种情况下，客户数据库的IO的分布更加重要，而不是阵列的性能真的不行。

突然想起一个问题：
在aix/hp下，建立lv时不选条带化，写入的数据顺序为：写满第一块后再写第二块，直到写满最后一块硬盘。建lv时选条带化，数据同时往n块硬盘上写。
假设在划分LUN时，把多个lun平均取自多个raid group以提高性能。
在数据量很小的情况下，条带化与否对写入性能影响不大。
数据量大到GB级或者数据容量占用多个磁盘后，条带化后的lv可以提高写入速度。

今日测试条件如下：
>hp 4440机器，单HBA卡通过H08连接AMS500，存储上划分10个33G大小的LUN（来自4个7D+1P的RAID5 Group）。
>测试时，从本地将一个8G文件写入建立在盘阵上的文件系统。

1.lv不做条带化，由于数据只往单个硬盘上写，写入速度只有8-12M之间；
2.lv条带化（跨8个lun），数据同时往8个硬盘写，写入速度为8x(8-12)M，大概在80M/s；

因此，我想lv条带化还是很有用的。

以上为顺序操作。随机操作没测试，但以前曾在590一分区（8c16g，双hba卡+hdlm，usp1100）上测过，不做条带化，db2数据库在高峰期做业务时写入速度在60-70M/s左右；条带化后，速度提高到180M/s（从usp1100上监控得出的值，存储层上无其他系统影响）；

这种配置，单个扩展柜时合理的吞吐量应该在80MB/S左右，试着调整一下队列深度!

假设在划分LUN时，把多个lun平均取自多个raid group以提高性能。

这个是最重要的前提。我前面的意见都是基于单个RAID10 group说的。

另外，测RAID5会人为拉大条带与否的差距，因为你跨不同的RAID5 GROUP做写操作，等于大大减轻了RAID5写惩罚。如果这些数量的硬盘组成一个RAID5 GROUP，条带与否的性能差距我想没那么大。

最好还是用单个RAID10测，用IOMETER做，用文件系统做结果容易受文件系统CACHE影响。多个LUN跨多个RAID GROUP，做条带化不用说性能都有提高的。

以上测试顺序写时用的是RAID5的盘，随机写用的是RAID10的盘。
下一步会测试IOMETER，有结果会及时放上来。哈。