磁盘性能瓶颈

刚才测试备份，发现速度不快，故追寻疑点。

磁带是lto4的，理论值有每秒120MB，我选了个文件系统做备份，直接通过光纤连磁带机。
我们看看iostat -d hdiskpower119 hdiskpower120 2的输出：

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn
hdiskpower119   94.0     29964.0     238.0      59928         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   96.5     27217.6     213.6      54408         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   94.5     30980.0     243.0      61960         0
hdiskpower120    0.0       0.0       0.0          0         0
hdiskpower119   72.5     28242.1     221.6      56456         0
hdiskpower120   22.5     5058.5      39.5      10112         0
hdiskpower119    1.0       4.0       1.0          8         0
hdiskpower120   92.5     28416.0     285.5      56832         0

hdiskpower119在10秒内全是读操作，这个文件系统大概20G，这10秒内大部分都集中在一块盘里，vg是有两块盘的。
每秒30MB左右的速度，比磁带还慢。

我们看看这块盘的信息：


#lsattr -El hdiskpower119
cgname                                         Consistency Group Name     True
clr_q         yes                              Clear Queue (RS/6000)      True
location                                       Location                   True
lun_id        0x116000000000000                LUN ID                     False
lun_reset_spt yes                              FC Forced Open LUN         True
max_coalesce  0x20000                          Maximum coalesce size      True
max_transfer  0x40000                          Maximum transfer size      True
pvid          00339dad4fd551280000000000000000 Physical volume identifier False
pvid_takeover yes                              Takeover PVIDs from hdisks True
q_err         no                               Use QERR bit               True
q_type        simple                           Queue TYPE                 False
queue_depth   16                               Queue DEPTH                True
reassign_to   120                              REASSIGN time out value    True

这是在EMC DMX3存储上的一个LUN，物理盘是1万转的，做raid5，3+1，每块9G，5个meta后成45G一个LUN。
光纤通道最窄是2G每秒。

还有哪里可调整呢？

max_transfer  0x40000。，这才256K哦。。。。这么低？
DS4000的都可以到1M。。。。
DMX不熟悉，不太明白

你是做维护的出身，为啥问这问题。

:L 我，那个，笨啊。。。。见笑了。


另外，最大的LTG是只能256，原来800只能到128，我以为现在已经算好了。

夜深了...

猜测大概跟磁带的写特性有关系。
你的磁盘是M5，相信做CP肯定不会慢。
往磁带写，由于都是顺序方式，单一session能力有限，可以尝试通过多session并行方式提高。
通常备份软件就是多个session写同一磁带来提高磁带写入速度。

如果两个磁盘做条带，能否提高读写速度？验证一下？

另外，驱动器的cache buffer多大？64 or 128M？

;P 换IBM的:lol

这是在EMC DMX3存储上的一个LUN，物理盘是1万转的，做raid5，3+1，每块9G，5个meta后成45G一个LUN。


如果这个似乎正常。一个物理盘是1万转的，做raid5，3+1得存储后端得速度就是30多M（记得这个数据是在存储在线看到过得是 raid5  7+1 得情况），如果存储得cache很小得话，基本上等同于直接访问硬盘。如果数据顺序放在LUN上，想当于同时只有4块盘在读写。

服务器使用的硬盘转速快，可以达到每分钟7200或10000转，甚至更高;它还配置了较大(一般为2MB或4MB)的回写式缓存;平均访问时间比较短;外部传输率和内部传输率更高，采用Ultra Wide SCSI、Ultra2 Wide SCSI、Ultra160 SCSI、Ultra320 SCSI等标准的SCSI硬盘，每秒的数据传输率分别可以达到40MB、80MB、160MB、320MB。


主轴转速

主轴转速是一个在硬盘的所有指标中除了容量之外，最应该引人注目的性能参数，也是决定硬盘内部传输速度和持续传输速度的第一决定因素。如今硬盘的转速多为5400rpm、7200rpm、10000rpm和15000rpm。从目前的情况来看，10000rpm的SCSI硬盘具有性价比高的优势，是目前硬盘的主流，而7200rpm及其以下级别的硬盘在逐步淡出硬盘市场。

内部传输率

内部传输率的高低才是评价一个硬盘整体性能的决定性因素。硬盘数据传输率分为内外部传输率;通常称外部传输率也为突发数据传输率(Burstdata Transfer Rate)或接口传输率，指从硬盘的缓存中向外输出数据的速度。

目前采用Ultra 160 SCSI技术的外部传输率已经达到了160MB/s;内部传输率也称最大或最小持续传输率(Sustained Transfer Rate)，是指硬盘在盘片上读写数据的速度，现在的主流硬盘大多在30MB/s到60MB/s之间。由于硬盘的内部传输率要小于外部传输率，所以只有内部传输率才可以作为衡量硬盘性能的真正标准。

在RAID 5中有“写损失”，即每一次写操作，将产生四个实际的读/写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。

[url]http://storage.it168.com/h/2007-06-26/200706261007953.shtml[/url]

鸡鸡参考一下这个EMC DMX3得人家比你还慢，每秒不到10M

[url]http://storage.it168.com/g/2007-06-01/200706011139562.shtml[/url]
这个是因为powerpath版本导致得速度慢，每s 60M

[[i] 本帖最后由 shala 于 2008-1-30 09:16 编辑 [/i]]

:o 如果如shala叙述的话，那30MB/s就是正常速度了？EMC那头也没法调？

我这边DMX3做cplv的时候也只有30MB/s，慢得让人揪心

学习。。。

[quote]原帖由 [i]lzolder[/i] 于 2008-1-30 09:27 发表 [url=http://bbs.loveunix.net/redirect.php?goto=findpost&pid=757407&ptid=81089][img]http://bbs.loveunix.net/images/common/back.gif[/img][/url]
:o 如果如shala叙述的话，那30MB/s就是正常速度了？EMC那头也没法调？

我这边DMX3做cplv的时候也只有30MB/s，慢得让人揪心 [/quote]

在长持续大IO顺序读写的情况，
jj 的是一个 LUN  4块盘上做RAID5 最多就是4块盘的IO，要是做 7＋1就是 8块盘的IO 性能稍微好点
要是多个LUN 在同一RAID组，则最高还是4块盘的IO
要是多个LUN在n个RAID组，则性能会好很多。

shala的理论不适于于EMC的DMX，DMX在阵列上会将多个物理硬盘打散成meta，再用meta来构成LUN。如上所述，它的META到底划在几块盘上呢？那要看它的BIN文件及内容做META时所用的参数。因此，还是要找powerpath及配置参数的问题

我的意思主要是设置不一样，效果会差的很远。嘿嘿，不针对emc的。

个人觉得jj应该同时监控一下dmx3 ，看看瓶颈到底在那。

[[i] 本帖最后由 shala 于 2008-1-30 11:28 编辑 [/i]]

要看DMX做meta时用了多少块盘，如果只用了4块，那速度也差不多如此了;P

磁盘的能力不应该仅仅是30M/s，就算拉一块146G/10K的单盘出来，速度也不快能这么慢。
EMC的DMX系列存储Cache配置，最小都是32G，可用的也不会小于16G，因此猜想Cache不是大问题，鸡哥有ECC，也应该能很快发现这个问题。

M5的3D+1P的R5，数据盘应该是15个吧。

主机上一个单盘7200转 连续写也就10M/s左右，15000转的强一些

至于cache就不好说，按照某枪手的说法

EMC的CACHE板同时只能由32个操作，则带宽变成了32G，而且此操作有分为两部分，或写或读，不能同时进行，则带宽有变成了16G，如果用户只配置了2个channel directors和2个disk directors （大部分用户）则带宽变成了1G了……


如果当时不仅仅只有jj在干活，那就更加不知道了。

我们只能在这猜测，还是要炸鸡同时监控主机和存储才能知道问题在那。

监控一下fcs0 fcs1的流量，监控一下cpu 内存 ps的使用情况。如果当时有大量page in page out的操作，慢也是有可能的。

[[i] 本帖最后由 shala 于 2008-1-30 13:31 编辑 [/i]]

io wait is not high, but disk utilization is about full.

horse said i can use ecc to monitor, i will try it tomorrow.

[quote]原帖由 [i]炸鸡[/i] 于 2008-1-30 15:50 发表 [url=http://bbs.loveunix.net/redirect.php?goto=findpost&pid=757518&ptid=81089][img]http://bbs.loveunix.net/images/common/back.gif[/img][/url]
io wait is not high, but disk utilization is about full.

horse said i can use ecc to monitor, i will try it tomorrow. [/quote]
以后鸡哥就用英文好了.我们学习学习.:lol

下午在图书馆，公用的机器不能输入简体中文，索性把肚子里仅有地几个单词写了出来。:loveliness:

那台ecc，好像是前两周刚装好，我还没空去看。emc那哥们，那台ecc已经重装3次了。;P

里面该怎么看我还不知道，明天摸索一下。。后天又要去深圳，靠，冰天雪地的，开个视频会议不行吗，硬是要见面，几个臭男人。

;P 晚了几天.我四号才能到广州.见不着鸡哥啦.:'(

按野马所言，则问题多在磁带上，多开几个session该可解决。
俺螃蟹所言，则问题多在磁盘上，或者是存储上。这个就比较难搞。除非重新把配置都弄过，可能要把raid也做过。

我想先从容易的入手，例如磁带方面，我的nbu昨天刚装好master，我再装个client来测试一下。然后我想在aix上面还有没有地方可调整呢，例如螃蟹提到的paging。其实我昨晚测试的时侯，是只有我在用那块盘的，系统当然有其他的进程在做事情，但都没碰这块盘的。

万不得已，我还可以把数据转到raid1的lun上做，看效果如何。