带权限后台拷贝Windows Profile文件的速度

背景

前几个月在客户处测试异构存储之间进行带权限的后台CIFS文件迁移。本文记录对于小文件场景下文件拷贝速度的认知。

迁移软件介绍

1、Hitachi Compliant Migration Tool (CMT):

HDS自研的工具,在网上能找到的信息很少,流传于原厂内部。本次由原厂工程师部署调试。

2、Netapp Xcp

Netapp自研的工具,在网上能看到被作为产品由专题网页介绍推出。本次由原厂工程师部署调试。

双方经过多轮调试,确保取得最优结果。

测试要素

源文件系统:

  • Windows Profile

存放大量Windows 7桌面用户Profile文件(Appdata等)的文件系统,约200万个文件,平均大小仅为0.1KB。测试时,大量桌面云用户仍在使用该文件系统,有大量的文件即时更新。

  • Share1

存放普通小文件数据,平均大小为1KB。这是一份副本文件,测试时是静态的,无用户使用。

  • Share2

存放普通小文件数据,测试时,有用户使用。

迁移主机及拷贝方式

主机采用Windows server 2012虚拟机,在其上安装 CMT/XCP软件,进CMD运行命令,进行从源文件系统到目的文件系统的复制作业,需要实现拷贝完整,权限正确

因条件限制,不同软件使用的迁移主机配置略有不同,但整体差异不大,详细情况见附件。

源、目的物理设备及瓶颈排除

本次测试,源、目的地址均为NAS存储,磁盘配置方面均由上百块SAS磁盘组成,且其它业务负载不大,测试过程中确认存储CPU、IOPS等各项性能均不成为瓶颈、

网络瓶颈分析:

确保本测试的拷贝动作不经防火墙,而迁移主机采用的是千兆网卡,这一条为瓶颈。

结论

工具

迁移主机配置

测试拷贝源文件系统(存储侧查看)

Windows Profile

大小:203.95GB

文件数:1.95m

拷贝时状态:活动

Windows Profile

大小:260GB

文件数:

1.91m

拷贝时状态:不活动

Share1

大小:1.96TB

文件数:2.04m

拷贝时状态:不活动

Share2

大小:1.24TB

文件数:–

拷贝时状态:活动

Hitachi CMT

HDSTEST

Server 2012

E5-2680V2 2.8GHz

4插槽,每个2内核

32G内存

网卡1000Mbps

结果1(DNF)

结果2

扫描耗时:2.5h

拷贝耗时:4h

整体耗时:6.5h

平均速度:11.4M/s

结果3

扫描:5h

拷贝:3.7h拷贝速度125M/s

网络带宽为瓶颈

/

Netapp Xcp

NETAPPTEST

Server 2012

E5-2690V3 2.6GHz 4插槽,每个2内核

32G内存

网卡1000Mbps

结果4

整体耗时:5h57min

平均速度:9.75M/s

 

/

结果5

拷贝了其中的一部分450G

整体耗时:1h28min

平均速度:87M/s

注:文件数单位m代表million,百万

总结结论如下:

  1. 对类似Windows Profile的海量小文件场景,使用配置相近的迁移主机,对第三方软件带权限拷贝的耗时期望可参考结果4、结果2。
  • 在本次测试中,没有将之与微软的Robocopy进行对比。
  • 迁移主机性能提升的情况下,结果可能有优化空间。
  1. 对于存在实时频繁发生变化的Windows Profile文件系统,CMT没有拷贝成功,XCP则拷贝成功。
    • 两者对于读写中的文件都会跳过,但CMT是先扫描再拷贝,扫描过程中跳过情形发生太多则会报错退出。

过程现象

  1. 结果2中,Profile 数据copy时间约4小时,当部署CMT软件的迁移主机内存占用没有达到100%时候,速度为100MB/s。随着内存逐渐占满,速度不断下降。部署XCP的迁移主机性能开销无变化。
  2. 对结果1,CMT的拷贝过程分为明显的两个环节。先扫再拷,如果扫不成功则无法拷.
  3. 迁移虚拟机上的杀毒软件实时扫描功能会影响拷贝,在开启卡巴斯基的情况下,CMT的扫描过程会报错。原因是扫描时病毒文件被隔离,从而CMT认为和待拷贝文件列表存在差异,差异较大的情况下,就会报错导致无法继续,如下图所示:解决方法就是把杀毒软件关闭。
  4. Xcp在拷贝之前会扫描对比已经数据,在命令行中设置不同的并发线程数,对扫描时间的相关影响见下表。 (share2)

测试文件系统大小(测试方式:启动,观察扫描已拷贝内容的耗时)

线程数

扫描耗时

A:90G

默认8线程

2 min

A:90G

20线程

50+ sec

B:450G

16线程

2min53sec

B:450G

32线程

2min43sec

此条目发表在IT技术分类目录,贴了标签。将固定链接加入收藏夹。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注