鞍山商行的考验:在业务系统上做灾备演练存储与灾备

2010-11-24    来源:存储在线    编辑:lxy
导读:灾备项目就和结婚一样,要先有互相的了解,这个过程被高旭形象地形容为和灾备谈恋爱。 2010年11月8日下午5点,鞍山商业银行的会议室内人潮涌动,一场在真实业务系统上进行

  导读:灾备项目就和结婚一样,要先有互相的了解,这个过程被高旭形象地形容为"和灾备谈恋爱"。

  2010年11月8日下午5点,鞍山商业银行的会议室内人潮涌动,一场在真实业务系统上进行的灾备演练即将展开。

  这种在业务系统上进行实战演练的做法,目前在国内并不多见。究其原因,主要在于一旦操作出现重大失误,很有可能造成真实数据的丢失。不过,在鞍山商业银行科技保障部总经理高旭的脸上,却没有任何不安的神情。

  在高旭看来,整个灾备项目的部署过程就像是去娓娓道来一个故事一样,有冲突也有融合,有情感纠结也有跌宕起伏。对于高旭来说,不需要谁去就这个故事提问,鞍山商业银行的灾备部署项目自然而然地就有着太多的内容可以讲。

  摸着石头过河--"我不是做科技出身"

  鞍山商业银行(下文简称"鞍山商行")数据中心位于鞍山市的铁东区,负责着鞍山市区及下属三个县市100多个网点系统的管理和维护。在外人看来,这样一个地区性商业银行的规模可能并不是很大。不过,对于鞍山商行来说,从2004年开始,其业务的增长速度已经达到了一个非常高的水平。如今,银行核心业务系统日均处理10万笔,日均处理业务已经达到了2000亿元。

  在如此沉重的业务负载下,鞍山商行原来所采用的双机热备显然无法再保证数据的安全。也就是在这个时候,高旭开始考虑部署远程灾备系统。然而,对于从未接触过相关内容的鞍山商行来说,如何起步是一个难题。

  "我是做会计、财务出身,对银行业务非常熟悉,不过对科技还是个门外汉。"高旭非常诚恳地说,"原来我曾经觉得科技是很好做的事情,于是就主动请缨来到这个部门。然而真正同科技接触起来,才发现,做好真的很难,有时候为了工作我都睡不着觉。"

 

谈到容灾建设,鞍山商业银行科技保障部总经理高旭一下子就打开了话匣子

  其实,不仅仅是高旭,鞍山商行的IT技术人员在当时也都没有接触过远程容灾。尽管所有人都了解容灾不是简单的事情,不过对于如何去备份、如何去恢复、如何去做远端的切换,却一点概念都没有。"为了了解这方面的内容,我们去买了10本灾备等级用书,人手一本,大家一起学习。这是真正的摸着石头过河。"高旭不无感慨地说。

  尽管当时对于远程容灾的概念还很模糊,不过鞍山商行科技部对于项目还是首先确立了一个最基本的原则:要自己亲身体验。按照高旭的话说:"别人用的好并不等于适合我们自己。"

  同城保发展,异地保生存--"不想清楚了我是不会出手的"

  通过长期的学习,包括同厂商的接触,高旭和他的同事深切地感受到了部署远程容灾系统的复杂度。2009年,鞍山商行灾备部署项目正式开始着手规划。

  在灾备技术的选择上,高旭一直都在强调的就是性能和成本的关系:"我们不是没有钱,不过我们不会盲目投资。在远程的容灾项目上,我确立了一个基本原则‘保证生存',也就是说能够最大限度地保证我的数据不丢失,业务能够迅速切到远端。"

 

鞍山商行的异地容灾规划

  为了能够选择到令自己满意、更能令业务系统无忧的灾备技术,高旭和同事们不仅重新对存储和容灾进行了系统学习,而且多方了解打探了不少消息和资料。"其它银行的容灾部署很多都是总行去考虑,可是我们自己就是总行,还要为下面的各个网点负责。"直到今天,昔日系统选型的细节高旭还都记得清清楚楚,"我们当时把性价比暂时先放在了一边,先考虑性能,再去和成本做平衡。总之,不想清楚了我是不会出手的。"

  就是在这样的基础上,鞍山商行考察了多家厂商的容灾解决方案,尽管这个过程漫长且繁琐,不过高旭和他的同事们却在其中学习到了不少内容。比如说,有的方案投入太大,运维成本也高,并不适合鞍山商行的需求;有的方案尽管开销不大,但是性能却比较低,也被鞍山商行弃用。尽管这些方案都没有被鞍山商行选用,不过,技术人员却从中了解到了未来项目部署中需要防范的问题。

  就是在这样不断考察学习的过程中,鞍山商行最终选择了飞康CDP灾备系统。高旭对这套系统的评价很简单:"飞康CDP的产品价格比较合理,集成度也好,实施起来非常快。最为重要的是,飞康的技术实力很强,他们有一套预案,出现问题能够很快解决。在我看来,一伸手就知道厂 商的实力咋样。"

  用真实业务系统进行容灾演练--"细节决定成败"

  鞍山商行的这次灾备实战演练,吸引到了众多兄弟单位的关注。在鞍山商行的会议厅内,坐满了来自各个地方商业银行的同仁。.大家都希望能够从鞍山商行的灾备项目中学习一下经验,取取经。

鞍山商行演练现场。本次演练全部由鞍山商行及异地托管中心的工作人员完成,CDP厂商的技术人员并没有参与其中。

  本次实战演练包括四个环节:

  1、日常灾备数据验证

  2、模拟生产数据库瘫痪,进行现场恢复

  3、模拟生产中心火灾-异地切换接管过程

  4、系统从灾备中心回切到生产系统

  为了能够圆满、安全地完成这次演练,鞍山商行不仅设计了多套演练场景,而且还对风险和应对措施进行了预估。高旭对此显得胸有成竹:"所谓细节决定成败。我们在演练前已经做好了充足的准备。目前技术人员已经对CDP有了完全的掌握。"正如他所说,在鞍山商行灾备演练现场所充斥的,只有严谨的态度、专业的规划,而没有任何紧张的气氛。

  不仅如此,高旭甚至已经开始在筹划下一步的动作。目前,鞍山商行正在筹划"两地三中心"的整体容灾方案,异地托管到中国金融电子化公司的灾备机房,同城则和地方运营商进行合作。一方面,这样的规划完美保证了数据的安全,充分发挥CDP技术的功用;同时,这种合作模式又降低了构建和维护的成本,再次印证了"同城保发展,异地保生存"的说法。

  下午5点,演练正式开始。数据录入、灾害发生、切换系统、数据核对,四个演练场景有条不紊地持续着。无论是鞍山商行的领导、还是兄弟单位的同仁,大家都在密切关注着演练的进行。

  下午6:30,鞍山商行灾备实战演练成功。

  最大感受:先了解再实施--"和灾备谈恋爱"

  高旭说他在买车时选择了很久,最终敲定了一辆法国牌子的家用车。按照他的话说:"我是学财务的,总要考虑个投入产出比的问题。比如说,我买车就看几个方面,性能、用途,还有维护成本。"

  将买车的思维同灾备系统联系起来,这对于高旭来说可能是一项"创举",同时,这也是他通过不断学习所总结出来的经验之一。因此,在存储系统选择上,高旭并没有在异地中心采用高端的存储系统:"容灾系统一定要在最关键的时候发挥作用。如果说十年都没有用到的话,再好的系统都没有用。"

鞍山商行的两地三中心规划

  不赶时髦, 不盲目求新,而是从实际业务量和需求出发,这就是鞍山商行在IT系统建设上的最基本出发点之一。近年来,随着银行业务的不断增长,IT系统也曾经面临过不堪重负的情况。对此,鞍山商行的做法并不是去采购新设备,建设新机房,而是去从自身挖潜:业务表单庞大,处理速度缓慢的话,就拆分成几个小表单;独立表单检索缓慢,就去优化索引文件,减小尺寸。

"不让系统满负荷运转,也不让系统低负荷运转。"高旭将财务手段完整地套用在了IT系统运维和建设之上。

如今,高旭俨然已经成为了容灾系统建设的专家。对于他来说,在这次项目中最大的体会就是:要高瞻远瞩地看问题,详细了解市场情况,做好信息储备。这就和结婚一样,要先有互相的了解,这个过程被他形象地形容为"和灾备谈恋爱"。

1
3