证券公司基于行业云的信息系统备份能力建设实践案例

    【编者按】为进一步提升证券公司信息系统备份能力水平，加强行业业务连续性保障，在中国证监会的指导下，中国证券业协会发布《示范实践第2号——证券公司基于行业云的信息系统备份能力建设》。《示范实践》是在总结东吴、南京、山西三家证券公司试点经验的基础上形成的，为证券公司基于行业云的信息系统备份能力建设提供参考。

    实践案例之一：

    灾备护航丨深证通助力东吴证券异地灾备建设实践

    信息系统是证券市场基础设施的重要组成部分，防范信息技术引发的安全风险是保持经营机构信息系统稳定性与先进性的重要内容。近年来证券行业信息安全事件呈高发态势，暴露出行业整体备份能力建设覆盖面不全、备份能力等级不达标等诸多问题。为更好地贯彻落实国家关于网络空间安全的战略方针，推动《证券基金经营机构信息技术管理办法》（以下简称《管理办法》）在证券行业的有效落地，探索行业灾难备份建设解决方案及最佳实践具有重要意义。在中国证监会和证券业协会的支持下，深证通联合东吴证券着手开展行业灾备试点，完善异地灾备建设，提升应急管理水平，探索证券行业灾备上云解决方案。

    一、东吴证券IT系统现状及灾备建设面临的挑战

    东吴证券股份有限公司成立于1993年，2011年12月12日在上交所挂牌上市，是一家拥有全部证券类业务牌照的综合券商。一直以来，东吴证券坚持严格管理、审慎经营、规范运作，形成了证券经纪业务、投资银行业务、资产管理业务、证券金融业务和证券投资业务为基本架构的业务体系，以及研究咨询、信息技术和风险管理等强有力的业务支持体系，为境内外客户打造协同发展、合作共赢的财富家园。

    近年来，随着公司各类业务规模的不断扩展，对背后支撑的IT系统提出了更高的要求，任何自然或人为原因导致的关键信息系统的中断运行不仅会导致公司业务的瘫痪，也会对广大投资者和社会造成不可估量的影响，灾备的重要性日益凸显。东吴证券内部高度重视，谨遵监管政策的有关要求，结合自身的IT系统情况，着手规划异地灾备建设，为公司的经营发展上“IT保险”。

    东吴证券现有业务系统共计100多套，主机规模超过2000台，各系统之间数据流交叉纵横。对于异地灾备建设而言，如果按照生产与灾备1：1的比例建设，设备成本、空间成本以及运维成本，较之现有模式将有着几何级的提升。同时，在传统IT模式下，IT投入大，建设周期长，运维成本高，对于频繁的系统变更无法做到实时响应。种种问题，成为公司灾备建设路上的“拦路虎”。

    二、深证通助力东吴证券异地灾备建设实践

    2013年，深证通把握金融科技发展大势，关注行业共性需求，深入思考，积极行动，率先在行业布局金融云服务，建设了“深证云”服务平台，历经自研与合作共建两个阶段，以安全合规、技术领先、生态开放的行业专属基础设施，为证券金融类机构提供全栈云服务，全面赋能证券金融行业数字化转型升级，服务行业客户近400家。

    灾备服务是深证云服务产品体系的重要组成部分之一，依托高等级IT基础资源平台，深证云面向行业提供灾备建设所需的IT基础资源和演练支持等相关服务，高可用基础资源、便捷的通信接入、可靠的安全保障，协助经营机构快速、低成本建立同城或异地灾备中心，提升其灾备能力与应急管理水平，有效应对安全事故与重大灾难。

    目前，深证云在东莞南方中心和北京中经云数据中心部署灾备基础资源平台，同时，在北京、上海和东莞南方中心建立了灾备应急中心，设有坐席、办公配套和接入环境等设备。经营机构可前往就近的应急中心进行灾备演练，验证灾备系统和应急预案，经营机构也可派运维人员长期驻场应急中心运维灾备系统。

    针对东吴证券在灾备建设过程中遇到的难点痛点，深证通与东吴证券迅速成立灾备建设专项小组。根据项目规划，此次异地灾备建设分为两期，第一期以经纪交易及相关系统为主，涉及集中交易系统、融资融券系统、账户管理系统、三方存管系统及网上交易系统5套重要信息系统，后续逐步落实灾备建设二期项目，全面提升公司备份能力的覆盖面与能力等级。

    在选址方面，鉴于东吴证券生产中心位于江苏省苏州市工业园区，为更好地实现“两地三中心”架构，有效提升灾备中心接管生产的能力，选择在东莞南方中心的深证云上建设异地灾备云数据中心。基础资源层面，根据一期项目规划，共部署4台物理数据库服务器、199台云主机，使用普通云存储空间32TB、高性能云存储空间3.8TB、SSD高速云存储空间1.7TB、专业存储空间4.5TB。

    三、方案成效

    整个系统的发布仅用时七天，业务建设周期一个月。经业务联调测试，整体性能表现，与公司的历史交易峰值相当，有效满足公司正常的业务需求。同时，主备数据中心之间的数据同步控制在10秒以内，5套业务系统的主备切换时间从最短的113秒到最长的225秒，满足监管部门对于RPO<30秒、RTO<5分钟的业务连续性要求。

    同时，在深证云灾备服务模式下，灵活便捷的云基础资源，取代了原有的物理设备等固定资产投入，后续东吴证券也可根据自身业务发展需要进行弹性伸缩，综合年化成本下降30%-50%。此外，深证云灾备项目交付周期短，简化运维，有效助力东吴证券实现其轻型化、专业化的发展目标。

    深证云灾备服务自2016年推出以来，以其丰富的灾备建设和运维经验，服务行业客户62家，持续助力行业完善灾备建设，提升应急管理水平。此次深证云与东吴证券异地灾备建设试点项目，充分发挥了深证云灾备服务的优势，成功验证了异地灾备上云的可行性，为行业落地《管理办法》规定的灾备建设提供有效借鉴与参考。

    实践案例之二：

    南京证券基于行业云平台的异地备份系统持续稳定运行实现预期目标

    2021年2月27日，在中国证监会组织的行业应急演练中，南京证券在规定的时间内顺利完成了业务处理能力向异地备份系统的切换，其依托上交所技术公司行业云平台构建的异地备份系统得到了全面验证，也实现了自上线以来持续一年的稳定运行，达到了系统建设“合规、有效、科学、经济”的预期目标。该系统建设具有较高的创新性，技术较为复杂，南京证券工作团队在中国证监会和中国证券业协会的指导帮助下，在上交所技术公司、行业课题组、相关软件开发商的大力支持下，组织核心团队逐步攻坚，解决了困扰系统建设的技术课题，最终推动系统成功上线并实现持续稳定运行，为行业异地备份系统建设积累了可供参考的实践经验。

    一、认真规划，合理制定总体方案

    证券行业是高度依赖于信息技术系统的行业，系统运行的连续性对证券公司业务的正常开展和证券行业的健康稳定发展都有着极为重要的意义。为此，监管部门先后颁布了《证券基金经营机构信息技术管理办法》、《证券期货经营机构信息系统备份能力标准》等文件，要求各证券公司必须为自身的信息技术系统建立具备符合规范要求的备份能力，以有效应对各类可能发生的故障、灾难事件。2019年初，中国证券业协会信息技术委员会成立了“行业连续性管理及容灾能力课题组”。南京证券作为课题组成员单位，全程积极参与，并以高度的工作主动性，积极推进自身的备份系统建设。

    根据监管要求，在已有同城灾备的基础上，南京证券从2019年开始规划建设异地备份系统项目。公司认真学习相关文件，开展深入的行业调研，并结合自身实际，制定了“依托行业云平台、建设两地两中心”的方案，确保所有技术指标严格符合监管要求。该方案的优势主要体现为以下几点：一是系统架构简单，尤其是在数据同步方式、内部网络互连等方面可以减少故障点，提高系统整体可靠性；二是建设成本较低，系统通信线路少、使用成本低，相比“两地三中心”方案可以节省一套备份系统的建设成本；三是管理效率较高，系统应急处理的决策流程简单清晰，可以有效发挥异地备份系统应有的作用。

    在基础平台的选择方面，南京证券选择了行业核心机构上交所技术公司的行业云平台。一是相较于自建机房和租用托管机房，依托该平台的综合成本最低；二是该平台具有较多成熟案例，技术成熟度较高；三是上交所技术公司具备较高的云平台管理能力，保障能力较强，运维管理可靠；四是可以有效避免使用传统物理设备模式下系统处理能力难以匹配的问题，容量管理较为便捷；五是该方案由于基础环境依托核心机构行业云平台，证券公司只需进行应用系统安装调试，建设周期较短。

    二、统一领导，迅速推进项目建设

    由于本项工作涉及众多关键信息系统，事关多个业务条线，工作内容不仅包括系统的规划与新建，还包括现有系统的改造与完善，内容复杂，风险度高。为确保各项工作协调推进，有效控制技术风险，最终实现平稳落地，南京证券成立了以总裁为组长，公司相关高管共同参与的项目领导小组，统一组织领导项目建设工作。领导小组根据监管的统一要求，审定备份系统建设工作计划，有效组织相关资源，及时解决工作实施过程中遇到的问题，为项目的平稳推进建立了可靠的组织保障。领导小组下设工作小组，由公司总工程师任组长，负责拟定备份系统建设工作计划，及时解决工作实施过程中遇到的各项问题，推进备份系统建设日常工作。

    在项目具体推进过程中，为了实现在2019年底前实现项目上线的目标，南京证券按照“工作项目化、项目目标化、目标节点化、节点责任化”的原则，制定了翔实的项目推进时间表，开展挂图作战，在确保系统运行安全的前提下，限期完成项目建设，并由工作小组负责核查进度与质量，有力推进系统建设各项工作。

    三、科学施策，成功解决技术难题

    在云平台上实施系统备份能力建设，在行业内是一项创新，具有一定的探索性质，不可避免地会遇到各种难题。南京证券的技术人员开动脑筋，在上交所技术公司和软件开发商的支持下，科学施策，解决难题，顺利完成了应用系统组播优化、SD-WAN线路应用及私有云与行业云对接等关键工作。

    云平台的网络架构采用了SDN技术，因此无法像传统网络一样完成组播、广播的复制和转发，而应用系统的很多环节需要使用组播和广播方式传输信息。为此，南京证券与上交所技术公司及开发商共同深入研究，通过在云平台中设立组播区部署行情源，并对应用系统进行适配优化，将组播改造为单播、将广播改为TCP直连等方法，实现了信息的高效传输，确保了系统的可靠运行。

    异地备份能力的建设，通信费用是绕不开的话题。为满足数据同步的需要，主备中心间的通信线路必需有较大的带宽，如采用专线成本较高，而采用互联网线路则可靠性不够。为解决这一矛盾，南京证券采用了SD-WAN这一尚未在行业内得到广泛使用的技术，在保证通信链路可靠性的同时，以较低的成本，获得了实现数据同步所需的较大带宽。该项技术不仅在项目中得到了成功应用，相关文章也已发表在《交易技术前沿》期刊上，供行业参考。

    南京证券早在2012年就建设了私有云平台，由于该平台建设较早，在与上交所技术公司行业云平台进行对接时遇到了困难，私有云VDI（虚拟桌面）的电源管理和计算资源的分配控制环节难以直接实现，私有云桌面发布时所需的一些虚拟化优化组件也无法直接使用。针对这些问题，南京证券认真制定对策，反复进行测试，不断优化方案，最终采用开启多个桌面虚拟机，并且在行业云平台所在地部署硬件应用交付设备的方法，成功解决了这一课题。

    最终，在相关各方的协力支持下，在公司团队的奋勇拼搏下，南京证券历经半年多时间，顺利完成了异地灾备系统项目的需求分析、方案设计、系统建设、软件改造、功能与性能测试、系统试运行等一系列工作，如期实现了系统的上线运行。

    四、稳定运行，顺利实现预定目标

    在规划建设异地备份系统的过程中，南京证券依据《证券基金经营机构信息技术管理办法》、《证券期货经营机构信息系统备份能力标准》等文件的要求，制定了详细的测试方案，以确保备份系统的建设符合监管要求，满足业务需要。在异地备份系统建设工作完成后，南京证券依据测试方案，对系统的RPO、RTO、处理峰值能力等关键指标进行了反复测试，并出具了完整的测试报告。测试结果表明，备份系统的各项指标完全达到了预期标准。系统上线一年来，运行平稳，南京证券还多次利用周末测试、长假后的全市场连通性测试以及行业应急演练的机会，对信息技术系统反复进行带压力的灾备切换演练，所有切换演练均顺利完成。2月27日，南京证券利用行业应急演练的契机，对备份能力再次进行了全面验证，并在规定时间内完成了系统的整体切换。

    一年多的运行实践证明，上交所技术公司的行业云平台完全可以作为证券公司建立备份系统的基础承载平台。同时，南京证券基于行业云的灾备信息系统，在切换时间指标、承载能力等方面完全符合行业标准，可以为应对信息系统故障、灾难以及重大灾难提供有效支撑。南京证券依托行业云平台的异地备份系统的建设上线与稳定运行，在充分提高自身应对重大灾难能力的同时，也在行业应用级灾备系统的建设工作中发挥了一定示范作用。我们将在证券监管部门的领导下，与兄弟券商和相关软件厂商加强合作，积极加强技术探索，不断完善系统功能，打造更为可靠的信息技术系统，努力为行业技术发展贡献更大力量。

    实践案例之三：

    山西证券异地云灾备

    为贯彻落实《证券经营机构信息技术管理办法》对灾难应对能力提出的要求，积极探索行业灾难备份建设解决方案。山西证券、上交所及恒生电子作为异地灾备项目的试点单位，顺利完成异地灾备全云方案的可行性论证、系统测试及上线。

    一、异地云灾备建设方案

    按照《证券期货经营机构信息系统备份能力标准》的监管要求，异地灾备必须具备生产中心的同等处理能力。在主中心发生重大灾难时，在规定的时间内（RTO＜5分钟、RPO＜30秒）将系统切换至异地灾备中心，从而保障业务的连续性，实现“同城保生产、异地保生存”的总体目标。目前券商在“两地三中心”的建设中，异地灾备中心一般都使用自建机房或托管机房。由于传统数据中心需要投入大量的基础设施，包括人力、设备、机房及网络资源，不但建设周期长，资源利用率低，而且扩容比较困难。经过多次论证比较，山西证券选择在证通云上部署异地灾备系统，利用云平台的弹性伸缩特点，异地云灾备既可以满足监管层要求，又可达到弹性扩容，是一种全新建设模式的探索。

    异地云灾备租用证通云平台，技术方案采用全云模式，公司不需要购置任何物理服务器、存储、网络设备等传统硬件，只是按需申请云平台资源。项目一期建设系统主要包括集中交易系统、网上手机交易及行情接入服务、外部接入服务、法人清算等系统，目前均已完成部署上线。

    二、技术挑战及解决办法

    网络安全是异地云灾备建设最大的技术挑战，如何保证数据安全以及满足证券行业网络安全各项要求，有效应对云上特有的安全责任风险、数据安全风险、资源共享风险、平台故障风险和API接口等风险，是面临的突出问题。山西证券联合上交所及安全服务商的安全专家共同设计云安全框架，从安全责任、安全技术、安全管理、安全产品、安全测试等多个维度满足行业标准；通过进行风险评估和等级保护测评，确保云灾备系统满足安全检测要求。

    交易系统核心数据库服务器，由高性能的物理服务器改变为云服务器，服务器的性能指标能否达到要求。山西证券针对服务器的配置，一方面联合上交所技术增配高性能的SSD盘，扩展内存。一方面联合恒生公司对中间件和数据库进行优化。优化后服务器各项关键指标满足要求，压力测试TPS达到了生产中心历史峰值的3倍。

    全云模式异地灾备系统，网络架构使用SDN技术，无法像传统硬件网络设备一样完成组播、广播的复制和转发。山西证券会同证通云建设组播区，行情源部署在组播区，使用云平台提供的组代理插件将组播、广播转换成单播在网络中转发。

    异地云灾备系统TPS性能、稳定性测试是否能否达到设计标准，RTO小于五分钟，切换完成后灾备中心是否能达到生产中心的同等处理能力（生产中心历史峰值的3倍TPS）。山西证券会同证通云对云平台进行优化；自主开发切换软件，实现接入AR一键切换；利用自动化运维系统缩短报盘系统启动时间；完成以上的优化后，经过多次稳定性测试，TPS性能及RTO性能指标均达到监管要求。

    三、方案成效

    山西证券异地云灾备首次采用“全云”模式，为行业异地灾备系统建设探索了一条新的路径，也为核心交易系统由传统架构向分布式转化，进而实现多中心多活创造了基本条件。在上交所领导专家指导下，探索异地灾备“小火种”模式的可行性，日常采用较少服务器运行，需要切换时快速扩展，为异地灾备系统的“备而不用，投入性价比高”找到了一个解决办法。山西证券异地云灾备建设方案是基于山西证券业务特点和规模进行测试，主交易系统为恒生UF2.0系统，希望对中小券商异地灾备建设提供参考。