智能化管理10亿文件,G证券是如何做到的? 科汇科技-四川 杉岩 standstone 虚拟化 分布式存储 官方授权分销代理商

证券公司每天产生的数据中80%以上是非结构化数据,持续的数据增长,证券服务向智能化、敏捷化、价值化方向发展,对后端存储提出了挑战。

1
变革的动力:证券信息化升级

以影像、图片、扫描件为主的非结构化数据激增,数据量从TB级向PB级跃进。每年新增大量应用,复杂性增加,海量文件的访问性能面临新挑战。

机构内部业务繁杂,存在数据壁垒,需搭建统一数据平台,提高跨业务共享效率。技术演进推动应用的容器化部署,这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值,借力AI实现业务创新,比如智能运维(AIOps),进一步降本提效也是大势所趋。如果存储自身能够提供AI能力,支撑智能运维,自然是锦上添花。

G证券公司(后文简称“G证券”)选择分布式存储,开启了集约式数字化档案管理的全新探索。

2
变革迫在眉睫:长期痛点驱使新方案落地

从外部环境来看,2014年以前,证券业客户档案都采用营业部分散管理的方式,风险多,一线员工压力大,掣肘业务开展。从内部需求看,业务数据以小文件为主,且增速很快;加之“双录”规范要求文件保存20年且随时调阅,存储性能严重不足。

G证券面临痛点如下:NAS存储7000万文件,秒级延时性能差;NAS瓶颈凸显,扩容困难;多站点管理不便,主备中心难以高效协同;业务高峰期带宽不足,资源无法合理分配;大文件读取慢,视频播放卡顿,用户体验差;人工运维效率低,构建智能运维平台是刚需。这*促使G证券面向市场寻求新的存储解决方案。

3
众多方案角逐:G证券为何选择杉岩?

备选方案中,一类是传统存储方案,即用高端NAS满足需求,但未来频繁扩容以及性能瓶颈依旧令人头疼;另一类是分布式存储方案,其在容量、性能、扩展性等方面具备天然优势。

针对前述痛点,方案选型需关注:PB级容量,灵活扩容;性能无瓶颈,访问性能高;运维简单,效益显著;测试对接顺利,业务上线快;售后及时,提供原厂支持。

竞争者中不乏传统存储领域的知名大厂,以及新兴存储领域的创业厂商,杉岩*终凭何赢得G证券认可?

产品及方案完善

杉岩MOS海量对象存储支撑5亿文件毫秒级访问。独有的AI处理引擎,帮助优化质检算法。已接入MOS的业务,无需开发元数据的迁移功能,元数据检索和主数据读取均在MOS内部完成,效率显著提升。

杉岩的三层数据保护方案也让客户感到放心:通过副本和纠删机制,提高数据可靠性;通过内置备份功能,取代外置的备份软硬件;通过跨数据中心容灾,保障业务连续性。

测试结果优异

客户主要关注MOS能否与现有业务顺利对接,以及产品可靠性和稳定性。MOS的S3接口顺利通过接口测试,客户仅用一个小时就完成了单系统对接。近一个月的异常测试,杉岩都顺利通过。

实施服务周到

客户只对原业务进行微小改造,就将原数据无缝迁到MOS。为不影响证券交易,项目实施都在18:00到第二天06:00进行,服务周到。

4
海量智能存储,提供档案管理新选择

先从档案中心宏观架构入手,如图1所示,MOS将源数据区的数据存下来,并与计算层交互。通过部署同城双活,实现RPO分钟级灾备。

图1.G证券档案中心整体架构

具体到解决方案的实现,如图2所示。
MOS替代NAS,保障毫秒级访问;利用小文件合并提升空间利用率;基于分布式架构,扩展灵活,容量和性能线性增长;跨数据中心双活模式,多数据中心可同时读写,保障高连续和高可用;通过智能QoS合理分配带宽和优先级,避免资源抢占;营业网点通过HTTPS访问存储,提升文件读取效率;MOS告警信息通过SNMP对接G证券告警管理平台,实现精细化监管。

图2. 杉岩解决方案架构

2017年6月,MOS正式上线,部署12台服务器、4台交换机及百余块硬盘,构建1PB存储集群。

业务数据逐步迁移,MOS支撑5亿文件毫秒级访问

经过半年多稳定运行,G证券逐步将一柜通柜台、投研平台等接入MOS。由于数据增长,原有空间不足,客户在2019年进行首次扩容。通过新建EC故障域将空间利用率从50%提升到67%,成本效益显著。

截至2020年3月,存储集群裸容量超过800TB,对象总数超过5.6亿,每天写入文件7万多个,时延低于百毫秒,性能表现让NAS难以企及。

MOS对接日志易系统,以智能存储支撑智能运维

为构建智能运维(AIOps)平台,将日志易系统迁至MOS。基于分布式架构保障高可用,降低硬件变更的影响;利用MOS特性赋能AIOps,如通过智能QoS实现资源优化;借力AI优化运维策略。

MOS集成智能数据处理引擎,充分释放数据价值

MOS独有的智能数据处理引擎,帮助优化质检算法,释放数据价值,实现了数据存储、处理、灾备、价值发现的一站式管理。

MOS至今稳定运行2年10个月,未出现*故障,赢得了客户赞许。

5
档案管理能力提升,助客户增效益

MOS帮助G证券构建集中式数字化档案管理平台,带来明显改观。客户可在全国任一网点办理业务,所有营业部可共享使用数字化档案,在线查阅和借阅客户资料更方便。档案中心可对双录视频进行内容检查,如人脸是否清晰、有无公司标识,系统审核不通过再人工复审,效率高。

新方案的经济效益也十分明显。MOS每TB的价格相比高端NAS低50%左右,省去文档格式转化集群、水印集群所需的硬件设施,节约成本近10万元。

未来的架构演进方向,一是结合MOS的智能数据处理引擎,释放数据价值。比如:利用AI优化质检算法;通过格式转换工具,精简数据结构,提升数据质量;以AI赋能运维,降本提效。二是拥抱互联网金融,加速容器部署,提升微服务能力。

G证券档案管理平台的成功实践,验证了杉岩产品及方案的高品质,也为今后的行业实践打下坚实的基础。

 

 

 

IT解决方案
产品品类:
海量对象存储、统一存储平台、超融合一体机、安全存储一体机

产品品型:
超融合一体机:SandStone HyperCube 超融合基础架构一体机

型号 SC2000入门型 SC2100通用型 S3000基础型 SC3100存储型 SC3300计算型
节点形态

(2U 4节点)

(2U 1节点)
应用场景 小型企业私有云建设 中型企业部署核心业务 中小企业部署传统和互联网业务 存储需求较大的企业,可存放冷数据或备份容灾 大型企业和云计算数据中心建设
处理器 1*英特尔®至强®处理器8C/16T

(型号可配置)

2*英特尔®至强®处理器20C/40T

(型号可配置)

2*英特尔®至强®处理器16C/32T

(型号可配置)

2*英特尔®至强®处理器20C/40T

(型号可配置)

2*英特尔®至强®处理器24C/48T

(型号可配置)

内存 32GB 128GB 64GB 128GB 256GB
缓存盘 480GB SSD(可扩展) 960GB SSD(可扩展) 960GB SSD(可扩展) 1.92TB SSD(可扩展) 1.92TB SSD(可扩展)
容量盘 4.8TB SATA/SAS(可扩展) 9.6TB SATA/SAS(可扩展) 24TB SATA/SAS(可扩展) 60TB SATA/SAS(可扩展) 24TB SATA/SAS(可扩展)

*SandStone HyperCube均为3个节点起部署,以上为单节点配置。

安全存储一体机:SandStone HuaYan

型号 节点形态 应用场景 处理器 存储
DS3000-FT 2U 1节点 中小企业部署传统和互联网业务 1*飞腾FT-2000+64核2.2GHz 480GB SSD20TB SATA/SAS
DS3300-FT 大型企业和云计算数据中心建设 1*飞腾FT-2000+64核2.2GHz 1.92TB SSD40TB SATA/SAS
DS2000-KP 2U 4节点 企业私有云建设 2*鲲鹏920(32/48/64核2.6GHz) 480GB SSD4.8TB SATA/SAS
DS3000-KP 2U 1节点 中小企业部署传统和互联网业务 2*鲲鹏920(32/48/64核2.6GHz) 480GB SSD20TB SATA/SAS
DS3300-KP 大型企业和云计算数据中心建设 2*鲲鹏920(32/48/64核2.6GHz) 1.92TB SSD40TB SATA/SAS
DS6000-KP 4U 1节点 存储需求较大的企业,可存放冷数据或备份容灾 2*鲲鹏920(32/48/64核2.6GHz) 180TB SATA/SAS
DS3000-HY-H620 2U 1节点 中小企业部署传统和互联网业务 2*海光7000系列处理器 480GB SSD20TB SATA/SAS
DS3300-HY-H620 大型企业和云计算数据中心建设 2*海光7000系列处理器 1.92TB SSD40TB SATA/SAS
DS6000-HY-S240 4U 1节点 存储需求较大的企业,可存放冷数据或备份容灾 1*海光7000系列处理器 180TB SATA/SAS

产品品牌:

杉岩sandstone

应用场景:
企业内容管理、人工智能与应用、影像存储、视频监控、大数据存储分析、备份归档、政务云大数据分析系统、党政机关统一文档系统、国产数据备份系统、机要涉密安全存储系统、大型存储资源池、私有云存储、容器云平台、超融合系统、大型存储资源池、私有云存储、容器云平台、超融合系统、值得信赖的软件定义存储厂商、杉岩数据某省大型数据中心、SandStone杉岩数据、关于杉岩 了解杉岩 选择杉岩 SandStone杉岩数据、杉岩数据 OA、OA办公系统、移动办公、办公自动化软件、杉岩分布式存储、杉岩数据公司如何、

解决方案:

金融非结构化数据中台解决方案、金融影像解决方案、医疗私有云解决方案、PACS影像解决方案、电子卷宗解决方案、机巡平台解决方案、CDN视频存储解决方案、校园网盘解决方案、私有云存储解决方案、智慧视频解决方案、机器学习解决方案、容器云存储解决方案、企业内容管理解决方案、杉岩数据校园网盘存储解决方案

更多型号和解决方案请咨询:

成都科汇科技有限公司

地址:四川省成都市武侯区人民南路四段一号时代数码大厦18楼A5

电话咨询热线:400-028-1235

QQ咨询热线: 1325383361

24小时咨询热线:180 8195 0517(微信同号)

返回顶部