干货分享 | 借助联想凌拓提供的 NetApp CVO 实现 EDA 混合架构下的统一数据存储 科汇科技-四川 联想凌拓 lenovonetapp 存储 官方授权分销代理商

01
概述

1.1 业务的新挑战

随着半导体行业先进制程的快速发展,EDA业务对计算资源的要求越来越高。企业所拥有的计算资源毕竟有限,当研发或业务出现高峰时,需要短期内大量扩展计算资源来满足需求。公有云的兴起,使得企业用户考虑是否可以借助公有云的计算资源,将云端虚拟机作为计算节点加入到 EDA集群,来满足企业的高峰作业需求。所以,有越来越多的半导体行业客户将EDA业务搬到云上,EDA混合架构部署逐渐成为一个趋势。

企业客户的本地数据中心如何与云上的业务数据打通,如何保持本地集群与云上集群的数据同步,如何借助云上的优势来实现云上的数据灾备方案,这对数据存储提出了新的挑战。

AWS提供了多种存储服务,包括EBS块存储服务、S3对象存储服务、EFS共享文件服务和FSx for Lustre高性能文件系统服务等,可以为客户提供不同场景下的数据存储。当然,客户也可以通过在EC2上自己部署存储软件的方式来构建NAS服务器。

本文主要介绍AWS如何与NetApp结合,在企业内部IT环境和公有云的EDA混合架构的场景下,提供高性能、高安全和可扩展的企业级统一数据存储,帮助客户更快更好的进行研发,随时随地从云上和云下的数据中发掘更多价值。

1.2 EDA混合架构部署

在以下的架构图中可以看到,在本地数据中心和AWS云结合时常见的EDA混合架构部署。

本地数据中心通过专线或者VPN等方式与AWS云进行连通。在本地数据中心部署有一套EDA集群,使用LSF或SLURM等主流的作业调度管理平台,数据存储使用NetApp ONTAP,还有配套的认证服务器和license服务器等。

在AWS上也有一套EDA集群,包括调度器、Login服务器和弹性扩展的计算节点;认证和用户都和本地数据中心进行同步;数据存储方面,采用NetApp的NAS存储软件方案,部署两台EC2实例:一台EC2部署NetApp Cloud Manager,另一台EC2部署NetApp Cloud Volumes ONTP 简称CVO 。CVO挂载AWS上的EBS卷,作为控制器后端存储空间,并通过NFS、SMB、iSCSI协议,将EBS卷挂载给AWS上的其他业务系统使用。

在EDA混合架构下,用户无需改变习惯,还是登录到本地数据中心的的EDA集群,根据需要选择一个本地队列或者转发队列提交任务,本地队列会调用本地的计算节点,如果是转发队列,本地集群会转发到AWS云端的EDA集群,动态调用多个计算节点进行计算。

本地数据中心存储上的数据与AWS上的数据传输、数据同步方面,Cloud Volumes ONTAP使用NetApp复制协议(即SnapMirror技术)将云存储与自有数据中心相无缝连接。

在安全方面,AWS也提供了多个层面的云服务,比如用于认证和授权的IAM、用于监控和日志管理的CloudWatch、用于数据加密的KMS、用于系统运维管理的System Manager和用于域名解析的Route53等,为客户的数据安全提供了完善的保障。更多安全服务,请参考:https://aws.amazon.com/cn/products/security/?nc=sn&loc=2 。

02
部署联想凌拓提供的
NetApp Cloud Manager

要在AWS上使用NetApp CVO,首先需要在AWS上安装部署NetApp Cloud Manager,Cloud Manager的安装方式可以从NetApp官网或者AWS Marketplace China进行安装,可在 AWS 中国(北京)区域和 AWS 中国(宁夏)区域进行部署,本文截屏展示的部署和操作均在AWS 中国(宁夏)区域进行。

先在NetApp官网https://cloud.netapp.com/ONTAP-cloud注册一个账号,作为后续创建NetApp CVO的使用准备。

登录AWS控制台,安装Cloud Manager。选择EC2管理界面,单击“启动实例”,然后可以直接在AWS Marketplace中来搜索Cloud Manager进行安装:

03
部署联想凌拓提供的NetApp CVO

完成Cloud Manager的部署之后,即可使用Cloud Manager的控制台界面来安装部署联想凌拓提供的NetApp Cloud Volumes ONTAP(简称CVO)。

3.1 创建CVO

创建CVO主要是通过访问上一章安装好的cloud manager实例,在web页面上操作。

也可以查看NetApp官网上AWS CVO的部署文档:
https://docs.netapp.com/us-en/occm/task_deploying_otc_aws.html#launching-a-cloud-volumes-ONTAP-ha-pair-in-aws
注:NetApp CVO的HA部署即将在中国区推出,可以为客户提供更好的高可用和性能。

3.2 查看CVO

System manager这个管理界面,用户名是admin,密码是在创建CVO的章节第4步中设置的密码。
SVM Management:10.200.0.245 对应的IP是虚拟存储管理的IP
Node Management : 10.200.0.171对应的IP是节点管理的IP
Data (NFS,CIFS) :10.200.0.174 对应的IP是CVO实例上NFS的ip,其他的EC2实例可以mount此IP,来访问NFS上的数据。
Intercluster:10.200.0.63 对应的IP是用于数据复制的IP,后面章节配置的本地与AWS上的数据复制技术SnapMirror也是使用此IP来进行复制。

3.3 CVO的性能

测试环境
NFS服务器进行压力测试的测试环境:
NFS服务器:ONTAP server配置选择 C5d.18xlarge (72vCPU,144GB内存,带2*900G SSD实例存储)
存储配置:1 aggregate 6*6TB EBS GP2 ,划分一个20T的volume
客户端:6个C5d.9xlarge(36vCPU,72GB内存,带1*900G SSD实例存储)
测试工具:fio 3.19
加密方式:EBS加密

性能数据
安装上一节的测试环境进行测试,可以得到如下的性能数据:

以上是单节点下的20T盘的性能,如果需要更高性能,可以通过划分多个盘、构建HA或者增加服务器节点等方式进行扩展。

04
配置CVO数据复制

在Cloud Manager中可以设置从本地ONTAP系统到AWS Cloud Volumes ONTAP的数据复制以进行灾难恢复,可以通过选择一次数据复制(这可以帮助您将数据移入云中或从云中移出)或定期计划(这可以帮助灾难恢复或长期保留)来在Cloud Volumes ONTAP系统和ONTAP集群之间复制数据。

CVO使用SnapMirror和SnapVault技术简化了不同系统上卷之间的数据复制。只需要标识源卷和目标卷,然后选择复制策略和计划即可。Cloud Manager设置所需的磁盘,配置关系,应用复制策略,然后启动卷之间的基准传输。基准传输包括源数据的完整副本,后续传输包含源数据的差异副本。

4.1 数据复制的要求

在复制数据之前,应该确认Cloud Volumes ONTAP系统和ONTAP群集均满足特定要求。

版本要求:复制数据之前,应验证源卷和目标卷是否在运行兼容的ONTAP版本。有关详细信息,请参见Data Protection Power Guide。

特定于Cloud Volumes ONTAP的要求:
1)实例的安全组必须包括必需的入站和出站规则:特别是ICMP规则以及11104和11105这两个端口
2)如果要在不同子网中的两个Cloud Volumes ONTAP系统之间复制数据,必须将子网路由在一起
3)如果要在AWS的Cloud Volumes ONTAP系统和本地的系统之间复制数据,必须在AWS VPC和本地的系统之间建立VPN连接或者专线
4)必须安装有SnapMirror license许可证

4.2 配置数据复制

发现本地ONTAP集群

配置数据复制
发现本地集群环境之后,即可配置本地与AWS云上的数据复制操作。

05
小结

在EDA混合架构部署中,当本地数据中心的本地集群算力不足时,可以通过调度平台溢出到云端,满足高算力需求。AWS云端可以提供多达几十种实例类型,极大的降低本地硬件成本。客户可以统一管理、运营、维护本地集群和AWS云端的动态集群。在AWS云端动态构建集群,按需分配资源,提高效率,同时支持主流的EDA应用工具适配和各类工作流程,支持LSF、SLURM和SGE等调度平台。

EDA混合架构部署下,NetApp CVO可以提供高性能、高扩展的共享存储,同时*了本地数据中心和AWS云端的数据同步,让EDA任务可以平滑的转发到云端进行执行,为客户快速研发提供强大支持。

在数据安全方面,通过专线或VPN把数据中心和AWS云端连通,*数据传输的安全;NetApp CVO文件服务器上的数据通过KMS服务进行加密后保存在EBS。EDA混合架构下*实现了数据的传输安全和存储安全,同时IAM服务提供了细粒度的权限管控,满足客户对执行EDA任务的高安全需要。

 

 

IT解决方案

产品品类:

结构化数据管理、非结构化数据管理、数据保护及业务连续性、数据基础架构管理、集成云数据服务(包括私有云)、优化非结构化数据、加快工作负载和分析处理速度、构建服务提供商基础架构、提高数据中心效率

产品品型:

DM系列全闪存系列、DM系列混合闪存系列、DE系列全闪存系列、DE系列混合闪存系列、存储光纤交换机、DPA系列备份一体机、DX8200D虚拟化网关系列NetApp Kubernetes Service、Azure NetApp Files、Cloud Volumes for Google、Cloud Volumes for AWS、Cloud Volumes ONTAP、Cloud Sync 数据同步、Cloud Backup、SaaS Backup、Cloud Insights、AFF A系列全闪存系列、FAS混合闪存系列、云分析、云灾难恢复、云与 SaaS 备份、AFF A系列全闪存系列、FAS混合闪存系列、StorageGRID 对象存储、富内容管理、分布式内容管理、物联网 (IoT)、视频监控、AFF A系列全闪存系列、人工智能和深度学习、工程和设计应用程序、数据中心整合、虚拟服务器基础架构、AFF A系列全闪存系列、FAS混合闪存系列

产品品牌:

联想凌拓 lenovonetapp

解决方案

基于联想服务器和NetApp StorageGRID® 对象存储解决方案、SAP 解决方案、Oracle 数据库解决方案、MS 应用程序解决方案、IaaS 解决方案、PaaS 解决方案、SaaS 解决方案、联想凌拓怎么样、联想凌拓存储、凌拓智能、联正式编制和外包、联想凌拓任凯、联想凌拓干什么的、lenovonetapp渠道、联想卡在lenovo界面、netapp和联想合资、netapp这家公司怎么样、联想凌拓NetApp、netapp公司简介、netapp怎么用、netapp官网、联想;凌拓上海、netapp 2240、联想凌拓 lenovonetapp、lenovo、netapp

四川新维科技有限公司–存储产品描述
Part Number Marketing Description Cate 价格
DE4000
7Y74S00K00 Lenovo ThinkSystem DE4000H FC Hybrid Flash Array LFF_(4x 16 Gb FC base ports [no SFPs], 8x 16 Gb FC HIC ports [no SFPs]) Controler 面议
7Y74S00L00 Lenovo ThinkSystem DE4000H iSCSI Hybrid Flash Array LFF_(4x 10 Gb iSCSI base ports [no SFPs], 8x 10 Gb iSCSI HIC ports [no SFPs]) Controler 面议
7Y75S03P00 Lenovo ThinkSystem DE4000H FC Hybrid Flash Array SFF_(4x 16 Gb FC base ports [no SFPs], 8x 16 Gb FC HIC ports [no SFPs]) Controler 面议
7Y75S03Q00 Lenovo ThinkSystem DE4000H iSCSI Hybrid Flash Array SFFF_(4x 10 Gb iSCSI base ports [no SFPs], 8x 10 Gb iSCSI HIC ports [no SFPs]) Controler 面议
7Y77S05900  Lenovo ThinkSystem DE4000H SAS Hybrid Flash Array 4U60_(4x 16 Gb FC base ports [no SFPs], 8x 12 Gb SAS HIC ports) Controler 面议
7Y77S0*00  Lenovo ThinkSystem DE4000H FC Hybrid Flash Array 4U60_(4x 16 Gb FC base ports [no SFPs], 8x 16 Gb FC HIC ports [no SFPs]) Controler 面议
7Y77S05B00  Lenovo ThinkSystem DE4000H iSCSI Hybrid Flash Array 4U60_(4x 10 Gb iSCSI base ports [no SFPs], 8x 10/25 Gb iSCSI HIC ports [no SFPs]) Controler 面议
DE2000
7Y70S01V00 Lenovo ThinkSystem DE2000H FC Hybrid Flash Array LFF_(4x 16 Gb FC base ports [no SFPs]) Controler 面议
7Y70S01W00 Lenovo ThinkSystem DE2000H 10Base T Hybrid Flash Array LFF_(4x 10 Gb iSCSI base ports [no SFPs],4x 10 Gb iSCSI base T ports [RJ45]) Controler 面议
7Y70S01X00 Lenovo ThinkSystem DE2000H iSCSI Hybrid Flash Array LFF_(4x 10 Gb iSCSI base ports [no SFPs]) Controler 面议
面议
7Y71S02L00 Lenovo ThinkSystem DE2000H FC Hybrid Flash Array SFF_(4x 16 Gb FC base ports [no SFPs]) Controler 面议
7Y71S02K00 Lenovo ThinkSystem DE2000H 10Base T Hybrid Flash Array SFF_(4x 10 Gb iSCSI base ports [no SFPs],4x 10 Gb iSCSI base T ports [RJ45]) Controler 面议
7Y71S02M00 Lenovo ThinkSystem DE2000H iSCSI Hybrid Flash Array SFF_(4x 10 Gb iSCSI base ports [no SFPs] Controler 面议
DE Expansion
7Y63S01G00 Lenovo ThinkSystem DE 120S 2U12 LFF Expansion Enclosure Expansion 面议
7Y68S00H00 Lenovo ThinkSystem DE 240S 2U24 SFF Expansion Enclosure Expansion 面议
Option
4XB7A14099 Lenovo ThinkSystem DE Series 4TB 7.2K 3.5″ HDD 2U12 HDD 面议
4XB7A14101 Lenovo ThinkSystem DE Series 8TB 7.2K 3.5″ HDD 2U12 HDD 面议
4XB7A14102 Lenovo ThinkSystem DE Series 10TB 7.2K 3.5″ HDD 2U12 HDD 面议
4XB7A14104 Lenovo ThinkSystem DE Series 12TB 7.2K 3.5″ HDD 2U12 HDD 面议
4XB7A14113 Lenovo ThinkSystem DE Series 1.8TB 10K 2.5″ HDD 2U24 HDD 面议
4XB7A14112 Lenovo ThinkSystem DE Series 1.2TB 10K 2.5″ HDD 2U24 HDD 面议
 4XB7A14115  DE Series 800GB 3DWD 2.5″ SSD 4U60 HDD 面议
 4XB7A14116  DE Series 1.6TB 3DWD 2.5″ SSD 4U60 HDD 面议
 4XB7A14118  DE Series 3.2TB 3DWD 2.5″ SSD 4U60 HDD 面议
 4XB7A14124  DE Series 4TB 7.2K 3.5″ HDD 4U60 HDD 面议
 4XB7A14125  DE Series 8TB 7.2K 3.5″ HDD 4U60 HDD 面议
 4XB7A14126  DE Series 10TB 7.2K 3.5″ HDD 4U60 HDD 面议
 4XB7A14128  DE Series 12TB 7.2K 3.5″ HDD 4U60 HDD 面议
4XF7A14917 1G RJ45 iSCSI SFP+ Others 面议
4M17A13527 Lenovo 10Gb iSCSI/16Gb FC Universal SFP+ Module Others 面议
4M17A13528 Lenovo 32Gb FC SFP+ Transceiver Others 面议
4M17A13529 Lenovo 10/25GbE iSCSI SFP+ Module Others 面议
4XB7A14097 Lenovo ThinkSystem DE Series 800GB 3DWD 2.5″ SSD 2U12 SSD 面议
4XB7A14105 Lenovo ThinkSystem DE Series 800GB 3DWD 2.5″ SSD 2U24 SSD 面议
4XB7A14106 Lenovo ThinkSystem DE Series 1.6TB 3DWD 2.5″ SSD 2U24 SSD 面议
4XB7A14108 Lenovo ThinkSystem DE Series 3.2TB 3DWD 2.5″ SSD 2U24 SSD 面议
4XB7A14110 Lenovo ThinkSystem DE Series 15.36TB 1DWD 2.5″ SSD 2U24 SSD 面议
4XB7A14176 Lenovo DE Series 7.68TB 1DWD 2.5″ SSD 2U24 SSD 面议
00MN499 Lenovo 0.5m LC-LC OM3 MMF Cable Cable 面议
00MN502 Lenovo 1m LC-LC OM3 MMF Cable Cable 面议
00MN505 Lenovo 3m LC-LC OM3 MMF Cable Cable 面议
00MN508 Lenovo 5m LC-LC OM3 MMF Cable Cable 面议
00MN511 Lenovo 10m LC-LC OM3 MMF Cable Cable 面议
00MN514 Lenovo 15m LC-LC OM3 MMF Cable Cable 面议
00MN517 Lenovo 25m LC-LC OM3 MMF Cable Cable 面议
00MN520 Lenovo 30m LC-LC OM3 MMF Cable Cable 面议
00YL847 CA Ext MiniSAS 8644-8644 0.5M Cable 面议
00YL848 CA Ext MiniSAS 8644-8644 1M Cable 面议
00YL849 CA Ext MiniSAS 8644-8644 2M Cable 面议
00YL850 ECO Ext MiniSAS 8644-8644 3M Cable 面议
4C57A14376 ThinkSystem DE2000 HIC 10GBaseT 2-Ports HIC Card 面议
4C57A14377 ThinkSystem DE2000 HIC 12Gb SAS 2-Ports HIC Card 面议
4C57A14367 Lenovo ThinkSystem DE4000 HIC, 12Gb SAS, 4 ports HIC Card 面议
4C57A14369 Lenovo ThinkSystem DE4000 HIC, 10/25GbE iSCSI, 4 ports HIC Card 面议
4C57A14366 Lenovo ThinkSystem DE4000 HIC, 16Gb FC/10GbE, 4 ports HIC Card 面议
4C57A14368 Lenovo ThinkSystem DE4000 HIC, 32Gb FC, 4 ports HIC Card 面议
4ZN7A14708 Lenovo ThinkSystem DE4000H Snapshot Upgrade 512 Software 面议
4ZN7A14709 Lenovo ThinkSystem DE4000H Asynchronous Mirroring Software 面议
4ZN7A16002 Lenovo ThinkSystem DE4000 Synchronous Mirroring Software 面议

更多品类和方案、价格 请咨询:

成都科汇科技有限公司

地址:成都市人民南路四段1号时代数码大厦18F

电话:400-028-1235

QQ: 1325383361

手机:180 8195 0517(微信同号)

返回顶部