Server Virtualization Solutions
The first chapter is the outline of the project
The increasing demand for enterprise / government / finance business for IT data centers, so data centers need to provide more quickly needed computing, network, storage resources. If you keep buying new servers, it will increase purchasing costs and operating costs, but also bring more business, power supply and room cooling costs. At the same time, in general, the enterprise server workload is generally no more than 10%, which led to a large number of hardware, cabinet space and waste of electricity. The purchase of new servers within the enterprise / organization is a long process, which makes the IT department more difficult to meet the needs of business growth and change. For example, with the increase of new business system platforms, the need for offline and offline testing platforms often consumes a great deal of valuable resources and time.
In order to solve the problems brought by the increase of the number of servers, improve the server resource usage, reduce equipment procurement costs, improve business continuity and for the future of the new application system construction provides a flexible platform for the use of resources, integration of existing server virtualization.
XXX customers as domestic large enterprises / government units, the construction of information technology continues to develop. At present, the information network for the Information Center for operation and maintenance units, covering such as OA, Mail, ERP, middleware services, government platforms and other business systems, server resources large. For the sake of economic efficiency and management security, virtualization integration for infrastructure is imperative.
In order to solve the problems brought by the increase of the number of servers, improve the server resource usage, reduce equipment procurement costs, improve business continuity and for the future of the new application system construction provides a flexible platform for the use of resources, integration of existing server virtualization.
XXX customers as domestic large enterprises / government units, the construction of information technology continues to develop. At present, the information network for the Information Center for operation and maintenance units, covering such as OA, Mail, ERP, middleware services, government platforms and other business systems, server resources large. For the sake of economic efficiency and management security, virtualization integration for infrastructure is imperative.
The second chapter, demand analysis
2.1 analysis of the status quo
XXX customer data center is mainly based on X86 server, running OA, Mail, ERP, middleware services, government platform and other business systems. The specific server configuration is shown below, which covers the server configuration of the major business systems.
|
System
|
Model
|
To configure
|
|
Video Server
|
PowerEdge 2950
|
Xeon E5410 *2/4GB
|
|
Download Server
|
PowerEdge 2950
|
Xeon E5110 *2/2GB
|
|
Production and Operation Management System
|
PowerEdge 2950
|
Xeon E5410 *2/4GB
|
|
Fixed Assets Management System
|
PowerEdge 2950
|
Xeon E5410 *2/4GB
|
|
mobiles Station Service Management System
|
PowerEdge 2950
|
Xeon E5410 *2/2GB
|
|
NMS
|
PowerEdge 2950
|
Xeon E5410 *2/2GB
|
|
Financial System
|
PowerEdge 2950
|
Xeon E5410 *2/2GB
|
|
NMS
|
PowerEdge 2950
|
Xeon E5410 *2/2GB
|
|
Mail system
|
PowerEdge 2950
|
Xeon E5410 *2/2GB
|
|
Safety Assessment System
|
PowerEdge 2850
|
Xeon 2.8G *2/2GB
|
|
Human Resource System
|
PowerEdge 2850
|
Xeon 2.8G *2/2GB
|
|
Task Management System
|
PowerEdge 2650
|
Xeon 2.8G *2/2GB
|
|
Inventory Management System
|
PowerEdge 1750
|
Xeon 2.4G *2/1GB
|
|
Identity Authentication System
|
PowerEdge 750
|
P4 2.8G/1GB
|
Table: XXX client data center server
在存储阵列方面，XXX客户数据中心的主要存储设备及其相应系统的容量与使用率情况如下所示。
|
阵列名称
|
使用系统
|
可用空间
|
已用空间
|
使用率
|
|
IBM DS4700
|
网管系统
|
1400G
|
800G
|
57%
|
|
|
邮件系统
|
1950G
|
900G
|
67%
|
|
|
人力资源系统
|
400G
|
400G
|
100%
|
|
IBM FastT600
|
库存管理系统
|
1340G
|
1340G
|
100%
|
|
|
身份认证系统
|
340G
|
170G
|
50%
|
|
IBM DS5020
|
视频服务器
|
1540G
|
1530G
|
97%
|
|
|
防病毒系统
|
270G
|
206G
|
76%
|
|
EMC CX3-40
|
财务系统
|
941G
|
325G
|
32%
|
|
|
移动站业务管理系统
|
800G
|
270G
|
34%
|
|
|
安全评估系统
|
600G
|
305G
|
51%
|
|
EMC CX500
|
任务管理系统
|
120G
|
95G
|
79%
|
|
|
固定资产管理系统
|
300G
|
280G
|
94%
|
|
EMC CX4-480
|
下载服务器
|
2000G
|
2000G
|
100%
|
|
|
生产经营管理系统
|
980G
|
800G
|
82%
|
表：XXX客户数据中心存储阵列
通过对XXX客户服务器和存储现状的分析，目前IT基础架构有以下几个问题待解决：
u 服务器的利用率低。现在机房内运行的大部分机器的利用率都非常低，由于一台服务器只能有一个操作系统，受系统和软件开发平台的限制，CPU、内存、硬盘空间的资源利用率都很低，大量的系统资源被闲置。
u 可管理性差。首先是可用性低，几乎每个应用服务器都是单机，如果某台服务器出现故障，相对应的业务也将中断。其次是当硬件需要维护、升级或出现硬件故障时，上层业务系统均会出现较长时间的中断，影响业务的连续性，其中包括一些重要业务系统，一旦中断服务影响很大，未来数据中心搬迁时会更加麻烦。
u 服务器和存储购置成本高，维护成本递增，也不得不考虑。随着应用的不断增加，服务器数量也跟着增加，每年要支出高额购置费用不说，还有部分服务器已经过保修期，部件逐渐进入老化期，维护、维修预算费用也逐年增加。
u 对业务需求无法做到及时响应，灵活性差。当有新的应用需要部署时，需要重新部署服务器，存储系统，并需要对网络系统进行调整以适应新的IT应用的需求。
u 目前为每套业务系统，在开发测试中心均要保留一套开发测试环境，造成了资源很大的浪费。
XXX VMP的服务器虚拟化解决方案可以很好地解决上面这些问题，下面的章节将从方案的整体规划设计，体系结构，计算，网络与安全，高性能存储，可用性，智能管理等方面对该方案进行全面地分析与介绍。
2.2 建设目标
XXX客户服务器虚拟化建设项目，旨在运用 XXX VMP虚拟化技术，整合服务器、实现内部私有云架构、简化IT基础架构、提高服务器利用率、降低能源消耗，并提高系统的可用性和减少系统故障导致的意外停机时间等，从而有效的降低硬件投资成本和运维成本。
本次虚拟化项目建设不仅要满足当前的应用需要，还必须考虑到以后系统的可扩展性，满足XXX客户未来一段时间的信息化发展需求。
第3章 XXX虚拟化平台方案设计
3.1 虚拟化平台整体设计
3.2.1 方案设计描述
虚拟化技术的引入大大减少了需要维护和管理的设备，如服务器、交换机、机架、网线、UPS、空调等。原先设备可以根据制度进行折旧报废、或者利旧更新，使得IT管理人员有了更多的选择。虚拟化可以提高资源利用率，降低硬件采购成本，更加节能和节省空间，让整个数据中心更加灵活。
下图是实施了XXX VMP虚拟化方案之后的IT整体架构。
.jpg)
图：数据中心整体架构图
服务器虚拟化后，我们搭建了虚拟化集群，并统一进行管理。原有的服务器设备仍然可以正常运行，并且与虚拟化服务器融合在一起。
随着虚拟化的不断应用，可以不断动态地增加虚拟化集群的规模，搭建更健康的IT体系架构。客户端方面，延续了原先的访问模式，对于虚拟服务器的数据交互等操作，等同于原先传统物理服务器的的访问模式，不会对业务系统造成任何不利影响。
本章节接下来的部分，将从计算，存储，网络，可用性，管理与监控五个方面对XXX客户的数据中心进行全面高效的规划设计。
3.2 虚拟化计算资源规划
在XXX客户规划构建的虚拟化数据中心中，本方案将利用XXX服务器虚拟化技术按照1:8~12的初期整合比例（考虑到未来环境增长和高可用需要，实际整合比可以更高，但需要进行现场环境数据评估），将服务器组成集群，构建高可用动态资源池环境，作为数据中心各应用的整体运算资源。
本次虚拟化项目设计，建议使用3台 Dell R910服务器，且使用集群技术，两两集成一台服务器，可提供高性能四路集群刀片服务器。建立1个集群。在此基础之上，利用XXX aMotion功能，使得应用服务器在VMP虚拟服务器硬件环境出现问题的情况下，能够自动的迁移到另一台VMP虚拟服务器上运行，不会因为硬件环境出现的问题而导致应用服务停止运作，保证了业务连续性。为什么建议选择 3 台服务器？
1) 扩展性：满足以后陆续增加的系统。
2) 高可用：可满足允许1台主机故障。
针对由多个XXX VMP系统主机组成的集群，可以使用XXX HA功能在整个虚拟化 IT 环境中提供高可用性，而没有传统群集解决方案的成本或复杂性。XXX HA 可为在虚拟机中运行的任何应用程序提供经济高效的高可用性解决方案，而不需要考虑其应用操作系统设置或应用系统基础硬件配置。XXX HA 不需要专门的备用硬件和附加软件支持。
同时，XXX VMP系统提供XXX aMotion迁移、虚拟机系统故障恢复，资源保障控制的的高可用与自动资源调节能力，可平衡应用间对CPU、内存的资源分配，保证应用系统维持在最佳运行状态。
3.2.1 CPU设计
应用虚拟化后，提供CPU计算能力与物理环境差异不大，与物理环境相差6%左右。本方案推荐配置的机架服务器是一款高性能企业级服务器，它应该集高级管理功能与领先的性价比特性于一体，是虚拟化、工作负载整合和中等规模数据库的理想之选。
下面对配置4颗英特尔® 至强® E7-4820处理器的单服务器作为VMP服务器的CPU处理能力计算：
|
硬件
|
描述
|
|
CPU 插槽
|
4路
|
|
每CPU核心
|
八核
|
|
CPU每颗核心主频MHz
|
2,000
|
|
每CPU总主频MHz
|
20,000
|
|
每台服务器总CPU主频MHz
|
80,000
|
|
每台服务器最大CPU使用率
|
70%
|
|
每台服务器CPU有效主频MHz
|
56,000
|
应用vCPU需求计算：
|
应用类型
|
vCPU需求
|
VM数量
|
总计vCPU
|
备注
|
|
普通应用
|
1~2
|
20
|
20~40
|
|
|
高端应用
|
4~8
|
4
|
16~32
|
|
|
|
|
|
36~72
|
|
3.2.2 内存设计
|
应用类型
|
vMEM需求
|
VM数量
|
总计vMEM
|
备注
|
|
普通应用
|
4~8
|
20
|
80~160
|
|
|
高端应用
|
16~32
|
4
|
64~128
|
|
|
|
|
|
148~288
|
|
考虑到HA冗余与内存30%预留(2台VMP主机按照50%预留，3台以上按照30%预留)，每台主机配置XXX G内存，同时考虑到CPU高共享性能，内存共享性能稍低些，以及未来业务增长，建议每台主机配置XXX G内存。
单服务器作为VMP虚拟化服务器内存计算：
|
硬件
|
描述
|
|
每台服务器物理内存MB
|
256GB
|
|
每台服务器最大内存使用率
|
70%
|
|
每台服务器有效内存MB
|
179.2GB
|
l 每台服务器的运算能力按照峰值而非平均值进行估算，确保可以支持虚拟机应用同时运行的最高值。
l CPU和内存的估算需要预留30%的空间用于突发的运算能力过量。
l 设置预留可能限制 aMotion。仅当目标VMP系统主机的闲置物理内存等于或大于预留大小，才能迁移虚拟机。
l 适当调整虚拟机的配置内存规模十分重要。如果应用程序不利用配置的内存，则内存将被浪费。VMP 性能监控可用来确定实际内存使用率。
3.3 虚拟化网络架构规划
3.3.1 虚拟化网络架构设计
根据XXX最佳实践，网络架构应该满足如下要求：
l VMP管理网络（HA心跳互联网络），aMotion在线迁移网络，虚拟机对外提供服务的网络应该各自独立；虚拟业务网络与 (管理网络、aMotion网络)隔离开。
l 对于每一个虚拟交换机vSwitch应该配置至少两个上行链路物理网络端口。
l 对于多网口的冗余配置应该遵循配置在不同PCI插槽间的物理网卡口之间，不同网口对应到不同刀片交换机。
l 对于物理交换网络也应该相应的进行冗余设置，避免单点故障。
l 建议采用千兆以太网交换网络，避免网络瓶颈。
虚拟服务器的网卡配置：建议至少4个网卡端口连接核心/接入层交换机。服务器的2个网卡将分配到VMPmanager(管理)/aMotion网络，2个网卡分配给虚拟机业务网络； 每台VMP服务器规划的虚拟交换机配置如下：
|
虚拟交换机
|
功能说明
|
物理网口数
|
|
Vswtich0
|
管理控制台，HA心跳互联网络，aMotion网络
|
2
|
|
Vswtich1
|
虚拟机业务
|
2
|
说明：
l 对于虚拟交换机的双端口冗余，本方案建议通过在vSwitch虚拟交换机层面配置双网卡的负载均衡或主备切换策略。
l 对于虚拟机应用的网络，为了确保虚拟机在执行了aMotion迁移到另一物理主机保持其原有的VLAN状态，建议根据实际需要在虚拟交换机端口启用802.1q的VLAN标记方式；采用此方式的可以确保迁移主机可以保留原有的网络配置如网关等，并且建议在网络设置中启用通知物理交换机功能，该功能可以确保迁移主机通过反向ARP通知物理交换机虚拟机端口的更改，确保新的用户会话可以被正确建立。
3.3.2 虚拟化交换机规格设计
虚拟交换机配置规格如下表所示：
|
群集
|
vSwitch
|
类型
|
VLAN
|
Active ETH
|
Stand by ETH
|
|
Cluster01
|
vSwitch0
|
VMP管理/ aMotion
|
待定
|
eth 0
eth 2 |
|
|
vSwitch1
|
VM
|
待定
|
eth 1
eth 3 |
|
3.3.3 物理网络架构设计
建议采全千兆三层以太网交换机系列组成服务器冗余接入层。配置2台S全千兆三层以太网交换机采用堆叠、集群等虚拟化技术，虚拟成一台交换机来使用，提供冗余架构。虚拟交换机对应的两张物理服务器网卡分配接入到XX台物理交换机使用端口聚合技术，实现线路冗余和负载均衡。
3.4 虚拟化存储架构规划
3.4.1 存储性能和容量规划
存储型号：可以根据客户建议或者不写
数量：1台
存储IOPS计算依据：
普通应用 读写比例70％：30％
高端应用（数据库等） 读写比例50％：50％
采用RAID5（写惩罚4）、RAID10（写惩罚2）
方案根据应用读写需求，对数据库读写频繁等应用采用raid10，对普通应用写较少应用采用raid5。虽空间利用率较低，但IO性能提升较多，特别是针对虚拟机这种随机零散读写需求较高的应用，需要具体双引擎大缓存功能的存储器来支持大规模桌面用户频繁读写数据的操作。对于归档备份数据建议采用NL-SAS大容量盘来存放数据。
SAS（15000转） 硬盘单盘IOPS为150左右。
NL-SAS（7200转）硬盘单盘IOPS为80左右。
SAS容量：配置24块300G容量的SAS硬盘；6块3TB容量的NL-SAS硬盘。
SAS盘 Riad5组大约可提供2T空间、710个IOPS。（普通应用）
SAS盘 Raid10组大约可提供1.8T空间、1400个IOPS。（数据库等高端应用）
NL-SAS盘 Raid5组大约可提供10T空间。（归档备份、非结构化数据等）
建议配置24块300G容量的SAS硬盘；6块3TB容量的NL-SAS硬盘。
3.4.2 存储LUN规划及设计
SAN存储规格是典型的高负荷存储环境. 以下为遵循平衡管理性能、可用性需求的配置规则。
建议LUN的大小不是固定的，它是基于每个LUN存储虚拟机的最大数量同时保留适当的水平的可用空间，按下列公式计算：
LUN 尺寸 = （Z x (X + Y)*1.15）
Z = 每个LUN存放虚拟机最大数量
X = 每个虚拟机内存的尺寸值
Y = 虚拟机存盘的尺寸
举例如下，假设标准的虚拟机单个磁盘QCOW2文件容量为100GB，并有4GB的内存。
LUN 尺寸 = （15 x （4 + 100 ）* 1.15）= 1791GB
如果以15台虚拟机、每台100G空间计算、考虑精简分配因素LUN划分为1.5T。
对写要求高应用建议采用预分配模式；对写要求较低应用建议采用精简分配模式，以节约存储空间。
结合以上因素综合考虑LUN容量规划：
|
名称
|
LUN ID
|
容量
|
用途
|
|
XX_L00
|
0
|
0.4T
|
其他管理服务器、模版与ISO
|
|
XX_L01
|
1
|
0.8T
|
普通应用
|
|
XX_L02
|
2
|
0.8T
|
普通应用
|
|
XX_L03
|
3
|
0.9T
|
数据库等高端应用
|
|
XX_L04
|
4
|
0.9T
|
数据库等高端应用
|
|
XX_L05
|
5
|
5T
|
归档、备份、非结构化数据
|
|
XX_L06
|
6
|
5T
|
归档、备份、非结构化数据
|
备注：遵循以上原则，具体划分根据项目实施进行调整。
3.4.3 存储架构和可靠性设计
在设计存储架构时，应该充分考虑到冗余和性能，因此存储架构的选择，要根据现有的整体应用对存储的IOPS和吞吐量的需求进行规划，涉及端到端的主机适配器选择、控制器和端口数量选择以及磁盘数量和RAID方式选择等。VMP主机和存储之间通过多路径进行冗余的保障。
每台VMP服务器到存储的连接示意如下：
说明
l 底层LUN的需求根据实际虚拟机应用对存储IOPS的实际需求进行规划。
l 根据应用的需要设置LUN的RAID结构，如对于随机读写的数据库如Oracle、SQL数据库，建议在LUN级别采用RAID10结构，对于数据库日志通常为连续写或恢复时连续读，建议在LUN级别采用RAID5结构。
l 对于IO密集型的应用尽量采用单独的LUN，避免在存储端与其他应用产生IO竞用。
l 通常情况下1TB的LUN大小具有较好的性能和可管理性。
l 磁盘阵列的选择应该满足整个虚拟化环境最大IOPS的吞吐量需求，并配置足够的存储处理器、缓存和端口数。
3.4.3 存储选型
|
属性
|
说明
|
|
厂商和型号
|
HUS130
|
|
类型
|
FC
|
|
多路径策略
|
MRU最近使用策略
|
|
最小/最大交换机端口速率
|
8GbE
|
3.5 高可用设计
在保证业务的高可用性和业务连续性上，根据需求可以考虑三种方案：
3.5.1 虚拟化平台级高可用
由于XXX VMP集群中具备HA高可用性功能，可以保证当运行业务应用的物理主机出现宕机、物理硬件故障等情况发生时，可以被集群中的其他物理节点侦测到并且自动在备用物理机或其他有空闲资源的物理机启动故障节点在线的虚拟机，最大限度保持虚拟机应用的可用性。
3.5.2 虚拟机操作系统级高可用
如果虚拟机操作系统故障也可以被XXX VMP HA侦测并修复。
比如当虚拟机内部系统蓝屏，或者CPU 利用率100%卡死虚拟机操作系统时，XXX VMP HA可侦测病重启该虚拟机。
3.5.3 业务应用高可用
采用原有业务系统的保护机制也可以运行在虚拟化平台上，如数据库的mirro机制，RoseHA等，第三方的高可用保护机制也可以运行，该方案需要第三方厂商配合完成。
3.6 虚拟化安全规划设计
通过整合XXX的整体安全防护平台，可实现整体虚拟化解决
●边界虚拟设备，为虚拟数据中心提供简单、高效、低成本的集成式安全网关服务，例如防火墙、负载平衡、NAT 和 VPN等。
●应用虚拟网卡级防火墙，基于可信级别隔离保护虚拟数据中心的关键应用
●数据安全为应用安全提供虚拟资源中敏感数据发现，辅助IT组织快速的评估法规遵从状态
●通过使用虚拟设备（而不是专门构建的硬件）
●提供第 4 层至第 7 层安全防护服务来节省成本。
●能够隔离共享基础架构中的关键应用，从而实现合规性目标
3.7 灵活易用性设计
XXXXXX VMP虚拟化平台针对实际的客户需求，专业的用户体验优化，可实现：
● 高效P2V：只需要三步即可完成现有物理主机的虚拟化
● 免插件控制台：免插件的控制台访问VM，提升用户体验
● 极速备份：通过数据消重，最大限度的缩小数据备份窗口
● 一键新增虚拟机：通过简单设置，快速创建虚拟机
● 自动故障处理：系统故障时提出专家解决方案，快速恢复系统及应用
● 批量新增虚拟机：为经常重复的工作内容提供自动化操作平台
第4章 XXX虚拟化方案优势总结
4.1 更人性化的操作体验
4.1.1 极速备份
XXXVMP虚拟化平台，将备份系统融合在整体VMP平台，实现简单易用的备份系统，由客户设置自动备份计划，系统管理根据这些设置定期进行自动备份处理，以增强系统数据的安全性，同时增强自动处理事务能力，可以在不处理日常业务的时间里进行此项工作。
●精确备份时间策略：可精确到小时级的备份时间计划，让备份数据更精准完善。
●智能备份路径选择：可智能选择备份路径，根据存储空间的使用情况来智能选择备份位置，且与原位置不同，保证原主机或存储故障后，能从其它备份位置恢复。也可选择客户简单易用的Windows共享目录实现快速易用的备份。
4.1.2 高效P2V
通过XXXVMP Convert实现快速的物理机迁移虚拟机，跨平台的虚拟机迁移虚拟机。而整个虚拟化迁移过程不超过5分钟，业务中断在2分钟以内。也可实现快速虚拟机平台还原回物理机的回滚，保证业务数据不丢失。
4.1.3 虚拟化运维工作更简单
免插件控制台：免插件的控制台访问VM，提升用户体验
一键新增虚拟机：通过简单设置，快速创建虚拟机
自动故障处理：系统故障时提出专家解决方案，快速恢复系统及应用
批量新增虚拟机：为经常重复的工作内容提供自动化操作平台
4.2 高安全性虚拟化平台保障
4.2.1 虚拟化整体安全防护
通过整合XXX的整体安全防护平台，可实现整体虚拟化解决：
●边界虚拟设备，为虚拟数据中心提供简单、高效、低成本的集成式安全网关服务，例如防火墙、负载平衡、NAT 和 VPN等。
●应用虚拟网卡级防火墙，基于可信级别隔离保护虚拟数据中心的关键应用
●数据安全为应用安全提供虚拟资源中敏感数据发现，辅助IT组织快速的评估法规遵从状态
●通过使用虚拟设备（而不是专门构建的硬件）
●提供第 4 层至第 7 层安全防护服务来节省成本。
●能够隔离共享基础架构中的关键应用，从而实现合规性目标
4.2.2 虚拟化文件系统加密
通过高强度加密的XXX虚拟化文件系统，保证数据安全。通过添加每用户的密钥实现加密功能提高安全性。非法人员即使盗走保存有机密数据的硬盘或者虚拟机虚拟硬盘文件，也能够防止其数据被其他用户或外部攻击者未经授权的访问。
4.2.3 底层防攻击
合入XXXNGAF多年的安全积累的防攻击模块，保障底层Hypervisor更安全,最大限度的控制网络系统，加强边界访问控制权限的建立，降低安全风险,消除网络系统、操作系统、本身存在的大量弱点漏洞和认为操作或配置产生的与安全策略相违背的系统配置，减少入侵者成功入侵的可能；加强网络系统入侵行为的检测和防御能力，有效阻止来自外部的攻击行为，同时也防止来自内部的违规操作行为；通过加固手段切实提高操作系统的安全级别，保证系统安全.
4.3 智能虚拟系统可用性
●系统故障恢复：虚拟机系统故障检测，虚拟机内部系统蓝屏，或者CPU 利用率100%卡死虚拟机操作系统时，XXX VMP HA可侦测病重启该虚拟机。
●资源保障及控制：通过调整不同业务虚拟机的CPU，内存等计算资源的优先级，保障关键应用计算资源需求，提升高优先级系统的可用性
4.4 高性能虚拟化平台
●块数据缓存：实现针对文件系统的块数据缓存，通过提升大文件读取速度，优化用户体验。
●历史数据预取：精准读取虚拟机历史块数据，加快系统开机速度
●SCSI虚拟化硬盘加速：通过优化SCSI磁盘驱动，整体提升磁盘I/O性能。
