华为云计算HCIE笔记04

第五章：华为云Stack标准组网

目前华为云Stack的标准组网是分为了单核心、双核心以及三层组网架构三种模式。

单核心组网指的是Spine层面上只有一个核心（两台交换机做stack堆叠，逻辑上就是1台设备），所有的流量转发都需要通过该核心进行操作。即管理、业务、存储流量的跨网络转发都通过一套核心系统进行传输。

双核心指的是我们将管理和业务流量进行区分，管理核心只负责转发管理流量，注意这里的管理流量指的并不是底层的管理流量，而是OpenStack的管理流量，比如Cascading_External_OM。业务流量就是正常的数据流量和业务流量。

三层组网指的是网络架构采用了三层结构，即相较于二层组网，三层组网使用leaf、spine、border leaf三层网络架构进行流量转发，数据的集成度会更高。需要注意的是，三层组网只支持单核心组网，即spine层只有一套核心，管理+业务+存储由一套核心进行转发。

对于底层的服务器和终端来说，我们接入HCS只能使用2/4/6/8网口，其中2网口（端口绑定）代表管理、业务、存储混用一套端口进行转发。4网口（2套端口绑定）代表管理、业务混用一套端口，存储独享一套端口。6网口（3套端口绑定）代表管理、业务、存储独享一套端口。8端口是比较特殊的，8端口专用于网络节点的连接，4组绑定端口负责接入管理、vRouter、NAT-Lbass、Nginx四种角色的流量

需要注意的是，2端口因为其比较高的集成度，所以不推荐也无法使用高阶云服务。一般建议中小规模的HCS，使用4端口进行转发，大型HCS数据中心，使用6端口进行转发，仅当测试场景以及小规模应用的时候，可以选择2端口进行集成；

单核心的特点在于其低成本、搭建便捷、安装和部署速度较快，但是单核心流量比较集中，并且安全程度比较低

双核心的特点在于将管理区和业务区进行了划分，分区清晰首先利于网络安全性的控制，其次业务流量的转发性会更强，对于大流量的业务支持度会非常好。但是双核心的造价成本会相对比较高，高在两个角度上，第一个是服务器尤其是计算节点，要求必须是6端口，即管理+业务+存储分离，第二个是核心交换机需要比较好的设备，因为设备数的增加会导致整体数据流量的增加，那么就需要能够提供足够包转发率的设备。

三层组网即在二层组网的基础上添加了border leaf层，三层组网必须选择一对spine（三层组网一定是单核心组网），三层组网的优势在于可以减少二层域范围（VXLAN广播域范围），扩展性比较强，可以支持从单核心转为双核心，扩展性和灵活性比较好。支持2/4/6三种端口模式。一般推荐在已有网络架构的前提下，进行HCS部署，先满足使用需求，后期可以利用其比较好的扩展性和变化性，进行扩展或者是升级。

单核心组网

支持2/4/6网口接入，如果单核心选择2网口接入，那么底层接入交换机就可以不区分管理、存储和业务交换机。如果选择4网口接入，那么管理和业务共用一套接入交换机，存储单用一套接入交换机，如果是6网口，那么如图，三种流量独享交换机。

从这个模式中其实也就可以看出核心的多少实际上和底层服务器的接口数量实际上是没有联系的，服务器到底要多少接口，主要决定于接入交换机分为几种角色。单核心双核心决定的是接入交换机的流量要怎么样进行汇聚和转发。

管理TOR主要是负责转发OpenStack的管理流量的，管理墙是负责运维管理人员接入的，两种管理的含义是不同的，需要注意区分。

如果没有接入交换机是否可以？

可以，但是这会在极大程度上消耗核心的资源，并且在DC中实际上所有接口都接入核心是违规行为，连线跨柜对于后期的维护来说是具有极高难度的，所以不推荐。另外连线直接上核心也是一个错误的做法，因为在DC中尤其是在HCS中实际上很多流量是东西向流量，并不是南北向流量。所谓东西向流量简单来说就是在DC内部进行互相转发的流量，并不会经过spine的转发，而是在leaf层之间进行互转，南北向流量就需要通过leaf——spine——出口的转发路径对外进行数据转发。如果所有设备都接入到核心，那么核心就承担了整个HCS的所有东西向和南北向流量，这就会导致核心的包转发率异常的高，甚至在业务高峰期会超出核心的转发能力，而本身在大量的数据转发中，东西向流量是占据了大部分的，所以我们不推荐也不能将所有的连线都直接接入到核心。

双核心组网

双核心组网核心优势在于分割了管理和业务，底层服务器具体使用2/4/6端口实际上还是和核心数量无关的，看的是接入交换机的类别划分。不论底层怎么进行接入，实际上来说核心层都是只划分管理和业务的。在图中，管理区管理TOR指的是OpenStack的管理流量，OBS区指的是存储（OceanStor Patific或者是OBS存储或者是物理存储）业务的接入，提供存储空间，业务区的管理TOR指的是Openstack的被管理流量，也就是规划中的Cascaded流量，业务TOR就是转发实际的业务流量的，存储TOR是服务器使用存储空间的接入。

三层组网

相较于二层组网，三层组网是有三层网络架构的，在DC中就涉及到了leaf——spine——border leaf。在三层网络中，底层的接入vxlan是通过接入交换机的二层网络配置实现的，但是leaf到spine和border leaf之间就是通过三层网络架构实现的。也就是说二层网络中，接入交换机一般会承担NVE的功能，但是VXLAN的三层转发VBDIF是由Spine核心节点实现的。而在三层网络中，由于二层网络架构和三层网络架构都是在leaf层实现的，所以NVE和VBDIF都是在leaf接入交换机实现的。即我们将二层网络和三层网络在leaf层面上做了隔离，这种结构就适合于原本DC就已经部署了三层网络架构，但是我们又需要HCS二层网络通信，这个时候就可以在原本的三层架构上，部署二层通信。

第六章：组网设计需求

单核心

核心交换机必须是2台，不然不构成单核心的需求，2台做堆叠

接入TOR根据服务器的数量决定，至少是1组

外部接入TOR需要使用CE系列交换机或FM交换机，一般建议实现华为CE6800系列

数据库存储TOR，如果有部署云数据库业务则需要进行选择，数量按需配置

管理墙，主要负责外部接入管理的安全，可以不配置，但是属于非标准化，至少需要1台，标配2台主备

运维墙，在特殊场景下专门给运维接入使用的防火墙，保障安全使用，主要是负责给长线运维的（华为远程接入运维服务，需要单独购买）

BMC-TOR，分为了两个部分，一个是服务器BMC接口的接入，受限于BMC接口数量比较多，所以一般还需要配置BMC的汇聚

存储TOR，负责存储设备或者是分布式存储的接入，提供存储空间，如果设备数量比较多，也需要存储汇聚交换机。

运维管理模块

华为云全球运维中心，通过IPSec VPN接入到私有云，进行运维使用，流量通过华为云运维中心发起，转发到运维墙，运维墙选配堡垒机，保护内网安全，流量会被转发到BMC汇聚交换机，然后转发到具体的BMC的接入交换机，最终到达实际的服务器底层，进行运维维护。

需要注意的是，BMC的汇聚还要连接到核心交换机，用于内网运维使用。BMC的汇聚交换机还要接入管理区TOR，用于HCS平台管理使用。所以综合总结

华为云——运维墙——BMC汇聚——BMC接入：远程运维

BMC接入——BMC汇聚——核心：内网运维（底层）

BMC接入——管理TOR——核心：HCSD安装部署维护使用

管理业务模块

管理业务模块流量转发为：

管理节点——管理区TOR——核心——业务TOR——业务节点

流量从管理节点出发，发送的是Cascading，OpenStack管理区流量，流量通过以上路径到达业务节点之后，业务节点反馈Cascaded流量，进行HCS管理流量的拉通。

网络节点接入方案1：

管理+存储、业务、存储

其中网络节点管理+存储合设，因为网络节点对于存储空间的使用是比较少的，占用的存储空间并不多，所以和管理流量合设，业务流量（网络转发流量）是单独使用端口的。存储流量并不是管理+存储流量，网络节点的管理+存储流量是网络节点自己使用的存储流量，而单独的存储流量是转发的存储流量，也就是对外提供存储服务的流量，比如SDRS的流量。

网络节点接入方案2：

管理、业务、存储

这种方案的实现相比于方案1的区别在于网络节点实际上并没有使用外部存储空间，这就要求网络节点服务器使用自身的存储空间，业务流量和存储流量没有变化。

计算节点：计算节点2网口，要求管理+业务+存储合一，但是需要注意这种模式对于网络接口的流量压力是非常大的，所以一般来说计算节点2网口模式只适用于2种场景，第一种就是网络流量压力不大的测试场景。第二种就是客户预算不足的情况，这种情况下为了保证正常使用，我们推荐计算节点的网口至少要配置25GE网口

存储服务器：

（1）传统存储：管理、存储，管理负责接入MangeOne，存储负责提供空间，尤其是EVS云硬盘服务

（2）NAS存储：NAS存储是外部存储，HCS没有管理权限，所以接入HCS的NAS只需要连接存储线即可

（3）eBackup：华为备份容灾节点，一般来说eBackup是以虚拟机的形式部署在HCSD上的，但是如果是物理机部署，就会涉及管理、业务、存储三方接入，管理负责对备份容灾进行业务管控，业务负责接收备端Agent的流量，存储负责将要备份的介质的数据转发到存储空间

（4）IPSAN业务：三方扩展存储使用，只提供存储空间，管理由外部进行管理

BMGW：裸金属网关，负责裸金属服务器的流量转发使用，管理、业务（BMS流量转发使用）

BMS：裸金属服务器

接入模式1：

如果BMS接口数量比较多，可以选择存储、业务分设，这种情况下管理是依赖外部管理的，BMS以资源的形式添加进HCS

接入模式2（常用）：

管理+业务合设模式，存储需要BMS自己提供或者是使用SAN存储的空间。

SFS：文件共享服务，管理、业务，业务指的就是存储空间的提供，SFS可以单独对外提供服务（网盘），那么SFS单独对外的时候，不能通过业务TOR和核心交换机路径转发，需要单独的SFS进行提供，另外SFS后端还需要专门的TOR进行维护

DEW数据加密服务：管理、业务

OBS模块

OBS根据版本实际上链接方式是有区别的，目前常用的是OBSv3，OBSv3由LVS和Node两个部分组成，其中LVS负责整体业务层面的负载均衡，Node负责的是实际的空间提供和数据存储。

OBS_LVS，OBS负载均衡2节点，主备，管理+业务合设，因为整体流量不高，基本以请求为主，不涉及数据传输

OBS Node负责实际数据存储，所以分为了业务、管理+存储+业务，实际上Node分为了两种模式，一种是合设法，管理、业务、存储共用一套端口，另一种是业务提供，即提供存储空间对外

Spine区域

管理墙负责对整体管理流量进行安全性检测，同时SSL网关也是在管理墙上，负责外部远程接入。正常情况下，外部和内部的连接都需要遵循外部——出口PE——核心——管理墙——核心——业务TOR。非正常情况下（站点连接，即区分总部站点和分支站点）企业多站点互联可以使用外部接入TOR直接连接核心到业务TOR。因为非正常情况下，业务流量不过管理墙，所以一般适用于有互信的情况下，比如3DC，总部-分支站点连接的情况。

单核心计算节点4网口

运维区、接入区和2网口模式相同，不再赘述

单核心情况下，不论是多少接口，变化的只有业务区，其他区域不会有任何区别。

相较于2接口而言，4接口会将存储流量进行单列，因为在实际的HCS业务中，管理和业务流量本质上都不是特别高，流量主要是以存储流量为主。所以4接口模式下，一般都会分配一组端口专门用于跑存储流量使用，所以也会有专门的存储TOR交换机。

数据库存储模块

数据库存储模块主要是包含两个内容，一个是数据库存储服务器，本质上是华为分布式存储，也可以使用IPSAN存储，但是一定要保证单列存储，不共用。为了保证数据安全。

数据库存储需要连接管理接口到管理区TOR，存储接口连接专门的数据库存储TOR，其和业务区的存储TOR是隔离的，用户在使用数据库（特指GaussDB系列服务）的时候，是通过专门的数据库存储TOR连接数据库存储的。

流量路径为：

用户——出口PE——核心交换机——业务TOR——计算节点—（前端与后端的区分点）—数据库服务器——存储TOR——数据库存储TOR——数据库存储服务器

系统容器层

容器服务是一个单列服务，不依赖于ECS计算节点和BMS计算节点，HCS部署容器服务是需要分配单独的物理服务器的，用于构建CCE云容器服务以及相关的配套服务，比如SWR……。容器和数据库存储服务器是布置在一起的，两者共用数据库存储TOR。因为云原生微服务框架下，容器的部署和业务的提供需要大量使用数据库服务提供数据记录支持，所以将两个业务放在一起，可以有效的减小业务访问延迟。

容器业务分为管理+业务、存储，管理业务还是接入到业务区TOR，存储就依赖数据库存储TOR连接

网络节点不受到计算节点接口数的影响的，网络节点在4接口模式下根据实际情况进行设计，图中目前是管理、业务、存储分设

计算节点在4接口模式下，会将流量比较高的存储单列，分为管理业务、存储进行设计

存储服务器就分为了管理、存储，存储服务器的业务就是存储所以存储服务器本身就只需要最多4接口即可

NAS和2接口相同，只提供业务，管理通过外部实现

ebackup同2接口模式，接口数量不受限，至少需要6接口（ebackup在实际交付阶段，使用2接口甚至是1接口也能使用，但是非常不建议，因为流量太大，会导致进程严重卡死）

其余所有进程都和2接口模式相同，不在赘述

单核心计算节点6网口

在6网口情况下，本质上大部分的内容和2网口4网口没有很多的区别，因为单核心其实就已经决定了网口的功能分布，只是计算节点根据业务量的大小和存储数据量的大小进行划分。在这个前提下，6网口一般是适用于业务量比较高的场景，这种场景对于存储的需求同样也是比较高的，所以我们需要通过海量存储设备实现对于业务的底层支撑，这种情况下就需要通过存储汇聚方案进行实现，需要注意的是，存储汇聚方案是可选的，并非必选，我们可以按照2网口或者4网口的模式进行业务提供，存储汇聚更多情况下是为了面对海量数据的集中管理所设置的、

在6网口模式中，首先数据库存储区没有发生比较大的变化，和4网口模式是相同的。相较于前面两种情况，6网口新增了存储光交，即我们进行通信的时候，后台存储SAN网络需要通过光纤交换机进行业务提供，而并非传统的数据中心交换机或者是CE系列交换机。为什么只有存储设备才需要光交呢？光通信的优势在于2个点，第一个是存储光网络可以保证在数据传输的过程中，绝对不丢包。对于海量数据传输的大规模场景是非常适用的；第二个是存储使用光网络可以单次传输大包，更适合我们进行海量数据的一次性传输（传统以太网络单个包的大小是1506bit，选择使用FC-SAN之后，可以通过开启FCoE，将单包大小拉到9000bit，所以在大规模场景下，选择FCSAN搭配FCoE是更合适的）

存储业务FCSAN网络对外提供的是基于光的网络传输，SAPHANA是基于存储的备份管理软件，安装在单独的服务器上，所以SAPHANA需要连接存储、业务和管理网络。

网络节点配置同2网口和4网口

计算节点在6网口情况下，需要管理、业务、存储分布，这种模式对于业务的整体使用是安全且高性能的，但是同时成本就会达到最高、

其他所有相关节点的连接都没有发生变化，同2网口和4网口

单核心组网总结

双核心组网架构

单核心和双核心的区别就在于核心层面即Spine层面上需要几组核心交换进行连接，如果用户的业务量比较大，我们是推荐使用双核心组网，将管理和业务进行分离。

和单核心不同的是，双核心组网没有2网口和4网口模式，起步就是6网口模式，因为双核心本身业务量就是比较大的，在核心已经区分了管理和业务的前提下，就不能考虑底层做低配。必须要按照顶配思路进行设计，所以双核心就是目前HCS的最高配置方案。

运维区相较于单核心，本身没有发生变化，还是遵循华为云全球运维中心-运维墙-堡垒机-BMC汇聚-BMC接入的转发流程，但是区别在于双核心场景下，出口PE会连接一条线到运维墙（该线按需配置）。

管理区新增管理核心之后，所有负责管理相关的设备和流量都要转发到管理核心，尤其是管理墙进行安全保证的，所有的管理区TOR，不论底层还是HCS的管理TOR都需要接入管理核心，管理流量在双核心场景下，正式完全独立。包括外部SSL接入也是通过管理墙接入到管理网络中。

业务区所有的流量都要接入到业务核心，业务核心下辖数据库存储TOR、业务TOR、存储TOR、存储光交网络

相较于单核心网络，双核心网络的业务区整体功能设计非常简单，因为交换机已经全部按功能独立开了，所以交换机TOR至少有三个类型，分别是管理TOR，业务TOR，存储TOR。底层服务器计算节点6接口，6接口就分为三组，接入到三组TOR中。其他的所有设备的连接，均遵循单核心原则

单核心组网中，多region是以每个region各自拥有管理业务核心进行对接的方式链接的。但是在多核心中，因为管理业务核心分布，所以双核心场景中，每个region只有业务核心，管理核心统一，便于一套管理核心对多个region进行统一管理。针对于该情况，我们有两种部署方案，第一种就是将管理区放在主站点上，第二种就是使用3DC模式，将管理区独立站点部署。对于大规模部署的场景，我们一般是建议选择后者，即独立部署管理区，这样做更有利于安全性保证。最终实现两个生产站点+1个管理站点的模式。

多region模式下，如果两个站点都是独立站点，那么就每个站点各有管理核心和业务核心，管理核心之间互联，业务核心之间互联、保证管理和业务核心网络之间的连接

三层组网

三层组网必须是单核心模式

三层组网分为了leaf接入节点，spine转发节点以及border leaf节点。该方案的优势在于减小了二层域，可以有效隔离广播流量，提升系统效率。另外整体成本比较低，可以进行灵活扩展。第三就是三层组网可以在现有DC网络上做最小化改造即可进行部署，对现有业务的影响比较小。最后三层组网对管理平面和业务平面没有隔离需求。所以部署难度也非常低。