Openstack 与 Ceph集群搭建(下)： Openstack部署

server/2024/10/20 8:36:59/

文章目录

  • 文章参考
  • 部署节点准备
        • 1. 修改Host文件与hostname名称
        • 2. 安装NTP软件
        • 3. 网卡配置信息
        • 4. 开启Docker共享挂载
        • 5. 安装python虚拟环境
        • 6. 安装kolla-ansible
        • 7. 加载Ansible galaxy requirements
  • Openstack 安装前预配置
        • 1. 配置密码
        • 2. 配置multinode文件
        • 3. 修改全局配置文件
  • Openstack正式安装
        • 1. 启动bootstrap-servers
        • 2. 预环境检查
        • 3. 拉取镜像
        • 4. 安装
  • Openstack初始化及优化
        • 1. 安装openstack client
        • 2. 生成openrc文件并导入
        • 3. 平台初始化
        • 4. 登录Dashboard
        • 5. 下载并上传镜像
        • 6. 建立ssh-key
        • 7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。
        • 8. 创建VM网络
        • 9. 创建路由器
        • 10. 连接内外网络
        • 11. 建立安全策略
        • 12. 创建flavor模板
        • 13. 创建虚拟机
      • 14. 配置支持VLAN
      • 15. 解决虚拟机创建超时问题

文章参考

Openstack 官方对接ceph文档
Openstack 与 Ceph集群搭建(上)： 规划与准备
Openstack 与 Ceph集群搭建(中)： Ceph部署
Openstack 与 Ceph集群搭建(下)： Openstack部署
Openstack 与 Ceph集群搭建(完结)： 配置Ceph作为Openstack后端存储
前面文章对集群的规划已经做了详细说明，并完成了Ceph集群的部署，接下来就是最重要的Openstack集群部署了。
环境描述：

项目描述说明
系统Ubuntu Server 22.04 LTSOpenStack 2022调研显示：受众多，文档丰富
docker在ceph环节已经安装
python33.10系统默认安装
kolla-ansiblekolla-ansible-16.5.1.dev55
Openstack2024.01
Ceph18.2.2

部署节点准备

1. 修改Host文件与hostname名称

请参考ceph安装部分

注意：节点hostname名称应与hosts文件保持一致。

2. 安装NTP软件

请参考ceph安装部分

3. 网卡配置信息

注意：以下网卡名称因各自环境不同而不同，但是OpenStack需要至少两张网卡，一张用于集群通信，另一种用于其中的虚拟机通信，用于虚拟机通信的网卡根据OpenStack部署的网络不同而不同。Flat对应access接口；Vlan对应Trunk接口。

如规划设计篇的架构图，其网卡配置如下：

  • vlan1250：管理网
  • bond0：用于给Openstack虚拟机使用的网络，由于OpenStack 网络部署为Vlan模式，在屋里交换机需要配置Trunk接口， bond0 也为Trunk接口； 若部署为flat模式，则模式为access。本文将部署为Vlan模式。
4. 开启Docker共享挂载

在Openstack 全节点执行；所谓共享挂载即同一个目录或设备可以挂载到多个不同的路径并且能够保持互相之间的共享可见性，类似于 mount --shared。在 OpenStack for Kolla 中，主要解决 Neutron 的 namespace 在不同 container 中得以保持实效性的问题。

如果以下路径或文件不存在，创建新目录和文件即可。

# 创建文件夹
mkdir /etc/systemd/system/docker.service.d# 创建文件及编辑内容
tee /etc/systemd/system/docker.service.d/kolla.conf << 'EOF'
[Service]
MountFlags=shared
EOF
5. 安装python虚拟环境

python虚拟环境用于kolla-ansible使用。该步骤非必须项，但推荐使用虚拟环境运行ansible。
该部分在部署节点上执行。使用虚拟环境主要用于避免与系统包冲突。

# 安装基础依赖包
apt update
apt install git python3-dev libffi-dev gcc libssl-dev
apt install python3-venv# 创建虚拟环境并激活
python3 -m venv /path/to/venv
source /path/to/venv/bin/activate# 升级pip 到最新版本
pip install -U pip# 安装ansible： 这里针对不同版本的OpenStack，需要查询官方文档。
pip install 'ansible-core>=2.15,<2.16.99'  # for Openstack 2024.1 本文使用
pip install 'ansible-core==2.14'   # for 2023.2/2023.1
6. 安装kolla-ansible

在部署节点执行：

# 指定2024.1 版本的Kolla
pip install git+https://opendev.org/openstack/kolla-ansible@stable/2024.1# 安装最新版
# pip install git+https://opendev.org/openstack/kolla-ansible@master# 创建/etc/kolla目录及授权
mkdir -p /etc/kolla
chown $USER:$USER /etc/kolla# 复制 globals.yml and passwords.yml 到 /etc/kolla directory.
cp -r /path/to/venv/share/kolla-ansible/etc_examples/kolla/* /etc/kolla# 复制inventory文件到当前文件夹： 包括单节点与多节点配置
cp -r /path/to/venv/share/kolla-ansible/ansible/inventory/* /etc/kolla/.
7. 加载Ansible galaxy requirements

部署节点执行：

kolla-ansible install-deps

Openstack 安装前预配置

请确保在python虚拟环境中操作，避免冲突。

1. 配置密码

默认密码存放于/etc/kolla/passwords.yml且密码为空，可使用下面的命令生成随机密码：

kolla-genpwd

注意：需要单独修改keystone的密码，用于horizon登录，否则随机密码输入很困难。其次建议修改grafana的秘密

编辑文件：/etc/kolla/passwords.yml 

# 将keystone的密码修改为 KEYSTONE_PASS，便于用户从UI输入
keystone_admin_password: KEYSTONE_PASS
grafana_admin_password: xxxx
2. 配置multinode文件

该文件位于/etc/kolla/,作用是定义各节点角色，其名称需要与hosts文件严格一致。

配置说明如下：

#[xxx]代表一组对象，kolla根据各组所包括的节点进行功能定位与配置下发。 
#控制节点组
[control]          # 组名
node-01		   # 组成员
node-02
node-03# 网络节点
[network]
node-01
node-03#计算节点
[compute]
node-01		  
node-02
node-03# 监控节点
[monitoring]
node-01
node-02
node-03# 存储节点： 若对接ceph， 可以配置为node-01，但不能留空
[storage]
node-01# 部署节点： 也就是运行kolla-ansible的节点
[deployment]
localhost       ansible_connection=local# 其他节点，默认继承现有组，保持默认即可
[baremetal:children]         # 子组
control						 # 继承[control]组
network
compute
storage
monitoring[tls-backend:children]
control[common:children]
control
network
compute
storage
monitoring[collectd:children]
compute[grafana:children]
monitoring

检查配置是否正确：

通过执行以下命令检查部署节点是否能与目标节点(multinode所定义的节点)进行免密登录。

ansible -i /etc/kolla/multinode all -m ping
3. 修改全局配置文件

/etc/kolla/globals.yml，该文件定义OpenStack所需要安装的服务。因为顺序原因，这里只做了基本的网络配置，在对接ceph的文章中将展示完整配置，大家也可以直接使用完整配置替代以下配置：

cat > /etc/kolla/globals.yml <<EOF
---
kolla_base_distro: "ubuntu"
kolla_internal_vip_address: "10.148.250.253"
network_interface: "vlan1250"
neutron_external_interface: "bond0"    # vm网络
nova_compute_virt_type: "kvm"   # 如果是使用虚拟化部署，此选项必须选择qemu， 如果是物理机，默认是kvm

Kolla-Ansible 將 OpenStack 網路分為幾種

  • API interface 為 OpenStack 內部個元件互相溝通還有存取 database 的介面，建議使用內部網路。
  • External VIP Interface 為 OpenStack 對外的 endpoint
  • Storage Interface 是 OpenStack VM 跟 Ceph 溝通的介面，建議使用 10G 以上的網路
  • Cluster Interface 是 Ceph 內部複製檔案的網路介面，也是建議使用 10G 以上的網路
  • Tunnel Interface 是 OpenStack VM 對 VM 網路溝通走的介面
  • Neutron External Interface 是提供 VM 對外網路的介面，floating IP 的 flat / vlan 網路也是走此介面，須為獨立的的介面上不能用 IP

除了 Neutron External Interface 需要為獨立的介面以外，其他網路都可以共用介面，預設壞帶入 network_interface 的值

Openstack正式安装

1. 启动bootstrap-servers

为各节点配置基础环境且会下载大量包请务必保证节点网络的正常

kolla-ansible -i /etc/kolla/multinode bootstrap-servers -vvvv
  1. 上述命令在执行过程中如果报错， 若内容是因为python虚拟环境导致。 可参考以下解决方案：
# 创建文件
mkdir -p ~/.config/pip# 增加以下内容
[global]
break-system-packages = true
  1. 如果报错docker 起不来，解决方案：
systemctl daemon-reload 
systemctl start docker
systemctl enable docker
  1. 如果重启后ceph docker容器不启动，直接重启物理服务器； 重启后执行以下命令确保API正常：
 ceph restful restart

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：在这里插入图片描述

2. 预环境检查
kolla-ansible -i /etc/kolla/multinode prechecks -vvvv

如果提示"msg": "Hostname has to resolve uniquely to the IP address of api_interface"说明hosts文件有重复条目，注释即可。

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述
若报错没有 docker模块， 则需要退出虚拟环境(断开会话重新连接即退出)，然后执行pip install docker,安装python docker模块。

3. 拉取镜像
kolla-ansible -i /etc/kolla/multinode pull -vvvv

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

4. 安装
kolla-ansible -i /etc/kolla/multinode deploy -vvvv

输出内容(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

Openstack初始化及优化

此部分有会有些笨办法，各位大佬可以多给点意见：
以下操作均在部署节点操作。

openstack_client_293">1. 安装openstack client

在哪台设备上操作openstack就在哪台设备安装。

apt  install python3-openstackclient
2. 生成openrc文件并导入

生成用户名密码文件，执行openstack命令前必须要使用。

kolla-ansible post-deploy
. /etc/kolla/admin-openrc.sh
3. 平台初始化
# 自动建立demo project，建议手工建立
source /etc/kolla/admin-openrc.sh #init-runonce 文件可以从kolla-ansible下载，如果在本地找不到的话
/usr/local/share/kolla-ansible/init-runonce
4. 登录Dashboard
http://yourIP
# admin / yourpassword
# 在/etc/kolla/admin-openrc.sh里查询
5. 下载并上传镜像

cirros是极小化linux，可使用它完成相关实验。如果导入其他image留给大家自行研究。

# 下载镜像
wget http://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img#上传镜像
glance image-create --name "cirros" \--file cirros-0.4.0-x86_64-disk.img \--disk-format qcow2 --container-format bare \--visibility=public
6. 建立ssh-key
# 建立sshkey
ssh-keygen -q -N ""openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey
7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。

创建VLAN100 的 172.16.100.0/24网络，GW 172.16.100.254

openstack network create --share --external --provider-physical-network physnet1 --provider-network-type vlan VLAN100
openstack subnet create --network VLAN100 --allocation-pool start=172.16.100.100,end=172.16.100.120 --dns-nameserver 8.8.8.8 --gateway 172.16.100.254 --subnet-range 172.16.100.0/24 VLAN100
8. 创建VM网络

创建Openstack内部虚拟网络给虚拟机使用，该网络需要通过Openstack 路由器与 外部网络连接

openstack network create vm-net172
openstack subnet create --network vm-net172 --dns-nameserver 8.8.8.8 --gateway 172.16.1.254 --subnet-range 172.16.1.0/24 vlan172016001
9. 创建路由器
openstack router create vm-router-01
10. 连接内外网络
openstack router add subnet vm-router-01 vlan172016001
openstack router set vm-router-01 --external-gateway external
openstack port list
11. 建立安全策略
openstack security group rule create --proto icmp default
openstack security group rule create --proto tcp --dst-port 22 default
12. 创建flavor模板
# 建立模板
openstack flavor create --id 0 --vcpus 1 --ram 256 --disk 1 m1.nano
openstack flavor create --id 1 --vcpus 1 --ram 2048 --disk 20 m1.small
13. 创建虚拟机
openstack server create --image cirros --flavor m1.nano --security-group default --key-name mykey --network vm-net172 instance01

14. 配置支持VLAN

在所有网络节点编辑配置 /etc/kolla/neutron-server/ml2_conf.ini 

[ml2]
type_drivers = flat,vlan,vxlan
tenant_network_types = vlan                      # 千万不要写 vxlan,vlan 否则dashboard要报错
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security[ml2_type_vlan]
network_vlan_ranges = physnet1:1:4094					# 添加 physnet1:1:4094	[ml2_type_flat]
flat_networks = physnet1[ml2_type_vxlan]
vni_ranges = 1:1000

执行命令重启容器生效：docker restart neutron_server

15. 解决虚拟机创建超时问题

在/etc/kolla/config/nova/nova-compute.conf

[DEFAULT]
block_device_allocate_retries = 600

然后重新配置nova即可


http://www.ppmy.cn/server/107032.html

相关文章

mrbs在windows下的完整设定

mrbs在windows下的完整设定

mrbs完整设定 操作系统&#xff1a;Windows Server 2019 Standard&#xff08;桌面体验&#xff09; Apache 2.4.59-240605 Win64.zip&#xff08;http://httpd.apache.org/&#xff09; mysql-8.0.37-winx64.zip&#xff08;https://dev.mysql.com/downloads/&#xff09; php…
阅读更多...
打卡学习Python爬虫第五天|使用Xpath爬取豆瓣电影评分

打卡学习Python爬虫第五天|使用Xpath爬取豆瓣电影评分

思路&#xff1a;使用Xpath爬取豆瓣即将上映的电影评分&#xff0c;首先获取要爬取页面的url&#xff0c;查看页面源代码是否有我们想要的数据&#xff0c;如果有&#xff0c;直接获取HTML文件后解析HTML内容就能提取出我们想要的数据。如果没有则需要用到浏览器抓包工具&#…
阅读更多...
bypass disable_function绕过

bypass disable_function绕过

目录 disable_function简介 LD_PREELOAD(最好用的一个方法) 禁用的函数 服务器上有sendmail这个服务 服务器上没有sendmail这个服务 例子&#xff1a;蚁剑靶场第一关 源码地址 开始测试 ​编辑 结果 Apache Mod CGI 禁用的函数 利用条件 使用 php-fpm 环境搭建 …
阅读更多...
Shopify/shopline等独立站paypal快速提现到国内银行卡

Shopify/shopline等独立站paypal快速提现到国内银行卡

做shopify/shopline/shopyy/shoplazza独立站用得最多的收款方式为paypal。 下面介绍如何把paypal里面的资金提现到我们国内银行卡&#xff0c;收款工具是GeeWallet。 1、注册GeeWallet注册入口 2、打开链接&#xff0c;填入手机号或者邮箱&#xff0c;点击立即注册 3、在注册…
阅读更多...
FineBI修改地图配置

FineBI修改地图配置

前言 在使用FineBI绘制地图时&#xff0c;有时候我们可能发现FineBI中的默认地图模型不是最新的&#xff0c;导致某些地区的区域地图与现实不一致&#xff0c;比如说FineBI的默认地图中深圳地图没有大鹏新区&#xff0c;并且将现在大鹏新区的地方标记为了龙华区&#xff0c;为…
阅读更多...
C++：类和对象（二）

C++：类和对象（二）

欢迎来到HarperLee的学习笔记&#xff01; 博主主页传送门&#xff1a;HarperLee的博客主页 个人语录&#xff1a;他强任他强&#xff0c;清风拂山岗&#xff01; 一、类的默认成员函数 如果一个类里面什么的成员都没有&#xff0c;我门将其简称为空类。但是空类里面真的什么都…
阅读更多...
分布式百万商户架构之缓存技术 本地化及未来之窗行业应用跨平台架构

分布式百万商户架构之缓存技术 本地化及未来之窗行业应用跨平台架构

如果数据读取速度比文件读取慢&#xff0c;将数据缓存到文件有以下优点&#xff1a; 一、提高读取效率 当需要反复访问某些数据时&#xff0c;从缓存文件中读取可以大大减少读取时间。因为文件系统通常会对文件进行一定程度的优化&#xff0c;使得文件的读取更加高效。而相比之…
阅读更多...
Florr.io 第一章 策略/流派分析

Florr.io 第一章 策略/流派分析

目录 1前言2作者3正文 3.1召唤流3.2叶流3.3翅膀流3.4反伤流3.5骨轮流 前言 本文将分析现在常用的流派&#xff0c;研究它们的优缺点和经典构筑&#xff0c;以及一些建议。经验来自个人&#xff0c;评判可能会有不实的地方&#xff0c;欢迎指出。第三只眼和罗勒推出后&#x…
阅读更多...
最新文章

Copyright @ 2022~2023