gitlab使用多数据库

embedded/2025/1/21 11:02:00/

1. 说明

默认情况下，GitLab 使用一个单一的应用数据库，称为主数据库。为了扩展 GitLab，您可以将 GitLab 配置为使用多个应用数据库。

设置多个数据库后，GitLab 将使用第二个应用数据库用于 CI/CD 功能，称为 CI 数据库。我们并不排除将这两个数据库托管在单个 PostgreSQL 实例上。

主数据库和 CI 数据库中的所有表结构完全相同。
• 当配置了多个数据库时，ci_pipelines 表会同时存在于主数据库和 CI 数据库中，但 GitLab 只会在 CI 数据库的 ci_pipelines 表中进行读写。
• 同样，projects 表存在于主数据库和 CI 数据库中，但 GitLab 只会在主数据库的 projects 表中进行读写。
• 对于某些表（如 loose_foreign_keys_deleted_records），GitLab 会在主数据库和 CI 数据库中同时进行读写。请参见开发文档。

2. 配置

主要修改gitlab 的主配置文件（/etc/gitlab/gitlab.rb）

gitlabgitlab__12">2.1 gitlab开放端口（gitlab 自带的数据库组件）

开放数据库的端口分两部操作

2.1.1 postgresql 的配置

数据库机器的 IP 为10.100.10.53

postgresql['listen_address'] = "0.0.0.0"
postgresql['port'] = 5432
postgresql['sql_user'] = "gitlab"
postgresql['sql_user_password'] = '0873d907a1dbffa91bae86d744306549' #通过该命令生成 gitlab-ctl pg-password-md5 gitlab
postgresql['md5_auth_cidr_addresses'] = %w(0.0.0.0/0)
postgresql['trust_auth_cidr_addresses'] = %w(127.0.0.1/32)
#postgresql['ssl'] = 'off'
gitlab_rails['auto_migrate'] = false #如果是首次reconfigure可以不要，如果已经首次初始化了，必须要有此配置

gitlab-ctl reconfigure
gitlab-ctl restart postgresql
2.1.2 Rails 的配置
gitlab_rails['db_host'] = '10.100.10.53'
gitlab_rails['db_port'] = 5432
gitlab_rails['db_database'] = "gitlabhq_production"
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "gitlab123"

gitlab-ctl reconfigure

gitlab_43">2.2 gitlab使用外部的数据库

2.2.1 外部的数据库需要的信息
# 创建用户
create user gitlab login password 'gitlab123';
# 创建数据库
create database gitlabhq_production owner=gitlab ENCODING = 'UTF8';

# 安装扩展
## 可以通过 "\dx" 或者 "select extname,extowner,extnamespace,extrelocatable,extversion from pg_extension;" 来查看gitlab自带数据库的扩展
CREATE EXTENSION pg_trgm;
CREATE EXTENSION btree_gist;
gitlab_57">2.2.2 gitlab主配置文件添加配置
postgresql['enable'] = false
gitlab_rails['db_adapter'] = 'postgresql' #固定配置
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['db_database'] = 'gitlabhq_production'
#gitlab_rails['db_pool'] = 10
gitlab_rails['db_username'] = 'gitlab'
gitlab_rails['db_password'] = 'gitlab123'
gitlab_rails['db_host'] = '192.168.1.112'
gitlab_rails['db_port'] = 15432

gitlab-ctl reconfigure

gitlabci_74">3. gitlab配置使用多数据库(有ci相关数据的基础上)

主要修改gitlab 的主配置文件（/etc/gitlab/gitlab.rb）

3.1 场景1: main 和 ci 都使用自带的数据库pg

# 开放自带的pg端口
postgresql['listen_address'] = "0.0.0.0"
postgresql['port'] = 5432
postgresql['sql_user'] = "gitlab"
postgresql['sql_user_password'] = '0873d907a1dbffa91bae86d744306549'
postgresql['md5_auth_cidr_addresses'] = %w(0.0.0.0/0)
postgresql['trust_auth_cidr_addresses'] = %w(127.0.0.1/32)
#postgresql['ssl'] = 'off'
gitlab_rails['auto_migrate'] = false

gitlab-ctl reconfigure
gitlab-ctl restart postgresql

rails 配置

gitlab_rails['db_host'] = '10.100.10.53'
gitlab_rails['db_port'] = 5432
gitlab_rails['db_database'] = "gitlabhq_production"
gitlab_rails['db_username'] = "gitlab"
gitlab_rails['db_password'] = "gitlab123"

gitlab-ctl reconfigure

配置CI库

gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
gitlab_rails['databases']['ci']['db_host']  = '10.100.10.53'
gitlab_rails['databases']['ci']['db_port'] = 5432
gitlab_rails['databases']['ci']['db_username'] = 'gitlab'
gitlab_rails['databases']['ci']['db_password'] = 'gitlab123'
gitlab_rails['databases']['ci']['db_adapter'] = 'postgresql'
gitlab_rails['databases']['ci']['db_encoding'] = 'UTF8'

gitlab-ctl reconfigure

<可选> 迁移表

sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo gitlab-rake db:schema:load:ci

对 main 数据库中的 ci 表进行锁定写入，反之亦然

sudo gitlab-ctl start postgresql
sudo gitlab-rake gitlab:db:lock_writes

sudo gitlab-ctl restart

说明:
如果现有的 gitlabhq_production 已经有了ci的相关数据，那么就通过 停止puma/rails 服务，然后备份 gitlabhq_production 库，在将备份的sql写入到 gitlabhq_production_ci 库，确保 多数据库配置好之后，ci相关数据走 gitlabhq_production_ci 库后有数据库，下面有操作。

3.2 场景2: main 和 ci 都使用外部的数据库pg

配置main库

# 不启用gitlab自带的数据库
postgresql['enable'] = false
# main database
gitlab_rails['db_database'] = 'gitlabhq_production'
gitlab_rails['db_host'] = '192.168.1.112'
gitlab_rails['db_port'] = 15432
gitlab_rails['db_username'] = 'gitlab'
gitlab_rails['db_password'] = 'gitlab123'
gitlab_rails['db_adapter'] = 'postgresql'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['auto_migrate']= true

gitlab-ctl reconfigure

配置CI库

# ci database
gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
gitlab_rails['databases']['ci']['db_host']  = '192.168.1.112'
gitlab_rails['databases']['ci']['db_port'] = 15432
gitlab_rails['databases']['ci']['db_username'] = 'gitlab'
gitlab_rails['databases']['ci']['db_password'] = 'gitlab123'
gitlab_rails['databases']['ci']['db_adapter'] = 'postgresql'
gitlab_rails['databases']['ci']['db_encoding'] = 'utf8'

说明：
外部的数据库配置好上面的操作后，执行 gitlab-ctl reconfigure 会报错，但是 /var/opt/gitlab/gitlab-rails/etc/database.yml 实际已经渲染了配置，因为为了能实现 gitlab-ctl reconfigure ，可以通过备份恢复的方式将 gitlabhq_production 导入到 gitlabhq_production_ci 中 ，同时这样的好处就是 对于gitlabhq_production已经有了ci 相关的数据，导致有了ci库之后，走gitlabhq_production_ci 避免看不到之前ci相关的数据

# 备份 gitlabhq_production
/opt/gitlab/embedded/bin/pg_dump -h 10.100.10.53 -p 5432 -U gitlab -d gitlabhq_production -f database.sql# 恢复到 gitlabhq_production_ci
/opt/gitlab/embedded/bin/psql -h 10.100.10.53 -p 5432 -U gitlab -d gitlabhq_production_ci -f database.sql

gitlab-ctl reconfigure 
# 重启服务
gitlab-ctl restart

4. 测试效果

在这里插入图片描述

gitlabci_184">5. gitlab配置使用多数据库(无ci相关数据的基础上)

同上述的配置方式，只是在reconfigure前添加环境变量，如

5.1 停止服务

gitlab-ctl stop

gitlabgitlabrb_191">5.2 添加配置如下（/etc/gitlab/gitlab.rb）

gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

gitlab-ctl reconfigure

5.3 ci库初始化

重新配置极狐GitLab 应该会创建 gitlabhq_production_ci。如果没有，请手动创建 gitlabhq_production_ci。

sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
export DISABLE_DATABASE_ENVIRONMENT_CHECK=1 && gitlab-rake db:schema:load:ci

5.4 对 main 数据库中的 ci 表进行锁定写入，反之亦然

gitlab-ctl start postgresql
gitlab-rake gitlab:db:lock_writes

5.5 重启GitLab

gitlab-ctl restart

http://www.ppmy.cn/embedded/155755.html

相关文章

Linux：生产者消费者模型

Linux：生产者消费者模型

一、普通生产者消费者模型 1.1 什么是生产者消费者模型 现实生活中&#xff0c;我们也会有像生物世界的生产者和消费者的概念&#xff0c;但是我们的消费者在大多数情况下并不和生产者直接联系&#xff0c;就比如说食物&#xff0c;不能说我今天去找供货商要十个面包&#xff…
阅读更多...
作品显示ip属地与定位哪个是真实的

作品显示ip属地与定位哪个是真实的

在数字化时代&#xff0c;随着社交媒体的普及和网络内容的多样化&#xff0c;我们经常在各类平台上看到作品&#xff08;如图片、视频、文章等&#xff09;附带IP属地或定位信息。这些信息似乎都在告诉我们作品的来源地&#xff0c;但究竟哪个是真实的&#xff1f;IP属地与定位…
阅读更多...
web-view环境下，H5页面打开其他小程序

web-view环境下，H5页面打开其他小程序

在Web-view环境下&#xff0c;H5页面无法直接打开其他小程序。正确的实现方式是先从H5页面跳转回当前小程序&#xff0c;再由当前小程序跳转到目标小程序。具体实现方法如下&#xff1a; H5页面跳转回小程序时&#xff0c;调用wx.miniProgram.navigateTo()方法。 小程序跳转到…
阅读更多...
深入理解Linux系统内存中文件结构以及缓冲区，模拟实现c语言库文件接口

深入理解Linux系统内存中文件结构以及缓冲区，模拟实现c语言库文件接口

目录 一、文件的理解 二、文件操作 1.Linux系统中文件接口&#xff1a; 1.1.open 1.2.write 1.3.read 三、文件描述符 四、重定向的理解 五、缓冲区 1.语言层缓冲区 2.系统层缓冲区 3.缓冲区刷新策略&#xff08;语言层&#xff09; 六、c文件接口的模拟实现 1.m…
阅读更多...
算法妙妙屋-------2..回溯的奇妙律动

算法妙妙屋-------2..回溯的奇妙律动

回溯算法是一种用于系统性地搜索和解决问题的算法&#xff0c;它以深度优先搜索&#xff08;DFS&#xff09;为基础&#xff0c;用来探索所有可能的解决方案。通过递归地尝试候选解并在必要时回退&#xff08;即“回溯”&#xff09;&#xff0c;它能够高效地解决许多涉及组合、…
阅读更多...
MySQL中的GROUP_CONCAT函数将分组后的多个行值合并成一个字符串，并用指定分隔符连接

MySQL中的GROUP_CONCAT函数将分组后的多个行值合并成一个字符串，并用指定分隔符连接

文章目录 前言什么是GROUP_CONCAT&#xff1f;基本语法 使用示例示例1: 基本用法示例2: 去重并排序 高级应用应用场景示例注意事项 结论表结构1. Orders 表 (订单表)2. Order_Details 表 (订单详情表) 示例数据Orders 表的数据Order_Details 表的数据 使用 GROUP_CONCAT 的查询…
阅读更多...
人工智能之数学基础：线性代数中的线性相关和线性无关

人工智能之数学基础：线性代数中的线性相关和线性无关

本文重点 在线性代数的广阔领域中，线性相关与线性无关是两个核心概念，它们对于理解向量空间、矩阵运算、线性方程组以及人工智能等问题具有至关重要的作用。 定义与直观理解 当存在一组不全为0的数x1，x2，...,xn使得上式成立的时候，那么此时我们可以说向量组a1，a2...,an…
阅读更多...
AUTOSAR从入门到精通-【AUTOSAR】AUTOSAR BSW层应用详解

AUTOSAR从入门到精通-【AUTOSAR】AUTOSAR BSW层应用详解

目录 前言 几个高频面试题目 在AUTOSAR系统中如何将BSW模块分配到不同的分区和内核呢？ BSW 在多核系统中的分配 错误处理 MCAL及协议栈分配 通信协议栈分配 加密服务分配 安全关键系统中的 BSW 分配 注意事项 算法原理 BSW层通信架构 一、通信驱动 二、通信硬件抽…
阅读更多...
最新文章

Copyright @ 2022~2023