GreenPlum系列-4-配置参数

news/2025/3/21 23:45:44/

一、系统参数

基于Centos7.9 64位, greenplum 6.18,对共享内存、网络、用户限制等参数配置

  1. sysctl 配置

#定义系统界别可用的所有共享内存页的数量,$(expr $(getconf _PHYS_PAGES) / 2)

kernel.shmall = 11322042

#定义单个进程在它本身的虚拟地址空间可以访问的单个共享内存段的最大值,$(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))

kernel.shmmax = 46375084032

#定义在系统层面最大的共享内存段的数量

kernel.shmmni = 4096

#内存分配策略,0: 内核检测是否有足够的内存供应用使用,如果有允许申请,否则申请失败并把错误返回给应用;1:内核允许分配所有的物理内存,不论当前的内存状态如何;2:内核允许分配超过所有物理内存和交换空间总和的内存。

vm.overcommit_memory = 2

#系统分配给应用程序的内存百分比

vm.overcommit_ratio = 95

#随机分配端口的范围

net.ipv4.ip_local_port_range = 10000 65535

#打开内建的内核调试工具

kernel.sysrq = 1

#分别对应 semmsl 信号集容纳最大信号量、semmns 所有信号的最大量、semopm 调用单个信号集最大信号量、semmni 信号集的最大值

kernel.sem = 50100 128256000 50100 2560

#允许调试多线程应用程序

kernel.core_uses_pid = 1

#所有在消息队列中中的消息总和的最大值

kernel.msgmnb = 65536

#内核中消息队列中消息的最大值

kernel.msgmax = 65536

#系统范围最大消息队列数

kernel.msgmni = 2048

#允许cookies处理溢出的syn等待队列

net.ipv4.tcp_syncookies = 1

#允许接收含有源路由信息的IP包

net.ipv4.conf.default.accept_source_route = 0

#sync队列长度,可以容纳的等待连接的数量

net.ipv4.tcp_max_syn_backlog = 4096

#允许使用某一块网卡回应ARP询问

net.ipv4.conf.all.arp_filter = 1

#网络设备接收数据包的速率比内核处理的快时,允许送到队列的数据包的最大数目

net.core.netdev_max_backlog = 10000

#接收套接字缓冲区的最大字节数

net.core.rmem_max = 2097152

#发送套接字缓冲区的最大字节数

net.core.wmem_max = 2097152

#控制内存使用百分比(100-10)后开始使用交换分区

vm.swappiness = 10

#禁用内存域回收,当一个内存区域耗尽时不做内部回收从其他zone分配内存

vm.zone_reclaim_mode = 0

#与background_ratio一起作用,表示满足间隔时间内数据刷盘

vm.dirty_expire_centisecs = 500

#满足间隔时间内让数据刷盘完成

vm.dirty_writeback_centisecs = 100

#表示满足数据超过这个阈值数据刷盘

vm.dirty_background_ratio = 3

#满足cache数据超出设定的值后阻塞写请求,进行刷盘操作

vm.dirty_ratio = 10

#强制内核的内存管理器保留的空闲内存,一般为物理内存的3%

#awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo

#vm.min_free_kbytes = 471956

vm.min_free_kbytes = 1295134

  1. limit 配置

#格式: 用户、@组 type(soft 当前系统生效的设置值,hard 系统能设定的最大值)

#每个用户可以打开的最大文件描述符数量

* soft nofile 524288

* hard nofile 524288

#每个用户可以打开的最大进程数

* soft nproc 131072

* hard nproc 131072

二、数据库参数

listen_addresses='*'

port=5432

#最大连接数,默认master 250, segemnt 750

max_connections = 250

#磁盘读写的内存缓冲区

shared_buffers = 125MB

#处于准备好状态的事务数,建议和master最大连接数一致。

max_prepared_transactions = 250

dynamic_shared_memory_type = posix

#预写日志分配的空间,wal被划分每64M的段文件,意味着每个segment分配1088M空间

checkpoint_segments=8

optimizer_analyze_root_partition = on

log_timezone = 'Asia/Shanghai'

#如果表还没有统计信息,写入数据时自动收集,这之后数据变化需要手动收集

gp_autostats_mode=on_no_stats

#自动收集统计信息的数据量变化阈值

gp_autostats_on_change_threshold=2147483647

log_autostats=off

datestyle = 'iso, mdy'

timezone = 'Asia/Shanghai'

lc_messages = 'en_US.utf8'

lc_monetary = 'en_US.utf8'

lc_numeric = 'en_US.utf8'

lc_time = 'en_US.utf8'

default_text_search_config = 'pg_catalog.english'

gp_resqueue_memory_policy = 'eager_free'

#追加表最大个数

max_appendonly_tables = 10000

gp_interconnect_type=udpifc

#primary等待mirror响应的时间

gp_segment_connect_timeout = 600s

#每个segment 分配的内存(primary)

#它通过计算所有Greenplum数据库进程可用的内存并且除以失效时主Segment的最大数量得到。如果#gp_vmem_protect_limit被设置得过高,查询可能会失败。使用下面的公式为gp_vmem_protect_limit计算一个安全值。

#使用这个公式计算gp_vmem(所有Greenplum数据库进程可用的内存):

#gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7

#其中 其中SWAP是主机上的交换空间(以GB为单位),而RAM是安装在主机上的RAM的GB数。

#使用这个公式计算gp_vmem_protect_limit:

#gp_vmem_protect_limit = gp_vmem / max_acting_primary_segments

gp_vmem_protect_limit = 8192

include = 'internal.auto.conf'

shared_preload_libraries = 'metrics_collector'

gp_enable_query_metrics = on

log_statement=all

gp_contentid=-1

#资源限制类型,包括资源组和资源队列

gp_resource_manager='group'

#开启压缩溢出文件

gp_workfile_compression=on

#pljava路径

pljava_classpath='daybits.jar:cryptions.jar:daybitsc.jar'


http://www.ppmy.cn/news/468470.html

相关文章

联发科MT6763处理器参数MT6763处理器芯片资料下载

mt6763设备,集成蓝牙、fm、wlan和gps模块,是一个高度集成的基带同时包含调制解调器和启用应用程序处理子系统lte/lte-a和c2k智能手机应用程序闯客网 。mt6763芯片集成了ARM|Cortex-a53已经发展到了2.0千兆克而且威力强大-标准视频编器。此外,…

LM1117MPX-2.5参数

LM1117是一组低压稳压器,在800mA负载电流下,其输出电压为1.2V。它具有与国家半导体工业标准LM317相同的引脚输出。   LM1117有一个可调的版本,它可以设置输出电压从1.25V到13.8V只有两个外部电阻。此外,它还可在五个固定电压&am…

简述PCM 30/32帧结构图

信令的分类 在电话网中传输信令的方法有两种。 一种称为共路信令(CCS),另一种称为随路信令(CAS)。 共路信令是将各路信令通过一个独立的信令网络集中传输;随路信令则是将各路信令放在传输各路信息的信道中和各路信息一起传输。 采用随路信令时&#xff…

PRMLP1-P3

因为研究方向需要对机器学习、深度学习有着较深刻的理解,为了每天督促学习、提高自身英语水平和加强对相关知识理解,特在此进行粗略的翻译,相关参考有马春鹏中文版。翻译的书籍为《Pattern Recognition and Machine Learning》Christopher M.…

NTP服务器

文章目录 NTP服务器NTP服务器的安装与配置所需软件与软件结构主要配置文件ntp.conf的处理利用restrict来管理权限控制利用server设置上层NTP服务器以driftfile记录时间差异 NTP的启动与观察 客户端的时间更新方式Linux手动校时:date、hwclockLinux的网络校时 NTP服务…

亿发软件:智慧中医馆一体化系统解决方案,实现中医药煎配信息化

近年来,随着中药制造领域先进技术的大力推广和应用,先进制造技术的融合对关键工艺和装备进行了革新。传感器、过程检测技术、自动化设备和信息管理系统的采用显著提高了中药汤剂的生产。下面我们来探讨一下中药煎配信息化管理系统:中药生产过…

【云原生】· 一文了解docker中的网络

目录 🍒查看docker网络 🍒bridge网络 🍒none网络 🍒host网络 🍒自定义容器网络 🦐博客主页:大虾好吃吗的博客 🦐专栏地址:云原生专栏 根据前面的学习,已经对d…

固态硬盘的PCIE,SATA,M2,NVMe,AHCI

[转自 https://baijiahao.baidu.com/s?id=1616207956596122967&wfr=spider&for=pc] 提纲 区别 M2和SATASATA和PCIENVME和AHCINVME介绍NVMe的由来NVME的优势区别 固态硬盘近年来也是随着计算机的发展而得到了迅速的发展,目前已经隐隐有要取代机械硬盘的势头,只要成本…