PostgreSQL/PostGIS中提升空间查询(分析)性能(效率)的一些方法

news/2024/12/13 4:26:29/

目录

1. 使用适当的索引

1.1 索引类型

1.2 分析查询计划

1.3 覆盖索引

1.4 复合索引

1.5 维护索引

1.6 删除不必要的索引

1.7 使用适当的数据类型

2. 建立分区表

2.1 分区表的基本概念

2.2 创建分区表的步骤

2.3 空间数据的分区

2.4 分区表优点

3. 简化几何形状

4. 使用适当的几何类型

5. 避免不必要的计算

6. 使用空间索引的统计信息

7. 使用并行查询

8. 使用适当的查询策略

9. 缓存热点数据

10. 优化数据库配置参数

10.1 内存相关参数

10.2 并行查询参数

10.3 索引和缓存参数

10.4 日志和检查点参数

10.5  其他与空间查询相关的参数

10.6  总结

       优化PostGIS中的空间查询性能是一个重要的任务，特别是在处理大型空间数据集时，可能会使查询效率变得低下。以下从各个方面总结了一些常见的方法来提升超大型数据集查询效率：

1. 使用适当的索引

        PostGIS支持多种类型的索引，包括GiST（Generalized Search Tree）、SP-GiST（Space-Partitioned Generalized Search Tree）和BRIN（Block Range INdexes）。对于大多数空间查询，GiST索引通常是最有效的选择。

        通过对空间字段或属性字段建立空间索引，以增强查询效率：

CREATE INDEX idx_geom ON spatial_data USING GIST (geom);

1.1 索引类型

   根据查询模式选择合适的索引类型。常见的索引类型包括：

  • B-tree 索引：适用于等值查询、范围查询和排序操作。
  • Hash 索引：适用于等值查询。
  • GiST（Generalized Search Tree）索引：适用于空间数据和全文搜索。
  • SP-GiST（Space-Partitioned Generalized Search Tree）索引：适用于多维数据。

示例：创建 B-tree 索引

CREATE INDEX idx_column_name ON table_name(column_name);

1.2 分析查询计划

使用 EXPLAIN 或 EXPLAIN ANALYZE 命令查看查询计划，了解查询是否使用了空间索引以及如何使用索引。

示例：使用 EXPLAIN

EXPLAIN SELECT * FROM table_name WHERE column_name = 'value';

 示例：使用 EXPLAIN ANALYZE

EXPLAIN ANALYZE SELECT * FROM table_name WHERE column_name = 'value';

1.3 覆盖索引

如果查询只需要从索引中获取数据，可以使用覆盖索引。覆盖索引包含所有查询所需的列，从而避免访问表数据。

示例：创建覆盖索引

CREATE INDEX idx_covering ON table_name(column1, column2);

1.4 复合索引

对于经常一起使用的多个列，可以创建复合索引。复合索引可以提高多列查询的性能。

示例：创建复合索引

CREATE INDEX idx_composite ON table_name(column1, column2);

1.5 维护索引

定期重建或重新组织索引，以保持其性能。大多数数据库系统提供了自动维护索引的功能，但在某些情况下，手动维护可能是必要的。

示例：重建索引（PostgreSQL）

REINDEX TABLE table_name;

1.6 删除不必要的索引

过多的索引会增加写操作的开销，因此应定期检查并删除不再需要的索引。

示例：删除索引

DROP INDEX idx_column_name;

1.7 使用适当的数据类型

确保列的数据类型与存储的数据匹配，这有助于优化索引的使用。例如，不要将整数存储为字符串。

2. 建立分区表

2.1 分区表的基本概念

        在PostgreSQL中，分区表（Partitioned Table）是一种将大表的数据分割成更小、更易管理的部分的技术。根据地理区域或其他合适的分区键将数据分割成多个子表，这样在查询时只需要扫描相关的分区。通过分区，可以提高查询性能、简化数据维护以及优化存储空间的使用。

  1. 父表（Parent Table）：这是定义了分区策略的表，它本身不包含实际的数据，只包含元数据和分区信息。
  2. 子表（Child Tables）：这些是实际存储数据的表，每个子表对应一个分区。
  3. 分区键（Partition Key）：用于决定数据行应该存储在哪个分区的列或列的组合。
  4. 分区类型：
    • 范围分区（Range Partitioning）：根据某个列的值的范围来划分数据。例如，按日期范围进行分区。
    • 列表分区（List Partitioning）：根据某个列的具体值列表来划分数据。例如，按国家代码进行分区。
    • 哈希分区（Hash Partitioning）：使用哈希函数将数据均匀分布到多个分区中。

        在PostGIS中，使用分区表进行空间查询时，查询引擎会自动处理跨子表的查询。这意味着你不需要手动指定要查询的子表，PostgreSQL会根据查询条件自动选择适当的子表进行查询。假设你有一个输入的几何图形（例如一个多边形），并希望查询与该图层相交的所有图形。PostgreSQL会解析查询条件，并根据分区键和索引来优化查询。如果查询条件涉及多个子表的范围，PostgreSQL会自动识别并访问所有相关的子表。 

2.2 创建分区表的步骤

  1. 创建父表：定义表结构并指定分区策略。
  2. 创建子表：为每个分区创建实际存储数据的子表。
  3. 附加分区：将子表附加到父表上。

以下是一个简单的范围分区示例：

-- 创建父表
CREATE TABLE orders (order_id SERIAL PRIMARY KEY,order_date DATE NOT NULL,customer_id INT NOT NULL,amount DECIMAL(10, 2) NOT NULL
) PARTITION BY RANGE (order_date);-- 创建子表
CREATE TABLE orders_2022 PARTITION OF orders
FOR VALUES FROM ('2022-01-01') TO ('2023-01-01');CREATE TABLE orders_2023 PARTITION OF orders
FOR VALUES FROM ('2023-01-01') TO ('2024-01-01');

        在这个例子中，orders 是父表，orders_2022 和 orders_2023 是子表。数据会根据 order_date 被自动分配到相应的子表中。

2.3 空间数据的分区

        要提升对大型空间数据的查询效率，首先需要确定一个合适的分区键。常见的分区键包括时间（如日期、年份）、地理区域（如行政区划代码、经纬度范围）等。选择分区键时，应考虑数据访问模式和查询需求。例如，如果大多数查询都是基于属性，比如时间范围的，那么可以选择时间作为分区键；如果查询主要是基于地理位置的，那么可以选择地理区域作为分区键。

        基于地理位置的分区方法，通常用于将数据按照地理区域进行划分。这种策略在处理空间数据时非常有用，例如在GIS（地理信息系统）中。常见的分区方法包括四分法、网格法和行政区划法等。

        四分法：将整体区域划分为四个相等的部分。
        网格法：将区域划分为大小相等的网格单元。
        行政区划法：根据行政边界进行分区，如省、市、县等。

        标准分幅法：将区域按1：1万标准分幅或1：5万等标准分幅进行子表划分。

例如，以图形左下角坐标建立复合空间网格分区。使用PostgreSQL的复合分区（Composite Partitioning）功能根据多个列的值进行分区，步骤如下：

（1）创建主表并定义复合分区

首先，创建一个主表，并使用PARTITION BY RANGE来定义复合分区。这里我们将使用ST_XMin(geom)和ST_YMin(geom)作为分区键。

（2）创建子表并定义分区范围

接下来，创建四个子表，每个子表代表一个象限。这些子表将根据x最小值和y最小值的范围进行分区。

（3）添加空间索引

为每个子表添加空间索引，以提高查询性能。

--（1） 创建分区表
CREATE TABLE spatial_data (id SERIAL PRIMARY KEY,geom GEOMETRY(Point, 4326)
) PARTITION BY RANGE (ST_XMin(geom), ST_YMin(geom));-- （2）创建四个子表，分别代表四个象限
CREATE TABLE spatial_data_q1 PARTITION OF spatial_data FOR VALUES FROM (-180, -90) TO (0, 0);
CREATE TABLE spatial_data_q2 PARTITION OF spatial_data FOR VALUES FROM (0, 0) TO (180, 90);
CREATE TABLE spatial_data_q3 PARTITION OF spatial_data FOR VALUES FROM (-180, 90) TO (0, 180);
CREATE TABLE spatial_data_q4 PARTITION OF spatial_data FOR VALUES FROM (0, 90) TO (180, 180);-- （3）添加空间索引
CREATE INDEX spatial_data_q1_idx ON spatial_data_q1 USING GIST (geom);
CREATE INDEX spatial_data_q2_idx ON spatial_data_q2 USING GIST (geom);
CREATE INDEX spatial_data_q3_idx ON spatial_data_q3 USING GIST (geom);
CREATE INDEX spatial_data_q4_idx ON spatial_data_q4 USING GIST (geom);

        

2.4 分区表优点

  1. 提高查询性能：通过将空间数据按照特定的分区键（如地理区域或时间范围）进行分区，可以减少查询时需要扫描的数据量，从而加快查询速度。

  2. 简化数据维护：分区表使得对特定数据集的操作（如备份、恢复、删除等）更加简单高效。例如，如果只需要处理某个特定时间段或地理区域内的数据，可以直接操作对应的分区。

  3. 优化存储空间：可以针对不同类型的数据使用不同的存储策略，如压缩、加密等。分区表还可以帮助更有效地利用存储资源。不常用的历史数据可以被移动到成本较低的存储介质上，而当前活跃的数据则保留在高性能的存储上。

  4. 支持多种分区类型：PostgreSQL支持多种分区类型，包括范围分区、列表分区和哈希分区等。这些分区类型可以根据不同的业务需求和数据特性进行选择和应用。

        通过合理使用分区表，可以有效地管理和优化大型数据库系统的性能和可维护性。

注意事项

  1. 索引：需要为每个子表单独创建索引，因为索引不会自动继承。
  2. 约束：某些约束（如外键约束）可能需要在每个子表上单独定义。
  3. 维护成本：分区表的管理和维护可能比非分区表复杂一些，需要更多的规划和监控。

3. 简化几何形状

        在插入或更新数据时，尽量简化几何形状。例如，可以使用ST_Simplify函数来减少顶点数量，从而降低存储和计算的复杂度。

4. 使用适当的几何类型

        选择合适的几何类型可以减少存储需求和计算复杂度。例如，如果不需要三维坐标，可以使用GEOMETRY(Polygon, 4326)而不是GEOMETRY(PolyhedralSurface, 4326)。

5. 避免不必要的计算

        在查询中尽量避免不必要的计算。例如，不要在WHERE子句中进行复杂的几何运算，而是尽可能提前计算好结果。

6. 使用空间索引的统计信息

        确保PostgreSQL有最新的统计信息，以便优化器能够生成高效的查询计划。你可以定期运行ANALYZE命令来更新统计信息。

ANALYZE spatial_data;

7. 使用并行查询

        如果你的硬件资源允许，可以利用PostgreSQL的并行查询功能来加速空间查询。确保你的PostgreSQL配置允许并行查询，并在查询中使用PARALLEL提示。

SET max_parallel_workers_per_gather = 4;
SELECT /*+ PARALLEL(spatial_data, 4) */ * FROM spatial_data WHERE ST_Intersects(geom, ST_GeomFromText('POLYGON((...))', 4326));

8. 使用适当的查询策略

        有时，调整查询策略也能显著提高性能。例如，使用ST_DWithin代替ST_Intersects，因为前者通常更快。

SELECT * FROM spatial_data WHERE ST_DWithin(geom, ST_GeomFromText('POINT(10 20)', 4326), 100);

9. 缓存热点数据

        如果你的数据访问模式具有明显的热点特性，可以考虑使用缓存机制来存储热点数据，以减少数据库的负载。

10. 优化数据库配置参数

        确保你的PostgreSQL和PostGIS配置已经过优化。例如，调整共享缓冲区大小、工作内存、并行数量等参数，以适应你的工作负载。

        提高PostGIS数据库空间查询效率的参数调整主要集中在以下几个方面：

10.1 内存相关参数

  • work_mem: 控制每个操作（如排序、哈希表等）可以使用的最大内存量。增加这个值可以提高复杂查询的性能，但要注意不要超过物理内存的限制。

ALTER SYSTEM SET work_mem = '64MB';
SELECT pg_reload_conf();

  • maintenance_work_mem: 控制维护操作（如VACUUM、CREATE INDEX等）可以使用的最大内存量。适当增加这个值可以加快这些操作的速度。

ALTER SYSTEM SET maintenance_work_mem = '512MB';
SELECT pg_reload_conf();

10.2 并行查询参数

  • max_parallel_workers_per_gather: 控制每个Gather节点可以使用的最大并行工作进程数。增加这个值可以提高并行查询的效率。

    ALTER SYSTEM SET max_parallel_workers_per_gather = 4;
SELECT pg_reload_conf();

  • parallel_setup_cost: 设置启用并行查询的代价阈值。降低这个值可以使更多的查询自动使用并行执行。

ALTER SYSTEM SET parallel_setup_cost = 100;
SELECT pg_reload_conf();

10.3 索引和缓存参数

  • shared_buffers: 控制用于共享内存缓冲区的内存量。增加这个值可以提高缓存命中率，从而提高查询性能。

ALTER SYSTEM SET shared_buffers = '2GB';
SELECT pg_reload_conf();

  • effective_cache_size: 控制PostgreSQL认为操作系统缓存的大小。增加这个值可以帮助优化器更好地估计I/O成本。

ALTER SYSTEM SET effective_cache_size = '6GB';
SELECT pg_reload_conf();

10.4 日志和检查点参数

  • checkpoint_segments: 控制WAL日志文件的数量。增加这个值可以减少检查点的频率，从而减少I/O开销。
ALTER SYSTEM SET checkpoint_segments = 32;
SELECT pg_reload_conf();
  • wal_buffers: 控制WAL日志缓冲区的大小。增加这个值可以减少WAL日志写入的频率。
ALTER SYSTEM SET wal_buffers = '16MB';
SELECT pg_reload_conf();

10.5  其他与空间查询相关的参数

  • postgis.backend: 确保PostGIS扩展已正确加载并启用。 
    --创建空间扩展
CREATE EXTENSION postgis;

10.6  总结

        以下是一个综合示例，展示如何调整上述参数：

ALTER SYSTEM SET work_mem = '64MB';
ALTER SYSTEM SET maintenance_work_mem = '512MB';
ALTER SYSTEM SET max_parallel_workers_per_gather = 4;
ALTER SYSTEM SET parallel_setup_cost = 100;
ALTER SYSTEM SET shared_buffers = '2GB';
ALTER SYSTEM SET effective_cache_size = '6GB';
ALTER SYSTEM SET checkpoint_segments = 32;
ALTER SYSTEM SET wal_buffers = '16MB';
SELECT pg_reload_conf();

        查看这些参数现有值的方法：

        （1）SHOW 命令

SHOW work_mem;
SHOW maintenance_work_mem;
SHOW max_parallel_workers_per_gather;
SHOW parallel_setup_cost;
SHOW shared_buffers;
SHOW effective_cache_size;
SHOW checkpoint_segments;
SHOW wal_buffers;

        （2）查询 pg_settings 系统视图

-- 查看 work_mem 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'work_mem';-- 查看 maintenance_work_mem 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'maintenance_work_mem';-- 查看 max_parallel_workers_per_gather 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'max_parallel_workers_per_gather';-- 查看 parallel_setup_cost 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'parallel_setup_cost';-- 查看 shared_buffers 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'shared_buffers';-- 查看 effective_cache_size 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'effective_cache_size';-- 查看 checkpoint_segments 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'checkpoint_segments';-- 查看 wal_buffers 的当前值
SELECT name, setting
FROM pg_settings
WHERE name = 'wal_buffers';

        通过结合以上方法，你可以显著提高PostGIS中的空间查询性能。这些优化措施不仅适用于单个查询，还能在整个系统层面提升性能。


http://www.ppmy.cn/news/1554666.html

相关文章

Java春招大厂面试题

Java春招大厂面试题

文章目录 软件开发2024春招大厂面试题1. redis的跳表是怎么实现的？2. MVCC实现原理3. Redis怎么实现延时消息4. http默认端口号是多少5. http的几种请求（get、post…）有什么区别1. GET2. POST 6. Http和Https的区别7. tcp协议中，三…
阅读更多...
python3D圣诞树

python3D圣诞树

import pygame import math from pygame.locals import *# 初始化Pygame pygame.init()# 设置屏幕尺寸和标题 width, height 800, 600 screen pygame.display.set_mode((width, height)) pygame.display.set_caption(3D 圣诞树)# 设置颜色 GREEN (34, 139, 34) BROWN (139,…
阅读更多...
数据分析案例-笔记本电脑价格数据可视化分析

数据分析案例-笔记本电脑价格数据可视化分析

🤵‍♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞&#x1f4…
阅读更多...
单片机读写内部flash实现断电数据存储

单片机读写内部flash实现断电数据存储

在单片机编程中，读写内部Flash存储器是一种常见的方法来实现断电数据存储。这里以STM32系列单片机为例，展示如何通过HAL库进行简单的内部Flash读写操作。 以下是一个完整的示例代码，展示了如何擦除、写入和读取内部Flash中的数据。请注意&am…
阅读更多...
windows下 mysql开启 binlog日志

windows下 mysql开启 binlog日志

一、查看是否开启 binlog -- 方式一 show binary logs;-- 方式二 show VARIABLES like log_bin 说明没有开启 方式一 ：you are not using binary logging 方式二：log_bin off 二、编辑 my.ini 配置文件 默认安装地点位于：C:\ProgramDat…
阅读更多...
链式设计模式

链式设计模式

链式设计模式——装饰器模式和职责链模式 装饰模式 定义： 指在不改变现有对象结构的情况下，动态地给该对象增加一些职责（即增加其额外功能）的模式。 结构 装饰（Decorator）模式中的角色： 抽…
阅读更多...
利用python做个简易代理ip爬取——后期可用于proxy_pool的使用

利用python做个简易代理ip爬取——后期可用于proxy_pool的使用

利用python进行代理ip爬取 源码 import requests import parsel import timepages 4 header {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.54 }# 打开文件以写入模式 …
阅读更多...
Linux上传代码的步骤与注意事项

Linux上传代码的步骤与注意事项

最近因为工作需要，要上传代码到 DPDK 上，代码已经上传成功，记录一下过程，给大家提供一个参考。我这次需要上传的是pmd，即poll mode driver。 1 Coding Style 要上传代码，第一件事就是需要知道Coding Styl…
阅读更多...
最新文章

Copyright @ 2022~2023