PostgreSQL技术内幕14：从插件来看PG扩展性-FDW插件

文章目录

- 0.简介
- 1.FDW介绍
- 2.使用方式
- - 2.1 创建过程
  - - 2.1.1 创建插件
    - 2.1.2 创建 Foreign Server
    - 2.1.3 创建 User Mapping(外部服务器映射，本地文件可以不需要）
    - 2.1.4 创建外部表
  - 2.2 查询流程
- 3.源码分析
- - 3.1 扩展接口分析
  - 3.2 和其他部分关联
  - - 3.2.1 和计划的关联
    - 3.2.2 和执行器关联
    - 3.2.3 FDW异步特性
- 4.fdw插件扩展总结

0.简介

PG具有很好的扩展性，通过代码内部使用的函数指针，不同层级之间的标准接口，通过SQL语句创建的不同配置等实现其不改动核心代码而直接的扩展，本文是PG插件部分的第一篇，主要介绍FDW插件，从FDW插件的角度来分析PG的通过插件实现功能扩展。

1.FDW介绍

FDW(Foreign Data Wrapper,外部数据包装器)，PG可以通过FDW扩展来操作当前数据库以外的数据，外部数据源可以是：文件，关系型的数据（PG,MySQL,Oracle等），非关系型数据库等，目前详细的支持可见：
https://wiki.postgresql.org/wiki/Foreign_data_wrappers。
在这里插入图片描述

用户可以通过在PG中创建外部表（Foreign Table)，外部表将作为代理，用于访问外部数据源，然后转换为PG的结果形式，在使用上查询一个外部的数据源和内部的表没有区别。

FDW包含四个部分：

1） Foreign Data Wrapper：特定于各数据源的库，定义了如何建立与外部数据源的连接、执行查询及处理其他操作。如postgres_fdw用于连接其他 PostgreSQL 服务器，file_fdw用于连接普通的文本文件。

2） Foreign Server：在本地 PostgreSQL 中定义一个外部服务器对象，对应实际的远程或非本地数据存储实例。

3） User Mapping：为每个外部服务器设置用户映射，明确哪些本地用户有权访问，并提供相应的认证信息，如用户名和密码。

4） Foreign Table：在本地数据库创建表结构，作为外部数据源中表的映射。

2.使用方式

本节使用file_fdw为例介绍创建和查询。

2.1 创建过程

2.1.1 创建插件

postgres=# create extension file_fdw;

2.1.2 创建 Foreign Server

postgres=# CREATE SERVER pglog FOREIGN DATA WRAPPER file_fdw;

2.1.3 创建 User Mapping(外部服务器映射，本地文件可以不需要）

//例子如下
//创建用户user01 与  远端用户user02的映射 
CREATE USER MAPPINGFOR user01 server db02 options(user 'user02',password 'user02');

2.1.4 创建外部表

CREATE FOREIGN TABLE pglog (log_time timestamp(3) with time zone,user_name text,database_name text,process_id integer,connection_from text,session_id text,session_line_num bigint,command_tag text,session_start_time timestamp with time zone,virtual_transaction_id text,transaction_id bigint,error_severity text,sql_state_code text,message text,detail text,hint text,internal_query text,internal_query_pos integer,context text,query text,query_pos integer,location text,application_name text
) SERVER pglog
OPTIONS ( filename '/pgdata/log/pglog.csv', format 'csv' );

2.2 查询流程

查询和内部表使用一致，直接使用select * from xxx即可。

3.源码分析

3.1 扩展接口分析

对于访问外部数据源，主要是通过FdwRoutine这一结构体来进行，任何接入外部数据源的插件都可以根据自身需要去实现这些接口。

typedef struct FdwRoutine
{NodeTag    type;/* Functions for scanning foreign tables */GetForeignRelSize_function GetForeignRelSize;GetForeignPaths_function GetForeignPaths;GetForeignPlan_function GetForeignPlan;BeginForeignScan_function BeginForeignScan;IterateForeignScan_function IterateForeignScan;ReScanForeignScan_function ReScanForeignScan;EndForeignScan_function EndForeignScan;/** Remaining functions are optional.  Set the pointer to NULL for any that* are not provided.*//* Functions for remote-join planning */GetForeignJoinPaths_function GetForeignJoinPaths;/* Functions for remote upper-relation (post scan/join) planning */GetForeignUpperPaths_function GetForeignUpperPaths;/* Functions for updating foreign tables */AddForeignUpdateTargets_function AddForeignUpdateTargets;PlanForeignModify_function PlanForeignModify;BeginForeignModify_function BeginForeignModify;ExecForeignInsert_function ExecForeignInsert;ExecForeignUpdate_function ExecForeignUpdate;ExecForeignDelete_function ExecForeignDelete;EndForeignModify_function EndForeignModify;BeginForeignInsert_function BeginForeignInsert;EndForeignInsert_function EndForeignInsert;IsForeignRelUpdatable_function IsForeignRelUpdatable;PlanDirectModify_function PlanDirectModify;BeginDirectModify_function BeginDirectModify;IterateDirectModify_function IterateDirectModify;EndDirectModify_function EndDirectModify;/* Functions for SELECT FOR UPDATE/SHARE row locking */GetForeignRowMarkType_function GetForeignRowMarkType;RefetchForeignRow_function RefetchForeignRow;RecheckForeignScan_function RecheckForeignScan;/* Support functions for EXPLAIN */ExplainForeignScan_function ExplainForeignScan;ExplainForeignModify_function ExplainForeignModify;ExplainDirectModify_function ExplainDirectModify;/* Support functions for ANALYZE */AnalyzeForeignTable_function AnalyzeForeignTable;/* Support functions for IMPORT FOREIGN SCHEMA */ImportForeignSchema_function ImportForeignSchema;/* Support functions for parallelism under Gather node */IsForeignScanParallelSafe_function IsForeignScanParallelSafe;EstimateDSMForeignScan_function EstimateDSMForeignScan;InitializeDSMForeignScan_function InitializeDSMForeignScan;ReInitializeDSMForeignScan_function ReInitializeDSMForeignScan;InitializeWorkerForeignScan_function InitializeWorkerForeignScan;ShutdownForeignScan_function ShutdownForeignScan;/* Support functions for path reparameterization. */ReparameterizeForeignPathByChild_function ReparameterizeForeignPathByChild;
} FdwRoutine;

可以看到，其内部包含的常见操作有开始扫描（BeginForeignScan),执行扫描（IterateForeignScan)等，还有insert、update、delete相关的接口。

下面还是以file_fdw为例来看，其主要实现了扫描使用的接口和用于分析性能的接口。

Datum
file_fdw_handler(PG_FUNCTION_ARGS)
{FdwRoutine *fdwroutine = makeNode(FdwRoutine);fdwroutine->GetForeignRelSize = fileGetForeignRelSize;fdwroutine->GetForeignPaths = fileGetForeignPaths;fdwroutine->GetForeignPlan = fileGetForeignPlan;fdwroutine->ExplainForeignScan = fileExplainForeignScan;fdwroutine->BeginForeignScan = fileBeginForeignScan;fdwroutine->IterateForeignScan = fileIterateForeignScan;fdwroutine->ReScanForeignScan = fileReScanForeignScan;fdwroutine->EndForeignScan = fileEndForeignScan;fdwroutine->AnalyzeForeignTable = fileAnalyzeForeignTable;fdwroutine->IsForeignScanParallelSafe = fileIsForeignScanParallelSafe;PG_RETURN_POINTER(fdwroutine);
}

3.2 和其他部分关联

对于查询计划计划和执行器部分如何获取并使用对应的FdwRoutine结构，在foreign.c中实现了多种查找方式：

/* Functions in foreign/foreign.c */
extern FdwRoutine *GetFdwRoutine(Oid fdwhandler);
extern Oid  GetForeignServerIdByRelId(Oid relid);
extern FdwRoutine *GetFdwRoutineByServerId(Oid serverid);
extern FdwRoutine *GetFdwRoutineByRelId(Oid relid);
extern FdwRoutine *GetFdwRoutineForRelation(Relation relation, bool makecopy);