在AWS上使用KMS客户端密钥加密S3文件，同时支持PySpark读写和Snowflake导入

ops/2025/2/4 3:29:36/

现有AWS EMR集群上运行PySpark代码，可以读写S3上的数据文件，Snowflake数据仓库也需要导入S3上的文件到表。现在要用AWS KMS有客户端密钥加密S3上的文件，同时允许PySpark代码，可以读写S3上的数据文件，Snowflake数据仓库导入S3上的文件到表。

为了实现AWS EMR上的PySpark读写KMS加密的S3文件，并让Snowflake导入这些文件，请按照以下步骤操作：

一、S3文件加密配置

使用SSE-KMS加密S3文件
- 上传文件时设置加密头：
```
aws s3 cp localfile s3://your-bucket/path/ --sse aws:kms --sse-kms-key-id <KMS_KEY_ARN>
```
- 或通过AWS控制台上传时选择“AWS-KMS”加密并指定CMK。

二、配置EMR集群访问KMS加密文件

IAM角色权限

确保EMR的EC2实例角色（如EMR_EC2_DefaultRole）附加以下策略：

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": ["kms:Decrypt","kms:Encrypt","kms:GenerateDataKey"],"Resource": "<KMS_KEY_ARN>"}]
}

PySpark配置

在spark-defaults.conf中添加：

spark.hadoop.fs.s3a.server-side-encryption-algorithm AWS-KMS
spark.hadoop.fs.s3a.server-side-encryption.key <KMS_KEY_ARN>

或在代码中设置：

python">spark.conf.set("fs.s3a.server-side-encryption-algorithm", "AWS-KMS")
spark.conf.set("fs.s3a.server-side-encryption.key", "<KMS_KEY_ARN>")

三、Snowflake导入加密文件配置

IAM角色授权

在Snowflake中创建或更新存储集成对象：

CREATE STORAGE INTEGRATION s3_intTYPE = EXTERNAL_STAGESTORAGE_PROVIDER = 'S3'ENABLED = TRUESTORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake_role'STORAGE_ALLOWED_LOCATIONS = ('s3://your-bucket/path/');

为Snowflake的IAM角色添加KMS权限：

{"Version": "2012-10-17","Statement": [{"Effect": "Allow","Action": "kms:Decrypt","Resource": "<KMS_KEY_ARN>"}]
}

创建外部Stage并导入数据

CREATE STAGE my_stageURL = 's3://your-bucket/path/'STORAGE_INTEGRATION = s3_intENCRYPTION = (TYPE = 'AWS_KMS' KMS_KEY_ID = '<KMS_KEY_ARN>');COPY INTO my_table
FROM @my_stage
FILE_FORMAT = (TYPE = PARQUET);