delta lake
2024/9/23 9:24:19
Detla lake with Java--在spark集群上运行程序
昨天写了第一篇入门，今天看见有人收藏，继续努力学习下去。今天要实现的内容是如何将昨天的HelloDetlaLake 在spark集群上运行，。具体步骤如下
1、安装spark,我使用的是 spark-3.5.1-bin-hadoop3-scala2.13，去官网下载，…
Delta lake with Java--利用spark sql操作数据2
上一篇文章尝试了建库，建表，插入数据，还差删除和更新，所以在这篇文章补充一下，代码很简单，具体如下：
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;publi…
Delta lake with Java--数据增删改查
之前写的关于spark sql 操作delta lake表的，总觉得有点混乱，今天用Java以真实的数据来进行一次数据的CRUD操作，所涉及的数据来源于Delta lake up and running配套的 GitGitHub - benniehaelen/delta-lake-up-and-running: Companion reposito…
Delta lake with Java--读《Delta Lake Up and Running》总结
利用5.1假期读完《Delta Lake Up and Running》，这本书非常适合入门，但不够深入，要想将Delta lake用于实际项目，还是需要从spark开始重新学习。学完一本书总结一下这本书的内容。
第一章 概念介绍，其中第21页的Medall…
Delta lake with Java--入门
最近在研究数据湖，虽然不知道研究成果是否可以用于工作，但我相信机会总是留给有准备的人。
数据湖尤其是最近提出的湖仓一体化概念，很少有相关的资料，目前开源的项目就三个，分别是hudi, delta lake, iceberg。最终选择…
Delta lake with Java--利用spark sql操作数据2
上一篇文章尝试了建库，建表，插入数据，还差删除和更新，所以在这篇文章补充一下，代码很简单，具体如下：
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;publi…
Delta lake with Java--数据增删改查
之前写的关于spark sql 操作delta lake表的，总觉得有点混乱，今天用Java以真实的数据来进行一次数据的CRUD操作，所涉及的数据来源于Delta lake up and running配套的 GitGitHub - benniehaelen/delta-lake-up-and-running: Companion reposito…
Delta lake with Java--入门
最近在研究数据湖，虽然不知道研究成果是否可以用于工作，但我相信机会总是留给有准备的人。
数据湖尤其是最近提出的湖仓一体化概念，很少有相关的资料，目前开源的项目就三个，分别是hudi, delta lake, iceberg。最终选择…
数据湖之Delta Lake
Delta Lake：数据湖存储层概述
Delta Lake 是一种开源的存储层技术，构建在 Apache Spark 的基础之上，旨在解决传统数据湖的可靠性、性能和数据一致性问题。它通过引入 ACID 事务、数据版本控制、时间旅行和统一的批处理与流处理等特性&#x…
Delta lake with Java--利用spark sql操作数据1
今天要解决的问题是如何使用spark sql 建表，插入数据以及查询数据
1、建立一个类叫 DeltaLakeWithSparkSql1，具体代码如下，例子参考Delta Lake Up & Running第3章内容
import org.apache.spark.sql.SaveMode;
import org.apache.spark.…
Delta lake with Java--数据增删改查
之前写的关于spark sql 操作delta lake表的，总觉得有点混乱，今天用Java以真实的数据来进行一次数据的CRUD操作，所涉及的数据来源于Delta lake up and running配套的 GitGitHub - benniehaelen/delta-lake-up-and-running: Companion reposito…
Delta lake with Java--利用spark sql操作数据2
上一篇文章尝试了建库，建表，插入数据，还差删除和更新，所以在这篇文章补充一下，代码很简单，具体如下：
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;publi…
Delta lake with Java--利用spark sql操作数据2
上一篇文章尝试了建库，建表，插入数据，还差删除和更新，所以在这篇文章补充一下，代码很简单，具体如下：
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;publi…
Delta lake with Java--将数据保存到Minio
今天看了之前发的文章，居然有1条评论，看到我写的东西还是有点用。
今天要解决的问题是如何将 Delta产生的数据保存到Minio里面。
1、安装Minio，去官网下载最新版本的Minio，进入下载目录，运行如下命令，曾经…
Delta lake with Java--将数据保存到Minio
今天看了之前发的文章，居然有1条评论，看到我写的东西还是有点用。
今天要解决的问题是如何将 Delta产生的数据保存到Minio里面。
1、安装Minio，去官网下载最新版本的Minio，进入下载目录，运行如下命令，曾经…
Delta lake with Java--读《Delta Lake Up and Running》总结
利用5.1假期读完《Delta Lake Up and Running》，这本书非常适合入门，但不够深入，要想将Delta lake用于实际项目，还是需要从spark开始重新学习。学完一本书总结一下这本书的内容。
第一章 概念介绍，其中第21页的Medall…