Spark学习:spark读写postgreSql

news/2024/12/28 3:23:33/

读写PostgreSql

    • 一、环境搭建
    • 二、写
    • 三、读
    • 四、ETL

一、环境搭建

1、spark安装包,官网地址,我下的是如下版本
在这里插入图片描述
2、postgreSql数据库jdbc驱动,官网地址,我下的是如下版本
在这里插入图片描述
3、java版本1.8;scala版本2.12.15
4、spark安装包解压到任意目录,把postgreSql的jdbc驱动jar包放在spark的jars目录下
5、创建maven项目,把maven项目的Modules的Dependencies指定的到spark解压后的jars目录
在这里插入图片描述
6、此时你的External Libraries应该多了很多jar包,如下所示,如果没有,就是有问题了


http://www.ppmy.cn/news/46665.html

相关文章

数据库系统概论(第五版) 王珊 第四章 课后习题答案

目录 (一)数据库安全性の概念 1. 什么是数据库的安全性 2.数据库安全性和计算机系统的安全性有什么关系? 4.试述实现数据库安全性控制的常用方法和技术 5.什么是数据库中的自主存取控制方法和强制存取控制方法? (二)考试…

Jenkins版本升级(v2.107.1 -_ v2.204.1)

文章目录 背景解决第1步:备份jenkins_home第2步:备份tomcat第3步:修改tomcat端口第4步:修改catalina.sh,设置jenkins_home第5步:下载2.204.1的jenkins包第6步:启动tomcat背景 jenkins版本:2.107.1 应用服务器:Tomcat8.5 重启jenkins后,发现很多插件都加载失败了,导…

手机如何访问电脑文件?(iOS和Android)

可以通过手机访问电脑文件吗? “我需要在我的电脑上查看一个文件,但我现在在外面无法实际访问它。我可以通过手机访问我的电脑文件吗?” 答案当然是可以的,无论您使用的是iOS设备还是Android设备,您都可以通过手机…

数据结构—顺序表

目录 1.顺序表概念 2.顺序表分类: 3.实现动态顺序表 3.1初始化顺序表 SLInit 3.2 检查顺序表容量 SLCheckCapacity 3.3 打印顺序表 SLPrint 3.4尾插 SLPushBack 3.5头插 SLPushFront 3.6尾删 SLPopback 3.7头删 SLPopFront 3.8 顺序表查找 SLFind 3.9 顺…

【springcloud开发教程】负载均衡——Ribbon

Ribbon是什么? Spring Cloud Ribbon 是基于Netflix Ribbon 实现的一套客户端负载均衡的工具。简单的说,Ribbon 是 Netflix 发布的开源项目,主要功能是提供客户端的软件负载均衡算法,将 Netflix 的中间层服务连接在一起。Ribbon 的…

ChatGPT帮我和老板吵架,半分钟做了个思维导图...

大家好,我是小z,也可以叫我阿粥 最近那个疑似成都电科的截图已经传疯了,贴一张图回味下: 这种壮士断腕式的吵法,可以说几乎是单方面的虐杀。但是有朋友问了,在职场中还是有所顾忌,有没有更体面点…

机器视觉检测技术在工业零部件的应用

众所周知,在工业生产中,传统的检测技术需要大量的检测工作者,不仅影响生产效率,而且带来不可靠的因素。 视觉检测技术克服了传统检测技术的缺点,确保了检测的安全性。 可靠性和自动化程度高,已成为当前检测…

jQuery制作一个简单的打地鼠游戏(超详细讲解)

🙈作者简介:练习时长两年半的Java up主 🙉个人主页:老茶icon 🙊 ps:点赞👍是免费的,却可以让写博客的作者开兴好久好久😎 📚系列专栏:Java全栈,计…