【Spark】RDD缓存机制

news/2024/10/30 11:27:53/

1. RDD缓存机制是什么?

把RDD的数据缓存起来,其他job可以从缓存中获取RDD数据而无需重复加工。

2. 如何对RDD进行缓存?

有两种方式,分别调用RDD的两个方法:persistcache
注意:调用这两个方法后并不会立刻缓存,而是有action算子触发时才会缓存。

3. persist 和 cache有什么区别?

二者的区别在于缓存级别上:
persist有多种缓存方式,如缓存到内存,缓存到磁盘等。
cache只缓存到内存,且实际是调用了persist方法。
两种方法的源码及缓存RDD的缓存级别如下:
在这里插入图片描述
在这里插入图片描述

4. 何时需要缓存RDD?

有两种情况:

  1. RDD被后续多个job用到;
  2. RDD的计算过程复杂。

5. 如何清除RDD缓存?

有两种方式:

  1. 应用程序结束后,缓存自动清除;
  2. 调用unpersist方法,源码如下:
    在这里插入图片描述

–The End–


http://www.ppmy.cn/news/42143.html

相关文章

OpenCV中图像操作的基础介绍

文章目录 目录 文章目录 前言 一、加载、显示、保存图像 示例代码: 二、调整图像大小 示例代码: 三、裁剪图像 示例代码: 四、反转图像 示例代码: 五、调整亮度和对比度 示例代码: 六、代码整合 七、其他常见操作 …

Redis数据迁移过程,使用jedis客户端,需要注意区分string和byte命令转换字符编码不一致的问题,使用不当会导致丢数据

1.了解String与byte之间存在的字符编码映射规则(java为例) string与byte来回转换,需要指定一样字符编码规则 详细原因请参考:关于Java中bytes到String的转换-阿里云开发者社区 简单来说 (1)string和by…

Cont. DB Project ----- MySQL Python Project

Function achieve (Cont.) Item Search 添加一个新函数search_item,用于实现商品搜索的功能。参数:keyword (为了模糊查询) # search items by keywords def search_item(keyword):cursor, db connect_database()sql f"SE…

《花雕学AI》06:抢先体验ChatGPT的九个国内镜像站之试用与综合评测

最近ChatGPT持续大火,大家们是不是在网上看到各种和ChatGPT有趣聊天的截图,奈何自己实力不够,被网络拒之门外,只能眼馋别人的东西。看别人在体验,看别人玩,肯定不如自己玩一把舒服的啊。 上一期&#xff0…

FIFO的工作原理及其设计

1.简介 FIFO( First Input First Output)简单说就是指先进先出。FIFO存储器是一个先入先出的双口缓冲器,即第一个进入其内的数据第一个被移出,其中一个口是存储器的输入口,另一个口是存储器的输出口。 对于单片FIFO来说,主要有两种…

JDBC03-批处理、连接池、DBUtils、事物、DAO通用方法

1. 封装 JDBCUtils 【关闭、得到连接】 1.1 说明 1.2 代码实现 工具类 JDBCUtils package com.hspedu.jdbc.utils;import java.io.FileInputStream; import java.io.IOException; import java.sql.*; import java.util.Properties; /** * 这是一个工具类,完成 my…

重装系统下载网址

[置顶]无论会不会安装系统,都一定会需要,觉得内容不错欢迎一键三连哦 稳定 | 方便 | 好用 1、MSDN 用过最简单好用,下载不限速,支持迅雷、IDM多种下载方式 https://www.xitongku.com 2、Windows系统下载仓储站 为小白重装系统提供…

yum源配置

一、互联网yum源(centos7为例): cd /etc/yum.repos.d/ && rm -f *.repo;wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo && wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo…