sparkSQL练习

devtools/2025/1/16 23:31:52/

1.前期准备

（1）建议先把这两篇文章都看一下吧，然后把这个项目也搞下来

（2）看看这个任务

（3）score.txt

student_id,course_code,score
108,3-105,99
105,3-105,88
107,3-105,77
105,3-245,87
108,3-245,89
107,3-245,82
106,3-245,74
107,6-101,75
108,6-101,82
106,6-101,65
109,6-102,99
101,6-102,79
105,9-106,81
106,9-106,97
107,9-106,65
108,9-106,100
109,9-106,82
105,6-102,85

（4）student.txt

student_id,student_name,gender,birthday,class_id
108,ZhangSan,male,1995/9/1,95033
105,KangWeiWei,female,1996/6/1,95031
107,GuiGui,male,1992/5/5,95033
101,WangFeng,male,1993/8/8,95031
106,LiuBing,female,1996/5/20,95033
109,DuBingYan,male,1995/5/21,95031

（5）teacher.txt

teacher_id,teacher_name,gender,birthday,title,department
825,LinYu,male,1958/1/1,Associate professor,department of computer
804,DuMei,female,1962/1/1,Assistant professor,computer science department
888,RenLi,male,1972/5/1,Lecturer,department of electronic engneering
852,GongMOMO,female,1986/1/5,Associate professor,computer science department
864,DuanMu,male,1985/6/1,Assistant professor,department of computer

（6）course.txt

course_code,course_name,teacher_id
3-105,Introduction to computer,825
3-245,The operating system,804
6-101,Spark SQL,888
6-102,Spark,852
9-106,Scala,864

（7）代码准备

创建文件名为task7.scala

代码为

package com.itheimaimport org.apache.spark.sql.SparkSession//spark-sql
object task7 {def main(args: Array[String]): Unit = {// 创建SparkSessionval spark = SparkSession.builder.appName("task7").master("local").getOrCreate()var teacher_path="src\\main\\resources\\teacher.txt"var teacher_df=spark.read.options(Map("sep"->",", "header"->"true")).csv(teacher_path)var student_path = "src\\main\\resources\\student.txt"var student_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(student_path)var score_path = "src\\main\\resources\\score.txt"var score_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(score_path)var course_path = "src\\main\\resources\\course.txt"var course_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(course_path)spark.stop()}}

2.任务实现

（1）按照班级降序排序显示所有学生信息

代码1

    student_df.sort(student_df("class_id").desc).show()

截图1

（2）查询“计算机系”与“电子工程系“不同职称的教师的Tname和Prof

代码1

    var tdepartment=teacher_df("department")teacher_df.filter(tdepartment.contains("electronic")||tdepartment.contains("computer")).select("teacher_name","title").show()

截图1

（3）显示student表中记录数

代码1

    println(student_df.count())

截图1

（4）显示性别为男的教师信息

代码1

    var tsex=teacher_df("gender")teacher_df.filter(tsex==="male").show()

截图1

（5）显示不重复的教师部门信息

代码1

    teacher_df.select("department").distinct().show()

截图1

（6）显示学号为101的学生信息

代码1

    var stu_id=student_df("student_id")student_df.filter(stu_id===101).show()

截图1

（7）将教师信息以List的形式显示

代码1

    teacher_df.collect().toList.foreach(println)

截图1

（8）查询所有“女”教师和“女”同学的name、sex和birthday

代码1

    //lit 函数用于创建一个字面量（常量）列//col 函数用于引用 DataFrame 中的列var t_res=teacher_df.filter(col("gender")==="female").select(col("teacher_name").as("name"),col("gender"),col("birthday"),lit("teacher").as("type"))var stu_res = student_df.filter(col("gender") === "female").select(col("student_name").as("name"),col("gender"), col("birthday"),lit("student").as("type"))t_res.union(stu_res).show()

截图1

3.补充笔记

（1）这两个上课时老师没有讲到，但是有用

导入这些库，才能使用这些函数

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.functions.lit
//lit 函数用于创建一个字面量（常量）列
//col 函数用于引用 DataFrame 中的列

（2）导入函数库要注意

在 Scala 语言中，_（下划线）是一个特殊的符号，具有多种用途。在 import 语句中，_ 用来表示“所有”，是一种通配符。

当你看到这样的导入语句：

scala复制

import org.apache.spark.sql.functions._

这里的 _ 表示导入 org.apache.spark.sql.functions 包中的所有公共成员（包括类、对象、函数等）。这样做的好处是可以让你在后续的代码中直接使用该包中的所有函数和类，而无需再次指定完整的包名。例如，你可以直接使用 col、lit 等函数，而不需要写成 org.apache.spark.sql.functions.col、org.apache.spark.sql.functions.lit。

不过，这种导入方式也有缺点，可能会导致命名冲突，特别是当你从多个包中导入所有成员时，如果有两个包中存在同名的成员，就会出现冲突。因此，在一些情况下，更推荐使用具体的导入方式，明确指定需要导入的成员，以避免潜在的冲突。

（3）有关这四个txt文件的注释如下

这4份数据分别代表了课程信息、学生成绩、学生信息和教师信息，下面分别进行解析：

课程信息

  • 字段说明

    • course_code：课程代码，如“3-105”“3-245”等，是课程的唯一标识。

    • course_name：课程名称，如“Introduction to computer”“The operating system”等，表明课程的具体内容。

    • teacher_id：教师编号，如“825”“804”等，表示教授该课程的教师。

  • 数据内容

    • 共有5门课程，涵盖了计算机基础、操作系统、Spark相关知识以及Scala语言等领域，课程代码、名称和对应的教师编号一一对应。

学生成绩

  • 字段说明

    • student_id：学生编号，如“108”“105”等，是学生的唯一标识。

    • course_code：课程代码，与课程信息表中的课程代码相对应，表示学生所选修的课程。

    • score：分数，如“99”“88”等，表示学生在该课程中的成绩。

  • 数据内容

    • 每位学生选修了不同数量的课程，如学生105选修了3门课程，学生107选修了3门课程等。不同学生在相同课程中的成绩有高有低，例如在“3-105”这门课中，学生108得了99分，学生105得了88分，学生107得了77分。

学生信息

  • 字段说明

    • student_id：学生编号，与学生成绩表中的学生编号相对应。

    • student_name：学生姓名，如“ZhangSan”“KangWeiWei”等，表明学生的具体身份。

    • gender：性别，如“male”“female”，表示学生的性别。

    • birthday：生日，如“1995/9/1”“1996/6/1”等，记录学生的出生日期。

    • class_id：班级编号，如“95033”“95031”，表示学生所在的班级。

  • 数据内容

    • 共有6名学生，姓名、性别、生日和班级编号等信息齐全。从生日来看，学生年龄有大有小，如GuiGui生于1992年，而KangWeiWei生于1996年。从班级编号来看，学生分布在95031班和95033班两个班级。

教师信息

  • 字段说明

    • teacher_id：教师编号，与课程信息表中的教师编号相对应。

    • teacher_name：教师姓名，如“LinYu”“DuMei”等，表明教师的具体身份。

    • gender：性别，如“male”“female”，表示教师的性别。

    • birthday：生日，如“1958/1/1”“1962/1/1”等，记录教师的出生日期。

    • title：职称，如“Associate professor”“Assistant professor”“Lecturer”，表示教师的专业技术职称。

    • department：系别，如“department of computer”“computer science department”“department of electronic engneering”，表示教师所在的系别。

  • 数据内容

    • 共有5名教师，姓名、性别、生日、职称和系别等信息完整。从职称来看，有副教授、助理教授和讲师等不同职称。从系别来看，教师分布在计算机系、计算机科学系和电子工程系等不同系别。


http://www.ppmy.cn/devtools/151100.html

相关文章

你喜欢用什么编辑器?

你喜欢用什么编辑器?

电脑工作者和程序员所使用的文本编辑器通常需要具备高效率、易用性以及对代码友好等特点，包括语法高亮、自动完成、多文件同时编辑、查找替换、版本控制集成等功能。以下是几个广受开发者欢迎且实用性较强的文本编辑器： Visual Studio Code（V…
阅读更多...
贪心算法详细讲解（沉淀中）

贪心算法详细讲解（沉淀中）

文章目录 1. 什么是贪心算法？（贪婪鼠目寸光）经典例题1.1.1 找零问题1.1.2最小路径和1.1.3 背包问题 2.贪心算法的特点2.1 证明例1 3.学习贪心的方向心得体会 1. 什么是贪心算法？（贪婪鼠目寸光） 贪心策略&a…
阅读更多...
计算机组成原理简答题、名词解释整理（考研、期末）

计算机组成原理简答题、名词解释整理（考研、期末）

第一章 计算机系统的概论 计算机系统由硬件和软件两大部分组成一。 硬件，是指计算机的实体部分，他由看的见摸得着的各种电子元器件，各类光电机设备的实物组成，如主机、外部设备。 软件，指人们事先编制的具有各类特殊…
阅读更多...
iOS - 底层实现中涉及的类型

iOS - 底层实现中涉及的类型

1. 基本类型定义 // 基础类型 typedef unsigned long uintptr_t; // 指针大小的无符号整数 typedef long ptrdiff_t; // 指针差值类型 typedef unsigned int uint32_t; // 32位无符号整数 typedef unsigned long long uint64_t; // 64…
阅读更多...
C语言-数据结构-队列

C语言-数据结构-队列

目录 1.队列的特点 2.队列的实现 2.1.初始化队列 2.2.入队列 2.2.1.入空队列 2.2.2.入非空队列 2.3.出队列 2.4.销毁队列 2.5.完整代码 3.实际应用 1.队列的特点 队列是一种常见的数据结构，它遵循先进先出（FIFO, First In First Out&#xff09…
阅读更多...
electron编写一个macOS风格的桌面应用

electron编写一个macOS风格的桌面应用

electron编写一个macOS风格的桌面应用 基于vue3vite，看一下最后的效果： 针对原始的electron模板，做了如下几点调整： 背景边框进行了圆角处理隐藏了原始的titleBar增加了macOS风格的窗口管理工具，就是交通灯按钮组实现…
阅读更多...
api开发及运用小红书笔记详情api如何获取笔记详情信息

api开发及运用小红书笔记详情api如何获取笔记详情信息

item_get_video-获得某书笔记详情 smallredbook.item_get_video 公共参数 名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,i…
阅读更多...
RPC 源码解析~Apache Dubbo

RPC 源码解析~Apache Dubbo

解析 RPC（远程过程调用）的源码可以帮助你深入理解其工作原理和实现细节。为了更好地进行源码解析，我们选择一个流行的 RPC 框架——Apache Dubbo 作为示例。Dubbo 是一个高性能、轻量级的开源 Java RPC 框架，广泛应用于企业级应用…
阅读更多...
最新文章

Copyright @ 2022~2023