（PySpark）RDD实验实战——取最大数出现的次数

server/2024/9/22 20:36:07/

实验环境：
提前准备好findspark，pyspark，py4j等库

import findspark
from pyspark import SparkContext, SparkConffindspark.init()

#初始化spark，默认为你所设定的环境变量

conf = SparkConf().setAppName("jsytest").setMaster("local[4]")

#创建一个SparkConf对象，用于配置Spark应用程序，用setAppName来设置程序名称，

#用setMaster来设置运行模式和线程数，这里为本地模式，4个线程

sc = SparkContext(conf=conf)

#创建一个SparkContext对象，它是与Spark集群通信的主要接口
# sc.stop()  #关闭spark上下文

data = [(4),(7),(9),(12),(9),(15),(18),(12),(20),(12)]

#创建所需的数据集

rdd = sc.parallelize(data)

#用parallelize方法将data中的数据结构并行化成RDD

rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()

#rdd.sortBy()用于对RDD中的元素按照指定的排序键进行排序
#rdd.sortBy(keyfunc, ascending=True, numPartitions=None)
#keyfunc,是从 RDD 的每个元素中提取用于排序的键，多分区的话可以通过指定key的排序，来达到操作目的
#ascending表示排序的顺序。 True为升序，False为降序。
#numPartitions表示最终返回结果RDD的分区数。

ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()

#把最终排序导入ss数组中

ysj=rdd.count()-1

#取数据总长，方便后面调用，输出

b=ss[ysj]

#取最大值

c=rdd.filter(lambda x:x==b).count()

#filter起到的作用是一个过滤器，我们这里用它来过滤data中最大值，并用count来记录最大值出现的次数

print("最大值为:",b)
print("出现的次数为:",c)

#输出结果

所有代码演示如下

import findspark
from pyspark import SparkContext, SparkConf
findspark.init()
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
sc = SparkContext(conf=conf)
data = [(4),(7),(9),(12),(9),(15),(18),(12),(20),(12)]
rdd = sc.parallelize(data)
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ysj=rdd.count()-1
b=ss[ysj]
c=rdd.filter(lambda x:x==b).count()
print("最大值为:",b)
print("出现的次数为:",c)

运行结果