目录
一、Row对象常见操作
二、Row、RDD、DataFrame互相转换
1、RDD—>DataFrame
2、DataFrame—>RDD
3、DataFrame—>Row
4、Row—>DataFrame
一、Row对象常见操作
python">from pyspark.sql import Row# 创建一个Row对象
row = Row(name="张三", age=25)# 使用索引、字段名访问字段
print(row[0], row.name) # 修改Row对象（通过转换为字典的方式进行修改）
dict_ = row.asDict()
dict_['age'] = 26
del dict_['name']
dict_['姓名'] = "李四"
new_row = Row(**dict_)# 值迭代
for field in row:print(field)#判断是否包含某个字段
print("name" in row)# 获取字段数量
len(row)二、Row、RDD、DataFrame互相转换
1、RDD—>DataFrame
python">from pyspark.sql import SparkSession
from pyspark.sql import Row# 初始化SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()# 创建一个RDD
rdd = sc.parallelize([("Alice", 25), ("Bob", 30)])# 将RDD的元素转换为Row对象
row_rdd = rdd.map(lambda x: Row(name=x[0], age=x[1]))# 将Row RDD转换为DataFrame
df = spark.createDataFrame(row_rdd)
df.show()
2、DataFrame—>RDD
python"># 从DataFrame获取RDD
rdd_from_df = df.rdd# 进一步将RDD的元素转换为元组或其他格式
rdd_as_tuples = rdd_from_df.map(lambda row: (row.name, row.age))
rdd_as_tuples.collect()3、DataFrame—>Row
DataFrame的每一行都是一个Row对象。
python"># 迭代DataFrame获取Row
for row in df.collect():print(f"name:{row.name} age:{row.age}")# 以下都会生成Row对象
df.limit(1)
df.first
4、Row—>DataFrame
python"># Row对象列表
rows = [Row(name="Alice", age=25), Row(name="Bob", age=30)]# 创建DataFrame
df = spark.createDataFrame(rows)
df.show()
