在 Spark 上实现 Graph Embedding

server/2024/12/23 4:26:38/

        在 Spark 上实现 Graph Embedding 主要涉及利用大规模图数据来训练模型,以学习节点的低维表示(嵌入)。这些嵌入能够捕捉和反映图中的节点间关系,如社交网络的朋友关系或者物品之间的相似性。在 Spark 上进行这一任务,可以使用 Spark 的图计算库 GraphX 或者利用外部库如 GraphFrames。

        下面,我将介绍如何在 Spark 环境中实现基本的 Graph Embedding,我们将使用 GraphFrames,因为它提供了对 DataFrame 的支持,更为易用。

环境准备

  1. 安装 Spark:确保你的环境中已经安装了 Spark。
  2. 安装 GraphFrames:GraphFrames 是在 Spark DataFrames 上操作图的库。安装方法通常是将 GraphFrames 的依赖项添加到你的 Spark 作业中。

Graph Embedding 实现步骤

Step 1: 创建 Spark Session

        首先,你需要创建一个 Spark 会话,这是使用 Spark 的入口。

from pyspark.sql import SparkSession# 创建 Spark 会话
spark = SparkSession.builder \.appName("Graph Embedding Example") \.getOrCreate()
Step 2: 构建图

使用 GraphFrames 构建图,你需要两个主要的 DataFrame:顶点 DataFrame 和边 DataFrame。

from graphframes import *# 创建顶点 DataFrame
vertices = spark.createDataFrame([("1", "Alice"),("2", "Bob"),("3", "Charlie"),
], ["id", "name"])# 创建边 DataFrame
edges = spark.createDataFrame([("1", "2", "friend"),("2", "3", "follow"),("3", "1", "follow"),
], ["src", "dst", "relationship"])# 创建图
graph = GraphFrame(vertices, edges)
Step 3: 使用 GraphFrames 进行图计算

        我们将使用随机游走算法作为生成节点嵌入的基础。此处简化处理,考虑基于 PageRank 的方法来初始化我们的 Graph Embedding。

# 计算 PageRank
results = graph.pageRank(resetProbability=0.15, tol=0.01)
results.vertices.select("id", "pagerank").show()
Step 4: 进一步的嵌入处理

        实际的 Graph Embedding 通常需要更复杂的处理,如 DeepWalk, Node2Vec 等。这些算法涉及随机游走以及后续使用 Word2Vec 算法来生成嵌入。这些步骤在 Spark 上实现需要额外的处理,可能涉及到自定义 PySpark 代码或者使用额外的库。

        在现实世界的应用中,单靠 PageRank 并不足以捕获复杂的节点相互关系。更高级的方法如 Node2Vec,可以更有效地学习节点的低维表示。这里,我们将简化 Node2Vec 的实现思想,使用 PySpark 自定义实现随机游走和使用 Spark MLlib 的 Word2Vec 来生成嵌入。

随机游走算法

        随机游走是 Graph Embedding 中一个重要的步骤,用于生成节点序列。这里我们简单实现随机选择下一个节点的逻辑。

from pyspark.sql.functions import explode, coldef random_walk(graph, num_walks, walk_length):walks = []for _ in range(num_walks):# 随机选择初始节点vertices = graph.vertices.rdd.map(lambda vertex: vertex.id).collect()for vertex in vertices:walk = [vertex]for _ in range(walk_length - 1):current_vertex = walk[-1]# 获取与当前节点相连的节点neighbors = graph.edges.filter(col("src") == current_vertex).select("dst").rdd.flatMap(lambda x: x).collect()if neighbors:# 随机选择下一个节点next_vertex = random.choice(neighbors)walk.append(next_vertex)walks.append(walk)return walks# 使用自定义的随机游走函数
walks = random_walk(graph, num_walks=10, walk_length=10)
使用 Word2Vec 生成嵌入

        接下来,我们将使用 Spark MLlib 中的 Word2Vec 来从随机游走生成的序列中学习嵌入。

from pyspark.ml.feature import Word2Vec# 将随机游走的结果转化为 DataFrame
walks_df = spark.createDataFrame(walks, ["walk"])# 设置 Word2Vec 模型
word2Vec = Word2Vec(vectorSize=100, inputCol="walk", outputCol="result", minCount=0)
model = word2Vec.fit(walks_df)# 获取节点的嵌入
node_embeddings = model.getVectors()
node_embeddings.show()
Step 5: 评估和使用嵌入

        生成的节点嵌入可以用于多种下游任务,得到节点嵌入后,可以将其用于各种图分析任务,比如节点分类、图聚类等、链接预测等。评估嵌入通常需要具体任务相关的指标。评估嵌入的效果通常依赖于这些任务的性能。

节点分类示例

        如果有节点的标签数据,可以使用这些嵌入来训练一个分类器,并评估其性能。

from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import MulticlassClassificationEvaluator# 假设有一个包含节点标签的 DataFrame
labels = spark.createDataFrame([("1", "Class1"),("2", "Class2"),("3", "Class3"),
], ["id", "label"])# 将标签与嵌入进行合并
data = labels.join(node_embeddings, labels.id == node_embeddings.word, how='inner')# 准备数据集
data = data.select("result", "label")
(trainingData, testData) = data.randomSplit([0.8, 0.2])# 训练逻辑回归模型
lr = LogisticRegression(maxIter=10, regParam=0.3, elasticNetParam=0.8, featuresCol="result", labelCol="label")
lrModel = lr.fit(trainingData)# 评估模型
predictions = lrModel.transform(testData)
evaluator = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test Error = %g" % (1.0 - accuracy))

        这个简单的流程展示了如何使用 Spark 和 GraphFrames 进行更高级的 Graph Embedding,并利用嵌入来执行图分析任务。实际应用中,你可能需要进一步调整模型的参数,或者对特定任务做优化。

Step 6: 部署到生产环境

        将模型部署到生产环境通常涉及将模型保存并在生产环境中加载它,使用如下:

# 保存模型
model_path = "/path/to/save/model"
graph_embedding_model.save(model_path)# 在生产环境中加载模型
loaded_model = GraphEmbeddingModel.load(model_path)

总结

        这个示例提供了在 Spark 上进行基本图嵌入的框架,但请注意,真正的 Graph Embedding 如 DeepWalk 或 Node2Vec 需要更复杂的实现。如果你的需求超出了 PageRank 等简单算法的范围,可能需要查阅更多资源或使用专门的图分析工具来实现。这个示例提供了一个简单的示范引导,以便理解图嵌入的基本概念,并在 Spark 环境中实现它们。


http://www.ppmy.cn/server/152405.html

相关文章

在 Spring Boot 3 中实现基于角色的访问控制

基于角色的访问控制 (RBAC) 是一种有价值的访问控制模型,可增强安全性、简化访问管理并提高效率。它在管理资源访问对安全和运营至关重要的复杂环境中尤其有益。 我们将做什么 我们有一个包含公共路由和受限路由的 Web API。受限路由需要数据库中用户的有效 JWT。 现在用户…

智慧商城:点击“加入购物车”判断是否登录来进行跳转到登录页登录并回跳 + 发请求渲染加入购物车数量的角标

点击“加入购物车”判断是否登录来进行跳转到登录页登录并回跳 按需引入需要的 Dialog 组件并进行全局注册 Vue.use( )仅仅在Vue组件的上下文中起作用,所以在Vue组件中通过 this.$ 来使用 在 js 文件中则还要导入,然后直接使用,并不需要 this…

【ETCD】【Linearizable Read OR Serializable Read】ETCD 数据读取:强一致性 vs 高性能,选择最适合的读取模式

ETCD 提供了两种不同类型的读取操作方式,分别是 Linearizable Read(线性化读取)和 Serializable Read(可串行化读取)。这两种方式主要区分在读取数据时对一致性的要求不同。 目录 1. Linearizable Read(线…

Sui 基金会任命 Christian Thompson 为新任负责人

Sui 基金会是专注于推动 Sui 蓬勃发展的生态增长与采用的机构。近日,基金会宣布任命 Christian Thompson 为新任负责人。在 Sui 主网发布的开创性一年里,Sui 凭借其无与伦比的速度、可扩展性和效率,迅速崛起为领先的 Layer 1 区块链之一&…

微信小程序支付/微信小程序+node服务 支付爬坑 v2

一、前端 小程序登录及支付请求和唤起支付界面 // app.js const {request} require(./assets/js/utils) // app.js App({onLaunch() {// 展示本地存储能力const logs wx.getStorageSync(logs) || []logs.unshift(Date.now())wx.setStorageSync(logs, logs)// 登录wx.login({s…

电脑开机提示error loading operating system怎么修复?

前一天电脑还能正常运行,但今天启动时却显示“Error loading operating system”(加载操作系统错误)。我已经仔细检查了硬盘、接线、内存、CPU和电源,确认这些硬件都没有问题。硬盘在其他电脑上可以正常使用,说明不是硬…

【从零开始入门unity游戏开发之——C#篇23】C#面向对象继承——`as`类型转化和`is`类型检查、向上转型和向下转型、里氏替换原则(LSP)

文章目录 一、as类型转化和is类型检查1、as 关键字使用场景:语法:示例:特点: 2、is 关键字使用场景:语法:示例:特点: 3、总结 二、向上转型和向下转型1、向上转型示例: 2…

Java设计模式实战:策略模式、工厂模式、模板模式组合使用

Java设计模式实战:策略模式、工厂模式、模板模式组合使用 在软件开发中,设计模式是解决特定问题的成熟模板。它们可以帮助我们写出更灵活、更可维护的代码。本文将通过一个充电场景为例,展示如何将策略模式(Strategy Pattern&…