【R语言】鉴于计算10亿以内训练模型记录for循环的加速

news/2024/11/27 14:40:48/

文章目录

    • 1 前言
    • 2 几个循环
      • 2.1 100以内的和
      • 2.2 100以内奇数和/偶数和
    • 3 多重循环
      • 3.1 向量化
      • 3.2 合并循环
      • 3.3 apply函数
      • 3.4 矩阵运算
      • 3.5 foreach分解任务
    • 4 讨论

1 前言

笔者主力机是MBAM1芯片(8+256),某个下午巩固循环突然思考到个问题,小循环很快就能run出来,中循环还勉勉强强,稍微上点强度就运行的很慢。虽然是CPU占用100%,8颗核心好像是偷着懒跑的,但是丢给我那台4核心8线程黑苹果,是跑满的,说明ARM在多线程的时候,有点东西

下图是计算一个10亿内训练模型时的top

2 几个循环

2.1 100以内的和

### for
sum <- 0
for (i in 1:100) {sum <- sum + i
}
print(sum)### while
sum <- 0
i <- 1
while (i <= 100) {sum <- sum + ii <- i + 1
}
print(sum)

2.2 100以内奇数和/偶数和

### for
odd_sum <- 0
even_sum <- 0for (i in 1:100) {if (i %% 2 == 0) {even_sum <- even_sum + i} else {odd_sum <- odd_sum + i}
}print(paste("奇数和:", odd_sum))
print(paste("偶数和:", even_sum))### while
odd_sum <- 0
even_sum <- 0
i <- 1while (i <= 100) {if (i %% 2 == 0) {even_sum <- even_sum + i} else {odd_sum <- odd_sum + i}i <- i + 1
}print(paste("奇数和:", odd_sum))
print(paste("偶数和:", even_sum))

3 多重循环

以下仅记录和提供思路,具体情况具体分析,但是有一点思维模式很得益

3.1 向量化

假设计算两个向量x和y的点积,使用for循环分别游历,相乘再相加:

x <- c(1, 2, 3, 4, 5)
y <- c(5, 4, 3, 2, 1)
dot_product <- 0
for (i in 1:length(x)) {dot_product <- dot_product + x[i] * y[i]
}
print(dot_product)

向量化,可以理解为对号入座,亮点就是sum()*

x <- c(1, 2, 3, 4, 5)
y <- c(5, 4, 3, 2, 1)
dot_product <- sum(x * y)
print(dot_product)

3.2 合并循环

假设对两个矩阵A和B中的每个元素进行遍历,将它们相加,并将结果保存到矩阵C中。可以使用两个嵌套的for循环实现:

A <- matrix(1:9, 3, 3)
B <- matrix(10:18, 3, 3)
C <- matrix(0, 3, 3)
for (i in 1:nrow(A)) {for (j in 1:ncol(A)) {C[i, j] <- A[i, j] + B[i, j]}
}
print(C)#输出结果:[,1] [,2] [,3]
[1,]   11   13   15
[2,]   17   19   21
[3,]   23   25   27

但是理解这类的目的,合并循环的思路在这里刚好就是矩阵一一对应的数字相加:

A <- matrix(1:9, 3, 3)
B <- matrix(10:18, 3, 3)
C <- A + B
print(C)

3.3 apply函数

假设有一个3x3的二维矩阵mat,需要将矩阵中每个元素求平方。我们可以使用for循环来实现:

mat <- matrix(1:9, 3, 3)
result <- matrix(0, 3, 3)
for (i in 1:nrow(mat)) {for (j in 1:ncol(mat)) {result[i, j] <- mat[i, j] ^ 2}
}
print(result)

apply+function

mat <- matrix(1:9, 3, 3)
result <- apply(mat, c(1, 2), function(x) x^2)
print(result)

3.4 矩阵运算

假设需要计算一个矩阵A的逆矩阵,使用for循环和矩阵运算实现:

A <- matrix(c(1, 2, 3, 4), 2, 2)
det_A <- A[1, 1] * A[2, 2] - A[1, 2] * A[2, 1]
adj_A <- matrix(c(A[2, 2], -A[1, 2], -A[2, 1], A[1, 1]), 2, 2)
A_inv <- adj_A / det_A
print(A_inv)#输出结果:[,1] [,2]
[1,] -2.0  1.0
[2,]  1.5 -0.5

若要优化这一步骤,很简单,直接用solve()

A <- matrix(c(1, 2, 3, 4), 2, 2)
A_inv <- solve(A)
print(A_inv)

3.5 foreach分解任务

foreach包实现多线程for循环

library(foreach)
library(doParallel)# 创建一个1000行,1000列的矩阵
m <- matrix(runif(1000000), nrow = 1000)# 初始化并行计算环境
cl <- makeCluster(detectCores())
registerDoParallel(cl)# 使用foreach包和%dopar%运算符进行并行计算
result <- foreach(i = 1:nrow(m), .combine = "+") %dopar% sum(m[i, ])# 结束并行计算环境
stopCluster(cl)# 输出结果
print(result)

有人会说,这不就是用了个函数吗?

是,但又不完全是,不然为何有人懂得用这个函数,但有人需要一步一步算(并非说一步一步算不好,只有自己算过,理解了,才懂得去挖掘深度,化繁为简)

4 讨论

如果只知道个函数是知其然而不知其所以然,但是只知道计算过程便如优化前的一样,一步一步计算。得益于现在互联网发展的飞起,各种便利工具各种开源方法,几乎人人都是调包侠,但是当现成的辅佐无法满足时还是需要回归底层。最近深有感触,不论是数据挖掘、还是机器学习深度学习、人工智能、全栈,分析的尽头就是算法


http://www.ppmy.cn/news/61889.html

相关文章

前端配置化表单组件设计方法 | 京东云技术团队

一、背景 前端开发中涉及表单的页面非常多&#xff0c;看似功能简单&#xff0c;开发快速&#xff0c;实则占去了很大一部分时间。当某个表单包含元素过多时还会导致html代码过多&#xff0c;vue文件过大。从而不容易查找、修改和维护。为了提高开发效率及降低维护成本&#x…

测牛学堂:2023软件测试入门学习指南(测试理论之缺陷相关内容详解)

缺陷是什么&#xff1f; 缺陷&#xff0c;也就是我们口中的bug。在IEEE的定义是&#xff1a;计算机软件或程序中存在某种破坏正常运行能力的问题&#xff0c;错误&#xff0c;隐藏的功能错误。 开发过程或维护过程中引入的错误&#xff0c;或者 在使用过程中&#xff0c;软件…

第六章 Iptables与Firewalld防火墙

文章目录 第六章 Iptables与Firewalld防火墙一、Iptables1、策略与规则链&#xff08;1&#xff09;、防火墙策略规则的设置&#xff08;2&#xff09;、数据包处理位置 2、基本的命令参数&#xff08;1&#xff09;、iptables中常用的参数以及作用&#xff08;2&#xff09;、…

西安研究所分享

1. 航空工业和中国航发 • 第603研究所&#xff08;第一飞机设计研究院&#xff0c;一飞院&#xff09; 位于西安阎良区&#xff0c;距离主城50公里。待遇杠杠的&#xff0c;门槛很高 • 第618研究所&#xff08;中国飞行自动控制研究所&#xff09; 核心部门是控制、导航和电…

2023年深圳CPDA数据分析师认证到这里就对了哦

CPDA数据分析师认证是大数据方面的认证&#xff0c;助力数据分析人员打下扎实的数据分析基础知识功底&#xff0c;为入门数据分析保驾护航。 帮助数据分析人员掌握系统化的数据分析思维和方法论&#xff0c;提升工作效率和决策能力&#xff0c;遇到问题能够举一反三&#xff0c…

go-zero

目录 引入开发派系标准库/自研派系——不要让框架束缚开发web框架派系——gingrpc大一统框架 go-zerogo-zero快速实现一个微服务user serviceorder api server启动 goctl安装生成的api网关目录生成的pb目录api语法syntaximport语法块infotypeservice注释 命令大全 引入 该图片来…

开放原子训练营(第三季)inBuilder低代码开发实验室---报销单录入系统

作为一名低代码初学者&#xff0c;我使用inBuilder系统设计了一款报销单录入系统&#xff0c;实现了报销单录入与显示报销单列表的功能&#xff08;如图1与图2所示&#xff09;&#xff0c;并获得了很多开发心得。从inBuilder系统的优点、缺点以及开发过程三方面出发&#xff0…

Three.js--》模型材质与纹理的使用

目录 初识材质与纹理 修改模型材质颜色 模型添加纹理 纹理常用属性使用 纹理显示算法 设置粗糙度 纹理加载进度情况 设置环境贴图 初识材质与纹理 three.js中的材质就是几何体表面的材料。所有材质均继承自Material。ThreeJS的材质分为&#xff1a;基础材质、深度材质…