【pytorch】relu的实现逻辑

news/2024/9/25 10:59:35/

笔者最近在尝试实现AlexNet的底层算子,基于pytorch的框架,本文主要记录一下pytorch中是如何实现relu算子的。
首先最外层是位于torch\nn\modules\activation.py,主要代码如下:

    __constants__ = ["inplace"]inplace: booldef __init__(self, inplace: bool = False):super().__init__()self.inplace = inplacedef forward(self, input: Tensor) -> Tensor:return F.relu(input, inplace=self.inplace)def extra_repr(self) -> str:inplace_str = "inplace=True" if self.inplace else ""return inplace_str

调用的是位于torch\nn\functional.py的如下代码:

def relu(input: Tensor, inplace: bool = False) -> Tensor:  # noqa: D400,D402r"""relu(input, inplace=False) -> TensorApplies the rectified linear unit function element-wise. See:class:`~torch.nn.ReLU` for more details."""if has_torch_function_unary(input):return handle_torch_function(relu, (input,), input, inplace=inplace)if inplace:result = torch.relu_(input)else:result = torch.relu(input)return result

然后调用的是aten\src\ATen\native\Activation.cpp的如下代码:

Tensor relu(const Tensor & self) {TORCH_CHECK(self.scalar_type() != at::kBool, "Boolean inputs not supported for relu");return at::clamp_min(self, 0);
}

可以看到,主要就是一个大小的比较。

pytorch_44">pytorch调试工具

先说问题,只能看到python的处理逻辑,不能看到底层的C++的处理逻辑。
如何使用,参考的是这篇文章。注意,pdb虽然是python内置的包,但是仍然需要通过import pdb导入才能使用。

还有一个问题就是,pytorch是如何通过python代码调用C++代码的,留到下一篇博文更新。


http://www.ppmy.cn/news/1530263.html

相关文章

配置文件--UmiJs

配置文件 umi 允许在 .umirc.js 或 config/config.js (二选一,.umirc.js 优先)中进行配置,支持 ES6 语法。 为简化说明,文档里只会出现 .umirc.js。 比如: export default {base: /admin/,publicPath: ht…

(11)iptables-仅开放指定ip访问指定端口

iptables实现拒绝所有访问8080端口的ip,仅仅开放172.22.200.220(172.22.200.1)访问8080端口 ---------------- # 拒绝所有对端口 8080 的访问 iptables -A INPUT -p tcp --dport 8080 -j DROP # 允许 IP 地址 172.22.200.220 访问端口 8080 (…

mysql学习教程,从入门到精通,SQL RIGHT JOIN语句(24)

1、SQL RIGHT JOIN语句 RIGHT JOIN(也被称为RIGHT OUTER JOIN)是一种SQL语句,它用于从两个或多个表中根据连接条件返回右表(RIGHT JOIN语句中指定的表)的所有记录,以及左表中匹配的记录。如果左表中的行在…

【软考】传输层协议TCP与UDP

目录 1. TCP1.1 说明1.2 三次握手 2. UDP3. 例题3.1 例题1 1. TCP 1.1 说明 1.TCP(Transmission Control Protocol,传输控制协议)是整个 TCP/IP 协议族中最重要的协议之一。2.它在IP提供的不可靠数据服务的基础上为应用程序提供了一个可靠的、面向连接的、全双工的…

【React】(推荐项目)一个用 React 构建的 CRUD 应用程序

推荐项目:CRUD 应用示例 在本篇文章中,我想向大家推荐一个非常实用的项目:CRUD 应用示例。这个项目展示了如何使用现代技术栈创建一个基础的增删改查(CRUD)应用,非常适合用于学习和实践后端开发技能。 适…

git配置ssh免密

为了配置 Git 通过 SSH 进行免密连接,你需要在本地机器上生成一个 SSH 密钥对,并将公钥添加到你的 GitLab 账户中。以下是详细的步骤: 1.检查现有的 SSH 密钥 首先,检查你是否已经有一个可用的 SSH 密钥。 ls -al ~/.ssh如果你…

linux安装solr

Solr Downloads - Apache Solr 直接下载:https://dlcdn.apache.org/solr/solr/9.7.0/solr-9.7.0.tgz 这个包依赖jdk11以上版本 需要jdk1.8版本的,下载Index of /dist/lucene/solr/7.1.0 # 解压 tar -zxvf solr-9.7.0.tgz # 进入启动目录 cd solr-9.7…

My_string 运算符重载,My_stack

思维导图 将My_string类中的所有能重载的运算符全部进行重载 、[] 、>、<、、>、<、! 、&#xff08;可以加等一个字符串&#xff0c;也可以加等一个字符&#xff09;、输入输出(<< 、 >>) My_string my_string.h #ifndef MY_STRING_H #define MY_…