torch中的spmm

最新推荐文章于 2024-07-20 03:19:34 发布

原创最新推荐文章于 2024-07-20 03:19:34 发布 · 1.7w 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#算法 #pytorch #机器学习

收录于

pytorch 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了PyTorch中稀疏矩阵乘法(spmm)的应用及实现方式。通过具体示例展示了如何使用torch.spmm进行矩阵运算，并对比了不同操作如transpose和view的效果，帮助读者深入理解并掌握这一重要功能。

系列文章目录

本系列记录自己的代码学习知识

torch.matmul的前后两个矩阵维度不同的小结
 torch中的transpose和view的不同

torch中的spmm

系列文章目录
前言
一、torch中的spmm
总结

前言

一、torch中的spmm

我自己运行的结果，spmm就是矩阵乘法

例：

z = y.transpose(0,1)
output = torch.spmm(y, z)
print('z:',z,'y:',y)
print('output:',output)

z: tensor([[1, 1],
        [2, 2],
        [3, 3]]) y: tensor([[1, 2, 3],
        [1, 2, 3]])
output: tensor([[14, 14],
        [14, 14]])

总结

结合看到的知识，自己重新整理。

torch.spmm就是乘法

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

闲看庭前雪

关注关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
9
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

稀疏矩阵-矩阵乘法 (SpMM) 的新批处理算法_cuda_代码_下载

06-22

该库为 GPU 提供高性能批量稀疏矩阵乘法 (SpMM) 内核。目标矩阵很小，行（或列）数为几十或几百。这种操作可以在图卷积网络的应用中找到。Batched SpMM 算法的详细信息可以在论文 (1) 中找到。 (1) Yusuke Nagasaka、Akira Nukada、Ryosuke Kojima、Satoshi Matsuoka，“用于加速图卷积网络的批量稀疏矩阵乘法”，第 19 届 IEEE/ACM 集群、云和网格计算国际研讨会 (CCGrid 2019)，拉纳卡，塞浦路斯，2019 年。（论文也在arXiv上）

9 条评论您还未登录，请先登录后发表或查看评论

torch、torch_sparse、dgl三者spmm显存占用对比

先云的博客

03-30

3883

简单比较一下torch原生，torch_sparse(pyG依赖模块)以及DGL中spmm的显存占用和时间 torch原生，显存占用主要是对结点敏感（bakward的时候用的稠密张量）。 # -*- coding: utf-8 -*- """ @Author: @Time: 2020/12/1 @Description: """ import torch import numpy as np import torch_sparse import dgl import time n = 60000 nn

【Pytorch学习】torch.mm()&torch.matmul()和torch.mul()以及torch.spmm()

热门推荐

sxl的博客

04-07

1万+

做深度学习过程中免不了使用pytorch，刚上手可能觉得pytorch是一门新语言。过一段时间之后发现其用法跟python极其相似，python的很多函数名都可以用到torch中。当然也有一些不同，毕竟张量的计算可以用GPU啊。是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵。当然，对于二维的效果等同于torch.mm（）。关于torch.matmul的详细介绍可以看。torch.matmul()的用法比torch.mm更高级，的维度必须相等，比如。

[torch]t.sparse.mm&t.spmm的使用与区别

panbaoran913的博客

03-27

3194

代码： a = torch.randn(2, 3) a1 =a.to_sparse().requires_grad_(True) a2 = torch.randn(5,2,3).to_sparse() a3 = a.to_sparse().requires_grad_(False) b = torch.randn(3, 2) b1 =b.to_sparse().requires_grad_(True) b2 = torch.randn(5,3,32).to_sparse() b3 = b.to_spars

矩阵乘法函数

weixin_42663766的博客

01-04

1145

torch.spmm()的设计目的是为了提高计算效率和节省内存，因为稀疏矩阵的运算可以避免对0元素进行不必要的计算。函数的一种特殊情况，专门用于执行两个2-D矩阵的矩阵乘法。它对输入类型有严格的限制，仅支持两个2-D矩阵进行矩阵乘法操作。综上所述，torch.mm()适用于普通或密集矩阵的乘法运算，而torch.spmm()适用于稀疏矩阵和密集矩阵的乘法运算。在两个张量的相同位置上，对应元素相乘，得到的结果张量与原始张量的形状相同。在进行两个2-D矩阵的矩阵乘法时，两个函数的结果是相同的。

numpy和torch的乘法函数

weixin_40459958的博客

12-01

2412

numpy >>> a array([[1, 2], [3, 4]]) >>> b matrix([[1, 2], [3, 4]]) >>> c array([1, 2, 3, 4]) >>> d array([[1, 2], [3, 4], [5, 6]]) >>> e array([[1, 3, 5], [2, 4, 6]]) >>

torch.spmm矩阵乘法

weixin_61445075的博客

01-01

9750

Torch.spmm只支持 sparse 在前，dense 在后的矩阵乘法，两个sparse相乘或者dense在前的乘法不支持，当然两个dense矩阵相乘是支持的。 import torch if __name__ == '__main__': indices = torch.tensor([[0,1], [0,1]]) values = torch.tensor([2,3]) shape = torch.Size((2,

Pytorch(一) —— 相关库和函数

hxxjxw的博客

05-21

4830

从numpy中导入tensor torch.from_numpy() 以前是整型，导入就是整型。以前是浮点型，导入就是浮点型生成未初始化的数据 ①Torch.empty() ②Torch.FloatTensor(d1,d2,d3) ③Torch.IntTensor(d1,d2,d3) 注意，未初始化的tensor一定要跟有写入数据的后续步骤 ...................................................................

torch.mm() torch.sparse.mm() torch.bmm() torch.mul() torch.matmul()的区别

十二月未央未眠

10-11

7565

目录torch.mm()torch.sparse.mm()torch.bmm()torch.mul()torch.matmul()总结 torch.mm() 二维矩阵的乘法，假设输入矩阵mat1维度是(m×n)(m×n)(m×n)，矩阵mat2维度是(n×p)(n×p)(n×p)，则输出维度为(m×p)(m×p)(m×p)，只能是二维的 mat1 = torch.randn(2, 3) mat2 = torch.randn(3, 3) out = torch.mm(mat1, mat2)

pytorch矩阵乘法

百般回首曾经的相遇，留下的只是一缕残忆

11-25

1273

torch.matmul是PyTorch中执行一般矩阵乘法的函数，它接受两个矩阵作为输入，并返回它们的乘积。它适用于任何两个矩阵，无论是密集矩阵还是稀疏矩阵。

Torch中的矩阵相乘分类

张小白的博客

01-18

9720

矩阵相乘在torch中的几种情况 1、矩阵逐元素(Element-wise)乘法 torch.mul(mat1, other) mat和other可以是标量也可以是任意维度的矩阵，只要满足最终相乘是可以broadcast的即可,即该操作是支持broadcast操作的。只要mat1与other满足broadcast条件，就可可以进行逐元素相乘。 # 生成指定张量 c = torch.Tensor([[1, 2, 3], [4, 5 ,6]]) print(c.shape) # 2*3 print(c)

神威-SpMM学习笔记备忘

naturalv的博客

09-05

950

矩阵乘(GEMM)算法是数学中最基本、最关键的算法，它的性能对许多科学计算、深度学习的问题解决效率至关重要。BCSR是对CSR的一般化和改进，它和CSR的区别在于把原矩阵分成了大小相同的block，block中的空元素则用0填上，于是每一个block都是稠密的，所以val数组会变大一些（需要填充一些0），但是索引却简化了。通过根进程向同一个通信域中的所有进程发送数据，将数据发送缓冲区的数据分割成长度相等的段，然后分段发送数据给每个进程，如果每段包含N个数据，则向进程i发送的段为。

torch.sparse稀疏矩阵

andy dennis的博客

02-11

4099

前言这几天接触图神经网络，会发现有些图的边相对结点比较少，那么邻接矩阵很多元素都为0，显然，我们可以优化存储策略，以节省内存和加快运算。本文udating… 例子 import torch # 邻接矩阵 adj_dense = torch.tensor([[2, 0], [0, 3]]) # 下标 [0, 0], [1, 1] indices = torch.tensor([[0, 1], [0, 1]]) values = torch.tensor

python报错集锦

qq_36348142的博客

03-07

488

错误1： out = out + (h @ weight[i]) RuntimeError: Expected object of scalar type Int but got scalar type Float for argument #3 'mat2' in call to _th_addmm_out h是torch.float类型 weight[i]是torch.int类型 @:matmul 会报错

DGL0.5中的g-SpMM和g-SDDMM

先云的博客

03-30

3763

DGL0.5中的g-SpMM和g-SDDMM 导读：DGL0.5版本发布时,其团队也对应发表了一篇论文(https://arxiv.org/abs/1909.01315)，较为详细了介绍了DGL的设计、优化以及性能。其中的重要部分就是DGL认为GNN的计算可以归纳为两种，g-SpMM(generalized sparse-dense matrix multiplication)和g-SDDMM(generalized sampled dense-dense matrix mutiplication)。这里

关于运行torch.matmul（x，w）函数报错的问题 RuntimeError: expected scalar type Float but found Long

weixin_44407411的博客

02-23

3441

在李沐大佬**08 线性回归 + 基础优化算法【动手学深度学习v2】**一课中，代码实现环节 def synthetic_data(w,b, num_examples): # 生成y = Xw + b + 噪声 X = torch.normal(0,1, (num_examples, len(w))) # x是均值为0，标准差为1的随机数，大小有num_examples个样本，列数为w y = torch.matmul(X, w) + b y += torch.nor

【DGL系列】简单理解graph.update_all和spmm的区别和源码