动态计算图和GPU支持操作
动态计算图 在深度学习中使用 PyTorch 的主要原因之一,是我们可以自动获得定义的函数的梯度/导数。 当我们操作我们的输入时,会自动创建一个计算图。该图显示了如何从输入到输出的动态计算过程。 为了熟悉计算图的概念,下面将动态为以下函数创建一个: 这里的 是我们的参数,我们想要优化(最大化或最小化)输出 . 为此,我们想要获得梯度. 在下面的代码中,我将使用[1,2,3]作输入。 # 只有浮动张量有梯度 x 计算;= torch.arange(1,4, dtype=torch.float32, requires_grad=True) print("X", x)&图和nbsp; # X tensor([1., 2., 3.], requires_grad=True) 现在让我来一步一步地构建计算图,了解每个操作GP是到底是如何添加到计算图中的。 a = x + 2 b = a ** 2 c = b U支;+ 3 y = c.mean() print("Y", y) # Y tensor(19.6667, grad_持操fn=) 使用上面的语句,我们创建了一个类似于下图的计算图(通过tensorboard )查看: 我们计算 a 基于输入x 和常数2, b是 a平方等等操作。计算图通常以相反的方向可视化(箭头从结果指向输入)。 我们可以通过bac动态kward()在最后一个输出上调用函数来对计算图执行反向传播,这样可以,计算了每个具有属性的张量的梯度requires_grad=True: y.backward() 最后打印x.grad就可以查看对应梯度。 &nbs计算p; GPU支持操作 在Pytorch中GPU 可以并行执行数以千计的小运算,因此非常适合在神经网络中执行大型矩阵运算。 「CPU 与 GPU的区别」 PyTorch 使用GPU,需要搭建NVIDIA 的CUDA和cuDNN。 下面代码,检查图和是否有可用的 GPU: gpu_avail = torch.cuda.is_available() print("Is the GPU available? GP;%s" % str(gpu_avail)) 现在创建一个张量并将其推送到GPU设备: device = torch.device("cuda") if&U支nbsp;torch.cuda.is_available() else torch.device("cpu") print("Device", device) x&nb持操sp;= x.to(device) print("X", x) # Device cuda # X tensor动态([1., 1., 1.], device='cuda:0') cuda 旁边的零表示这是计算机上的第0个 GPU 设备。因此,PyTorch 还支持多 GPU 系统, 下面将CPU 上的大型计算矩阵乘法的运行时间与 GPU 上的运算进行比较: 根据系统中的配置而定,GPU加速提高模型的训练速度。
- 最近发表
- 随机阅读
-
- AI赋能核电运营:Nuclearn完成1050万美元A轮融资,服务全球65座核反应堆
- 谷歌Veo 3视频生成模型登陆Google Photos 静态照片秒变动态视频
- 微软Azure云计算平台第二财季营收同比增长率不及上一财年同期
- 云计算开发实例:Python3插入排序
- 京东云联合Forrester咨询发布混合云报告 云原生成为驱动产业发展新引擎
- 标签: 长晶科技 半导体 IPO 小巨人
- 标签: 小鹏集团 何小鹏 Robotaxi 人形机器人
- 带你认识9种常用卷积神经网络
- 昔日最强机皇宣告终结:鼎盛期苹果也不是对手!
- 标签: 演语科技 LiblibAI
- 如何通过数据驱动的分析方法实现可持续发展
- 亚马逊正开发交换芯片减轻对博通依赖:项目此前严格保密
- 濡備綍鏋勫缓鑷�繁鐨勮劯閮ㄦā绯婂伐鍏�
- 标签: 问界M9 台州事故 三电系统
- 标签: 红松小课 红松集团 退费难 八段锦
- 使用Yarn workspace,TypeScript,esbuild,React和Express构建 K8S 云原生应用(一)
- 标签: 安世半导体 闻泰科技 荷兰政府 芯片短缺
- 标签: 宁德时代 巧克力换电 骐骥换电
- 云计算核心技术Docker教程:使用 Compose 文件部署注册服务器
- 标签: DeepSeek 梁文锋 腾讯控股 OpenClaw
- 搜索
-
- 友情链接