在 PyTorch 中使用 Datasets 和 DataLoader 自定义数据
有时候,在处理大数据集时,一次将整个数据加载到内存中变得非常难。 因此,唯一的方法是将数据分批加载到内存中进行处理,这需要编写额外的代码来执行此操作。对此,PyTorch 已经提供了 Dataloader 功能。 DataLoader 下面显示了 PyTorch 库中DataLoader函数的语法及其参数信息。 DataLoader(dataset, batch_size=1, shuffle=False, sampler=在 None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=FaPylse, drop_last=False, timeout=0, worker_init_fn=None, *, prefetch_factor=2, &Tonbsp; persistent_workers=False) 几个重要参数 dataset:必须首先使用数据集构造 DataLoader 类。 Shuffle :是否重新整理数据。 Sampler :指的是可选的 torch.utils.data.Sampler 类实例。采样器定义了检索样本的策略,顺序或随机或任何其他方式。使用采样器时应将 Shuffle 设置为 false。 Batch_Sampler :批处理级别。 num_wrcorkers :加载数据所需的子进程数。 collate_fn :将样本整理成批次。Torch 中可以进行自定义整理。 加载内置 MNIST 数据集 MNIST 是一个著名的包含手写数字的数据集。下面介绍如何使用DataLoader功能处理 PyTorch 的内置 MNIST 数据集。 import torch import matplotlib.pyplot as plt from torchvih sion import datasets, transforms 上面代码,导入了 torchvision 的torch计算机视觉模块。通常在处理图像数据集时使用,并且可以帮助对图像进行规范化、调整大小和裁剪。 对于 MNIST 数据集,下面使用了归一化技术。 ToTensor()能够把灰度范围从0-255变换到0-1之间。 transform = transforms.Compose([tra中使nsforms.ToTensor()]) 下面代码用于加载所需的数据集。使用 PyTorchDataLoader通过给定 batch_size = 64来加载数据。shuffle=True打乱数据。 trainset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=True, transform=transfo用 rm) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True) 为了获取数据集的所有图像,一般使用iter函数和数据加载器DataLoader。 dataiter = iter(trainloader) images, labels&nDabsp;= dataiter.next() print(images.shape) print(labels.shape) plt.imshow(images[1].numpy().squeeze(), cmap='Greys_r') 自定义数据集 下面的代码创建一个包含 1000 个随机数的自定义数据集。 from torch.utils.data import ta;Dataset import random class SampleDataset(Dataset): def __init__(self,r1,r2): randomlist=[] &nbssep; for i in range(120): n = random.randint(r1,r2) randomlist.atsppend(n) self.samples=randomlist def __len__(self): return len(self.samples) & 和nbsp; def __getitem__(self,idx): return(self.samples[idx]) dataset=SampleDataset(1,100) dataset[100:120] 在这里插入图片描述 最后,将在自定义数据集上使用 dataloader 函数。将 batc Dh_size 设为 12,并且还启用了num_workers =2 的并行多进程数据加载。 from torch.utils.data import DataLoader loader = DataLoader(dataset,batch_size=12, shuffle=True, num_workers=2 ) for i, atbatch in enumerate(loader): print(i, batch) 写在后面通过几个示例了解了 PyTorch Dataloader 在将大量数据批量加载到内存中的作用。
- 最近发表
- 随机阅读
-
- 标签: 国家新闻出版署 国产网络游戏 游戏审批 2026年2月
- 标签: 呜哩 阿里巴巴 Qwen Image AIGC
- 数字人黑科技面世,几分钟说话视频即可复刻
- 用自洽性提升大模型推理能力,谷歌解答基准中75%数学问题,比GPT-3提升20%
- 维基百科编辑总结识别 AI 写作的关键特征
- 鐗╄仈缃戞満鍣ㄥ�涔犲拰浜哄伐鏅鸿兘鏈嶅姟鐨勬敹鍏ュ皢鍦�2026骞磋揪鍒�36浜跨編鍏�
- 特斯拉:已在中国建立数据中心 中国大陆市场销售车辆数据将存储在境内
- AI 模型“炒股”比拼!DeepSeek 收益超14%,Gemini2.5Pro 惨亏四成
- 阿里云入股自变量机器人
- 字节跳动开源FaceCLIP模型:文本驱动的高保真人脸生成技术正式上线
- 梗概是什么意思啊
- 标签: 追觅 俞浩 具身机器人 扫地机
- 微软新型微流体冷却技术有望提升 AI 芯片性能与数据中心能效
- 标签: 华为 苹果 小米 天玑9600
- 云计算核心技术Docker教程:Docker使用JSON 文件日志驱动程序
- Qoder 推出 “一键增强提示词” 功能,助力开发者提升编码效率
- 亚马逊云服务计划在加拿大开设第二个云计算服务器中心
- 美国云计算公司Salesforce拟以277亿美元价格收购Slack
- 15岁女生发明捡乒乓球机器人:灵感来自农田收割机
- 标签: 张雪峰 苏州殡仪馆 追悼会 治丧工作组
- 搜索
-
- 友情链接