paddle.io

paddle.io 目录下包含飞桨框架数据集定义、数据读取相关的 API。具体如下:

多进程数据读取器相关 API

API 名称

API 功能

多进程数据读取器

获取当前子进程相关信息

数据集定义相关 API

API 名称

API 功能

映射式(map-style)数据集基类定义接口

迭代式(iterable-style)数据集基类定义接口

Tensor 数据集基类定义接口

数据集操作相关 API

API 名称

API 功能

数据集样本级联接口

数据集字段组合接口

数据集取子集接口

给定子集合 dataset 的长度数组,随机切分出原数据集合的非重复子集合

采样器相关 API

API 名称

API 功能

采样器基类定义接口

顺序采样器接口

随机采样器接口

带权重随机采样器接口

批采样器相关 API

API 名称

API 功能

批采样器接口

分布式批采样器接口, 用于分布式多卡场景