paddlets.transform.base

class BaseTransform[源代码]

基类:object

所有数据转换类的基础类(在该模块中命名为 transformers)。

任何用于时序数据转换(如:transform.MinMaxScaler)的类均可以继承自此基类, 并实现 fit(), transform()fit_transform() 方法。

fit(dataset: Union[TSDataset, List[TSDataset]])[源代码]

从给定数据集中学习transformer所需的参数。

任何继承自此类的非抽象子类均需实现此方法。

该方法训练的参数和具体的transformer有关。举例来说,MinMaxScaler 需要计算 最大值(MAX)和最小值(MIN),同时 StandardScaler 需要计算均值(MEAN)和标准偏差(standard deviation)。

参数

dataset (Union[TSDataset, List[TSDataset]]) – 用于训练transformer的数据集。

abstract fit_one(dataset: TSDataset)[源代码]

从给定数据集中学习transformer所需的参数。

任何继承自此类的非抽象子类均需实现此方法。

该方法训练的参数和具体的transformer有关。举例来说,MinMaxScaler 需要计算 最大值(MAX)和最小值(MIN),同时 StandardScaler 需要计算均值(MEAN)和标准偏差(standard deviation)。

参数

dataset (TSDataset) – 用于训练transformer的数据集。

transform(dataset: Union[TSDataset, List[TSDataset]], inplace: bool = False) Union[TSDataset, List[TSDataset]][源代码]

将训练完成的transformer应用于给定数据集。

任何继承自此类的非抽象子类均需实现此方法。

参数
  • dataset (Union[TSDataset, List[TSDataset]) – 待转换的输入数据。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成数据转换的数据集。

返回类型

Union[TSDataset, List[TSDataset]]

abstract transform_one(dataset: TSDataset, inplace: bool = False) TSDataset[源代码]

将训练完成的transformer应用于给定数据集。

任何继承自此类的非抽象子类均需实现此方法。

参数
  • dataset (TSDataset) – 待转换的输入数据。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成数据转换的数据集。

返回类型

TSDataset

transform_n_rows(dataset: TSDataset, n_rows: int, inplace: bool = False) TSDataset[源代码]

将训练完成的transformer应用于给定数据集。

参数
  • dataset (TSDataset) – 待转换的输入数据。

  • n_rows (int) – 待转换的输入数据。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成数据转换的数据集。

返回类型

TSDataset

fit_transform(dataset: Union[TSDataset, List[TSDataset]], inplace: bool = False) Union[TSDataset, List[TSDataset]][源代码]

将训练和转换合并在一个方法中。该方法首先训练transformer,然后将训练完成的transformer应用到给定数据集上。

任何继承自此类的非抽象子类均需实现此方法。

参数
  • dataset (Union[TSDataset, List[TSDataset]]) – 将要被处理的数据集。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成数据转换的数据集。

返回类型

Union[TSDataset, List[TSDataset]]

inverse_transform(dataset: Union[TSDataset, List[TSDataset]], inplace: bool = False) Union[TSDataset, List[TSDataset]][源代码]

transform 方法的逆向转换方法。

与其他抽象方法不同的是,该方法并没有被 abc.abstractmethod 装饰器装饰。这样做的原因是并非所有的时序数据转换都可以被逆向转换回原来的形式,因此,我们认为不可能、也无法强制要求所有继承自此基类的子类都实现该方法。

通常来说,一些诸如 Pipeline 在内的其他模块可能在不知道被调用的transform实例是否已经实现该方法的前提下调用此方法。为了解决此问题,我们没有使用 pass 表达式作为该基类方法的默认占位符,而是抛出了一个 NotImplementedError 错误。这个抛出的错误使得调用者可以使用 try-except 机制去识别那些没有实现该方法的 transform 实例。

参数
  • dataset (Union[TSDataset, List[TSDataset]]) – 完成逆向转换的数据集。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成逆向转换的数据集。

返回类型

TSDataset

引发

NotImplementedError

inverse_transform_one(dataset: TSDataset, inplace: bool = False) TSDataset[源代码]

transform 方法的逆向转换方法。

与其他抽象方法不同的是,该方法并没有被 abc.abstractmethod 装饰器装饰。这样做的原因是并非所有的时序数据转换都可以被逆向转换回原来的形式,因此,我们认为不可能、也无法强制要求所有继承自此基类的子类都实现该方法。

通常来说,一些诸如 Pipeline 在内的其他模块可能在不知道被调用的transform实例是否已经实现该方法的前提下调用此方法。为了解决此问题,我们没有使用 pass 表达式作为该基类方法的默认占位符,而是抛出了一个 NotImplementedError 错误。这个抛出的错误使得调用者可以使用 try-except 机制去识别那些没有实现该方法的 transform 实例。

参数
  • dataset (TSDataset) – 完成逆向转换的数据集。

  • inplace (bool, optional) – 若设置为True,则会执行一个就地转换。默认值为False。

返回

完成逆向转换的数据集。

返回类型

TSDataset

引发

NotImplementedError

class UdBaseTransform(ud_transformer: object, in_col_names: Optional[Union[str, List[str]]] = None, per_col_transform: bool = False, drop_origin_columns: bool = False, out_col_types: Optional[Union[str, List[str]]] = None, out_col_names: Optional[List[str]] = None)[源代码]

基类:BaseTransform

用户自定义数据转换模块

参数
  • ud_transformer (object) – 用户自定义或第三方数据转换模块对象

  • in_col_names (Optional[Union[str, List[str]]]) – 待转换的输入数据。

  • per_col_transform (bool) – 是否对每列进行单独的转换处理, 默认为否

  • drop_origin_columns (bool) – 是否删除原始的输入列数据, 默认为否

  • out_col_types (Optional[Union[str, List[str]]]) – 输出列的类型, None代表将会基于输入列进行自动推断

  • out_col_names (Optional[List[str]]) – 输出列的名称, None代表将会基于输入列进行自动推断

fit_one(dataset: TSDataset)[源代码]

从给定数据集中学习transformer所需的参数。

参数

dataset (TSDataset) – 用于训练transformer的数据集。

返回

self

transform_one(dataset: TSDataset, inplace: bool = False) TSDataset[源代码]

transform 方法的逆向转换方法。

参数
  • dataset (TSDataset) – 待转换的输入数据。

  • inplace (bool) – 是否替换原始的数据,默认是False

返回

完成数据转换的数据集。

inverse_transform_one(dataset: TSDataset, inplace: bool = False) TSDataset[源代码]

transform 方法的逆向转换方法。

参数
  • dataset (TSDataset) – 完成逆向转换的数据集。

  • inplace (bool) – 设置为True以执行就地操作并避免数据复制

返回

完成逆向转换的数据集。

返回类型

TSDataset