aibox.nlp.vectorizers.autoencoder.base

Classes abstratas para vetorizadores baseados em Autoencoders.

Classes

AEVectorizerABC(*vectorizers[, latent_size, ...])

Classe base para vetorizadores baseados em Autoencoders.
class aibox.nlp.vectorizers.autoencoder.base.AEVectorizerABC(*vectorizers: Vectorizer, latent_size: int = 50, random_state: int | None = None, epochs: int = 100, learning_rate: float = 0.001, optim_params: dict = {}, optimizer: Literal['adam', 'adamw', 'rmsprop', 'adagrad', 'sgd'] = 'adamw', train_batch_size: int = 256, device: str | None = None, dtype=torch.float32)[código-fonte]

Base: TrainableVectorizer

Classe base para vetorizadores baseados em Autoencoders.

Vetorizadores baseados em Autoencoders aprendem novas características a partir de outras já existentes.

Parâmetros:

  • vectorizers (Vectorizer)

  • latent_size (int)

  • random_state (int)

  • epochs (int)

  • learning_rate (float)

  • optim_params (dict)

  • optimizer (Literal['adam', 'adamw', 'rmsprop', 'adagrad', 'sgd'])

  • train_batch_size (int)

  • device (str)

fit(X: list[str] | ndarray[str_], y: list[int] | list[float] | ndarray[int32] | ndarray[float32] | Tensor | None = None, **kwargs) → None[código-fonte]

Método para treinamento do vetorizador. O valor de y não é utilizado, só é mantido por consistência da interface fit(X, y).

Parâmetros:

  • X (list[str] | ndarray[str_]) – array-like de strings com formato (n_samples,).

  • y (list[int] | list[float] | ndarray[int32] | ndarray[float32] | Tensor | None) – desconsiderado. Existe para compatibilidade com outras classes que implementam o método com mesmo nome.

  • **kwargs – configurações extras que alguns vetorizadores treináveis podem utilizar.

Tipo de retorno:

None

vectorize(text: str | list[str] | ndarray[str_], vector_type: str = 'numpy', device: str | None = None, **kwargs) → ndarray | Tensor

Método para vetorização de textos. A vetorização de múltiplos textos é realizada de forma paralela sempre que possível.

Aceita os campos n_workers (default=`min(4, cpu_count)`) e show_bar (default=`true`) quando array-like de string. Demais parâmetros são passados para _vectorize().

n_workers é utilizado quando a implementação utiliza multiprocessing. Caso n_workers <= 1, um for.

Parâmetros:

  • text (str | list[str] | ndarray[str_]) – texto ou textos de entrada.

  • vector_type (str, opcional) – tipo do vetor de saída (‘numpy ou ‘torch’).

  • device (str, opcional.) – dispositivo para armazenamento do tensor Torch. Padrão é CPU.

  • **kwargs – parâmetros extras que podem ser utilizados por alguns vetorizadores para controlar o processo de vetorização.

Retorna:

representação numérica do texto.

Tipo de retorno:

ndarray | Tensor