aibox.nlp.vectorizers.tfidf_vectorizer

Vetorizador TF-IDF.

Classes

TFIDFVectorizer()

Vetorizador TF-IDF.
class aibox.nlp.vectorizers.tfidf_vectorizer.TFIDFVectorizer[código-fonte]

Base: TrainableVectorizer

Vetorizador TF-IDF.

from aibox.nlp.vectorizers.tfidf_vectorizer import TFIDFVectorizer

# Instanciando
vectorizer = TFIDFVectorizer()
train = ["Texto 1", "Texto 2", "Texto 3"]
text = "Texto de teste"

# Treinando
vectorizer.fit(train)

# Obtendo representação
vectorizer.vectorize(text)
# Out: array([1.])
fit(X: list[str] | ndarray[str_], y: list[int] | list[float] | ndarray[int32] | ndarray[float32] | Tensor | None = None, **kwargs) → None[código-fonte]

Método para treinamento do vetorizador. O valor de y não é utilizado, só é mantido por consistência da interface fit(X, y).

Parâmetros:

  • X (list[str] | ndarray[str_]) – array-like de strings com formato (n_samples,).

  • y (list[int] | list[float] | ndarray[int32] | ndarray[float32] | Tensor | None) – desconsiderado. Existe para compatibilidade com outras classes que implementam o método com mesmo nome.

  • **kwargs – configurações extras que alguns vetorizadores treináveis podem utilizar.

Tipo de retorno:

None

vectorize(text: str | list[str] | ndarray[str_], vector_type: str = 'numpy', device: str | None = None, **kwargs) → ndarray | Tensor

Método para vetorização de textos. A vetorização de múltiplos textos é realizada de forma paralela sempre que possível.

Aceita os campos n_workers (default=`min(4, cpu_count)`) e show_bar (default=`true`) quando array-like de string. Demais parâmetros são passados para _vectorize().

n_workers é utilizado quando a implementação utiliza multiprocessing. Caso n_workers <= 1, um for.

Parâmetros:

  • text (str | list[str] | ndarray[str_]) – texto ou textos de entrada.

  • vector_type (str, opcional) – tipo do vetor de saída (‘numpy ou ‘torch’).

  • device (str, opcional.) – dispositivo para armazenamento do tensor Torch. Padrão é CPU.

  • **kwargs – parâmetros extras que podem ser utilizados por alguns vetorizadores para controlar o processo de vetorização.

Retorna:

representação numérica do texto.

Tipo de retorno:

ndarray | Tensor