aibox.nlp.features.portuguese.semantic_cohesion

Características relacionadas a coesão semântica.

Classes

SemanticExtractor([nlp])	Extrator de características de coesão semântica.
SemanticFeatures(lsa_adj_mean, lsa_adj_std, ...)	Características de coesão semântica.

class aibox.nlp.features.portuguese.semantic_cohesion.SemanticFeatures(lsa_adj_mean: float, lsa_adj_std: float, lsa_all_mean: float, lsa_all_std: float, lsa_givenness_mean: float, lsa_givenness_std: float, lsa_paragraph_mean: float, lsa_paragraph_std: float, lsa_span_mean: float, lsa_span_std: float, cross_entropy: float)

Base: DataclassFeatureSet

Características de coesão semântica.

Parâmetros:

• lsa_adj_mean (float)

• lsa_adj_std (float)

• lsa_all_mean (float)

• lsa_all_std (float)

• lsa_givenness_mean (float)

• lsa_givenness_std (float)

• lsa_paragraph_mean (float)

• lsa_paragraph_std (float)

• lsa_span_mean (float)

• lsa_span_std (float)

• cross_entropy (float)

as_dict() → dict[str, float]

Retorna os valores das características desse conjunto para um dado texto.

Retorna:

características contidas nesse FeatureSet para um dado texto.

Tipo de retorno:

dict[str, float]

as_numpy() → ndarray[float32]

Retorna as características como uma NumPy array. Os valores de cada índice são correspondentes às características na ordem de names().

Retorna:

array de np.float32 representando os valores das características.

Tipo de retorno:

ndarray[float32]

as_tensor(device: str | None = None) → Tensor

Retorna as características como um tensor. Os valores de cada índice são correspondentes às características na ordem de names().

Parâmetros:

device (str, opcional) – dispositivo de armazenamento.

Retorna:

Tensor do torch representado os valores das características.

Tipo de retorno:

Tensor

names() → list[str]

Retorna os nomes das características em ordem lexicográfica. Todos os outros métodos apresentam os valores conforme essa ordem.

Retorna:

nome das características desse conjunto.

Tipo de retorno:

list[str]

class aibox.nlp.features.portuguese.semantic_cohesion.SemanticExtractor(nlp: Language | None = None)

Base: FeatureExtractor

Extrator de características de coesão semântica.

Parâmetros:

nlp (Language | None) – modelo do spaCy para ser utilizado. Defaults to “pt_core_news_md”.

Exemplo de uso em FeatureExtractor

property feature_set: type[SemanticFeatures]

Retorna a classe que contém o conjunto de características retornado por esse extrator.

Retorna:

classe do conjunto de características retornado por esse extrator.

extract(text: str, **kwargs) → SemanticFeatures

Realiza a extração de características para o texto de entrada.

Parâmetros:

• text (str) – texto.

• **kwargs – argumentos extras que pode ser utilizados por alguns extratores para controlar o processo de extração.

Retorna:

características para o texto de entrada.

Tipo de retorno:

SemanticFeatures

static withdraw_characters(s: str) → str

Remove caracteres especiais de uma string.

Parâmetros:

s (str) – string original.

Retorna:

nova string sem os caracteres especiais.

Tipo de retorno:

str

static compute_word2vec(word: str, model: dict[str, list[float]]) → ndarray

Computa embeddings de um token

Parâmetros:

• word (str) – token.

• model (dict[str, list[float]]) – modelo gerador de embeddings.

Retorna:

vetor dos embeddings da respectiva palavra.

Tipo de retorno:

ndarray

static compute_doc2vec(tokens: list[str], model: dict[str, list[float]]) → list[tuple[int, float]]

Computa o vetor de um documento (lista de tokens)

Parâmetros:

• tokens (list[str]) – lista de tokens.

• model (dict[str, list[float]]) – modelo gerador de embeddings.

Retorna:

embeddings do documento.

Tipo de retorno:

list[tuple[int, float]]

static compute_similarity(doc1: list[str], doc2: list[str], model: dict[str, list[float]]) → float

Computa a simlaridade do cosseno entre dois documentos

Parâmetros:

• doc1 (list[str]) – lista de tokens.

• doc2 (list[str]) – lista de tokens.

• model (dict[str, list[float]]) – modelo gerador de embeddings.

Retorna:

similaridade do cosseno entre os embeddings dos dois documentos

Tipo de retorno:

float

vectorize(text: str | list[str] | ndarray[str_], vector_type: str = 'numpy', device: str | None = None, **kwargs) → ndarray | Tensor

Método para vetorização de textos. A vetorização de múltiplos textos é realizada de forma paralela sempre que possível.

Aceita os campos n_workers (default=`min(4, cpu_count)`) e show_bar (default=`true`) quando array-like de string. Demais parâmetros são passados para _vectorize().

n_workers é utilizado quando a implementação utiliza multiprocessing. Caso n_workers <= 1, um for.

Parâmetros:

• text (str | list[str] | ndarray[str_]) – texto ou textos de entrada.

• vector_type (str, opcional) – tipo do vetor de saída (‘numpy ou ‘torch’).

• device (str, opcional.) – dispositivo para armazenamento do tensor Torch. Padrão é CPU.

• **kwargs – parâmetros extras que podem ser utilizados por alguns vetorizadores para controlar o processo de vetorização.

Retorna:

representação numérica do texto.

Tipo de retorno:

ndarray | Tensor