aibox.nlp.features.portuguese.lexical_diversity

Características de diversidade léxica.

Classes

LexicalDiversityExtractor([nlp])	Extrator de características de diversidade léxica.
LexicalDiversityFeatures(ratio_verb, ...)	Características de diversidade léxida..

class aibox.nlp.features.portuguese.lexical_diversity.LexicalDiversityFeatures(ratio_verb: float, ratio_noun: float, ratio_propn: float, ratio_adj: float, ratio_adv: float, ratio_adp: float, ratio_aux: float, ratio_det: float, yule_k: float, hapax_legomena: float, guiraud_index: float, pos_dissimilarity: float, lexical_density: float, lexical_diversity_mtld: float, lexical_diversity: float)

Base: DataclassFeatureSet

Características de diversidade léxida..

Para mais informações sobre as características, checar as referências.

Referências:

[1]: Oliveira, H., Miranda, P., Isotani, S., Santos, J., Cordeiro, T., Bittencourt, I. I., & Ferreira Mello, R. (2022). Estimando Coesão Textual em Redações no Contexto do ENEM Utilizando Modelos de Aprendizado de Máquina. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação (SBIE 2022) (pp. 883–894). Simpósio Brasileiro de Informática na Educação. Sociedade Brasileira de Computação - SBC.

Parâmetros:

• ratio_verb (float)

• ratio_noun (float)

• ratio_propn (float)

• ratio_adj (float)

• ratio_adv (float)

• ratio_adp (float)

• ratio_aux (float)

• ratio_det (float)

• yule_k (float)

• hapax_legomena (float)

• guiraud_index (float)

• pos_dissimilarity (float)

• lexical_density (float)

• lexical_diversity_mtld (float)

• lexical_diversity (float)

as_dict() → dict[str, float]

Retorna os valores das características desse conjunto para um dado texto.

Retorna:

características contidas nesse FeatureSet para um dado texto.

Tipo de retorno:

dict[str, float]

as_numpy() → ndarray[float32]

Retorna as características como uma NumPy array. Os valores de cada índice são correspondentes às características na ordem de names().

Retorna:

array de np.float32 representando os valores das características.

Tipo de retorno:

ndarray[float32]

as_tensor(device: str | None = None) → Tensor

Retorna as características como um tensor. Os valores de cada índice são correspondentes às características na ordem de names().

Parâmetros:

device (str, opcional) – dispositivo de armazenamento.

Retorna:

Tensor do torch representado os valores das características.

Tipo de retorno:

Tensor

names() → list[str]

Retorna os nomes das características em ordem lexicográfica. Todos os outros métodos apresentam os valores conforme essa ordem.

Retorna:

nome das características desse conjunto.

Tipo de retorno:

list[str]

class aibox.nlp.features.portuguese.lexical_diversity.LexicalDiversityExtractor(nlp: Language | None = None)

Base: FeatureExtractor

Extrator de características de diversidade léxica.

Parâmetros:

nlp (Language) – modelo do spaCy a ser utilizado. Defaults to “pt_core_news_md”.

Exemplo de uso em FeatureExtractor

property feature_set: type[LexicalDiversityFeatures]

Retorna a classe que contém o conjunto de características retornado por esse extrator.

Retorna:

classe do conjunto de características retornado por esse extrator.

extract(text: str, **kwargs) → LexicalDiversityFeatures

Realiza a extração de características para o texto de entrada.

Parâmetros:

• text (str) – texto.

• **kwargs – argumentos extras que pode ser utilizados por alguns extratores para controlar o processo de extração.

Retorna:

características para o texto de entrada.

Tipo de retorno:

LexicalDiversityFeatures

vectorize(text: str | list[str] | ndarray[str_], vector_type: str = 'numpy', device: str | None = None, **kwargs) → ndarray | Tensor

Método para vetorização de textos. A vetorização de múltiplos textos é realizada de forma paralela sempre que possível.

Aceita os campos n_workers (default=`min(4, cpu_count)`) e show_bar (default=`true`) quando array-like de string. Demais parâmetros são passados para _vectorize().

n_workers é utilizado quando a implementação utiliza multiprocessing. Caso n_workers <= 1, um for.

Parâmetros:

• text (str | list[str] | ndarray[str_]) – texto ou textos de entrada.

• vector_type (str, opcional) – tipo do vetor de saída (‘numpy ou ‘torch’).

• device (str, opcional.) – dispositivo para armazenamento do tensor Torch. Padrão é CPU.

• **kwargs – parâmetros extras que podem ser utilizados por alguns vetorizadores para controlar o processo de vetorização.

Retorna:

representação numérica do texto.

Tipo de retorno:

ndarray | Tensor