Compararea probabilităţilor elementelor textului

Abstract

Modelele statistice ale textului sunt larg folosite în procesarea limbajului natural. Noţiunea de bază pentru modele statistice este probabilitatea elementelor textului. Probabilităţile se estimează folosind un corpus de texte. În studiul dat am comparat probabilităţile literelor şi cuvintelor în corpusuri diferite. Scopul comparării este determinarea egalităţii probabilităţilor, şi justificarea folosirii modelului statistic creat în baza unui corpus pentru textele din alt domeniu.

Statistical models are widely used for Natural Language Processing. The base notion in statistical modeling of Natural Language is the probability of text elements. Text elements probabilities are estimated on base of corpus of texts. In the paper letters and words probabilities were compared in different corpora. The aim of comparison was find out if these probabilities were equal or not; is it feasible to use statistical model created on a corpus for processing text from another domain.

Les modèles statistiques des textes sont largement utilisés pour le traitement automatique du langage naturel. La notion de base de modèles est la probabilité des éléments du texte. Les probabilités sont estimés a l’aide du corpus des textes. Dans cet article on compare les probabilités des lettres et des mots dans des corpus différents. Le but de la comparaison est la vérification des égalités des probabilités et la justification de l’utilisation du modèle statistique créé en base d’un corpus pour les textes d’autre domaines.

Статистические модели текста широко используются для обработки естественного языка. Базовым понятием статистических моделей является вероятность элементов текста. Вероятности элементов оцениваются на базе корпуса текстов. В данной работе сравниваются вероятности букв и слов в разных корпусах с целью определения равны ли эти вероятности и насколько оправдано применение статистической модели созданной на базе одного корпуса для текстов другого типа.