Data Science. Практика. NemtyrevAI
Чтение книги онлайн.
Читать онлайн книгу Data Science. Практика - NemtyrevAI страница 6
def analyze_word_frequency(text):
# Токенизация текста
tokens = word_tokenize(text)
# Вычисление частоты встречаемости слов
freq_dist = FreqDist(tokens)
return freq_dist
# Пример использования функции анализа частоты словарного запаса
text = "Это пример текста. Он содержит несколько слов, и некоторые слова повторяются."
word_freq = analyze_word_frequency(text)
# Вывод наиболее часто встречающихся слов
most_common_words = word_freq.most_common(5)
for word, frequency in most_common_words:
print(f"{word}: {frequency}")
```
В этом примере используется библиотека NLTK. Функция `analyze_word_frequency` принимает текст в качестве аргумента. Сначала текст токенизируется с помощью `word_tokenize`, затем вычисляется частота встречаемости слов с использованием `FreqDist`. Функция возвращает объект `FreqDist`, который представляет собой словарь, где ключами являются слова, а значениями – их частоты встречаемости.
В примере после анализа частоты словарного запаса выводятся пять наиболее часто встречающихся слов и их частоты. Измените число `5` на нужное количество слов, которые вы хотите вывести.
Обратите внимание, что для использования кода вам нужно предварительно установить библиотеку NLTK и скачать необходимые ресурсы, такие как токенизаторы и словари, с помощью функции `nltk.download()`.
Еще один пример кода на языке Python для анализа частоты словарного запаса:
```python
from nltk.tokenize import word_tokenize
from nltk.probability import FreqDist
import matplotlib.pyplot as plt
def analyze_word_frequency(text):
# Токенизация текста
tokens = word_tokenize(text)
# Вычисление частоты встречаемости слов
freq_dist = FreqDist(tokens)
return freq_dist
# Пример использования функции анализа частоты словарного запаса
text = "Это пример текста. Он содержит несколько слов, и некоторые слова повторяются."
word_freq = analyze_word_frequency(text)
# Вывод наиболее часто встречающихся слов
most_common_words = word_freq.most_common(5)
for word, frequency in most_common_words:
print(f"{word}: {frequency}")
# Визуализация частоты слов
word_freq.plot(30, cumulative=False)
plt.show()
```
В этом примере также используется библиотека NLTK. Функция `analyze_word_frequency` принимает текст в качестве аргумента. Текст токенизируется с помощью `word_tokenize`, а затем вычисляется частота встречаемости слов с использованием `FreqDist`.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.