安倍首相の会見を自然言語解析し、内容がひと目で分かるように試みた話

  • Windows10, python, MeCab
  • ユーザー辞書:mecab-user-dict-seed
  • こちらから引用し、わかりやすい場所にtext.txtとして保存しておく
import MeCab as m
f = open(“text.txt”)
text = f.read()
f.close()
print(text)
tagger= m.Tagger (‘-Ochasen’)
token = tagger.parse(text)
print(token)
単語ごとに結果が表示される
words = []
for i in range(0,len(token.splitlines())-1):
word = token.splitlines()[i].split(‘\t’)
print(word)
if word[3].startswith(‘名詞’):
words.append(word[0])
if word[3].startswith(‘動詞’):
words.append(word[2]) #word[2] == base form
splitted = ‘ ‘.join(words)
splitted
名詞と動詞のみが抽出され、半角スペースで連結されている
  • ワードクラウドの準備
    (インストールしていない場合はpip install wordcloudでインストールが必要)
import wordcloudword_cloud = wordcloud.WordCloud( 
font_path=”C:\Windows\Fonts\meiryo.ttc”,
background_color=”white”,
width=900,
height=500)
word_cloud.generate(splitted)
import matplotlib.pyplot as plt
plt.figure(figsize=(16,10))
plt.imshow(word_cloud)
plt.axis(“off”)
plt.show()
”する”や”いただく”などあまり意味出てこない動詞が多いため、もう一処理行う
  • ここは恣意的にならないように気を付ける必要があるが、意味のない単語はできるだけ排除
stop_words = [ u’てる’, u’いる’, u’いく’,u’くる’, u’なる’, u’れる’, u’する’, u’ある’,u’できる’, u’こと’, u’これ’, u’さん’, u’して’, \
u’くれる’, u’やる’, u’くださる’, u’そう’, u’せる’, u’した’, u’思う’,u’ため’,u’おる’, u’いただく’,u’申し上げる’, \
u’いただく’,u’いたす’,\
u’それ’, u’ここ’, u’ちゃん’, u’くん’, u’’, u’て’,u’に’,u’を’,u’は’,u’の’, u’が’, u’と’, u’た’, u’し’, u’で’, \
u’ない’, u’も’, u’な’, u’い’, u’か’, u’ので’, u’よう’, u’’]
  • 除外文字を反映するため、もう一度ワードクラウドを作成する
word_cloud = wordcloud.WordCloud( 
font_path=”C:\Windows\Fonts\meiryo.ttc”,
background_color=”white”,
width=900,
height=500,
stopwords=set(stop_words)).generate(splitted)
import matplotlib.pyplot as plt
plt.figure(figsize=(16,10))
plt.imshow(word_cloud)
plt.axis("off")
plt.show()
  • 持続化給付金、緊急事態宣言、といった単語は分割されてしまっているが、ここは地道な辞書登録が必要と思われる
  • 記者会見全内容の詳細把握は難しいが、キーワードのピックアップには役に立つ
  • とくに5分ほどの記者会見を、ひと目で把握できるワードクラウドというツールはやはり優秀

--

--

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store