ミスチルで一番ポジティブな曲とネガティブな曲は？【日本語評価極性辞書でネガポジ分析】

import pandas as pd
import collections
from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenfilter import *
import plotly.graph_objects as go

# カラム名と値の位置ずれを制御
pd.set_option('display.unicode.east_asian_width', True)

# csvファイルを読み込み
df_dic = pd.read_csv('pn.csv.m3.120408.trim', sep='\t', names=("名詞", "判定", "詳細"), encoding='utf-8')

# p,n,eの判定値の項目のみ取り出し
df_dic = df_dic[(df_dic["判定"] == 'p') | (df_dic["判定"] == 'e') | (df_dic["判定"] == 'n')]

# 名詞と判定値のみ取り出し
df_dic = df_dic.iloc[:,0:2]

keys = df_dic["名詞"].tolist()
values = df_dic["判定"].tolist()
dic = dict(zip(keys, values))

# 歌詞の名詞を読み込む
# csvファイルを読み込み
df_file = pd.read_csv('mrchildren-lyrics.csv', encoding='utf-8')

# 歌詞をデータフレームからリストに変換
song_info = df_file[["曲名", "歌詞"]]

song_list = []
for song_name, song_lyrics in zip(song_info['曲名'], song_info['歌詞']):

    # 複合名詞化
    a = Analyzer(token_filters=[CompoundNounFilter()])
    result = [token.base_form for token in a.analyze(song_lyrics) if token.part_of_speech.split(',')[0] in ['名詞']]
    result_list = [song_name, result]
    song_list.append(result_list)


# 削除するワードをリスト化
stopwords = ['ん', 'よう', 'の', 'こと', 'さ', 'そう', 'まま', 'はず', 'ため']
for song in song_list:
    for stopword in stopwords:
        song[1] = [i for i in song[1] if i != stopword]
    song_word_num = len(song[1])
    song.append(song_word_num)

    # 辞書で判定
    results = []
    for sentence in song[1]:
        word_score = []
        score = dic.get(sentence)
        word_score = (sentence, score)
        results.append(word_score)

    # 判定を曲情報に追加
    song.append(results)

    # それぞれの曲の単語をp,n,e,Noneに分けてリストに格納
    p_lists = []
    n_lists = []
    e_lists = []
    None_lists = []
    for result in results:
        if result[1] == 'p':
            p_lists.append(result[0])
        elif result[1] == 'n':
            n_lists.append(result[0])
        elif result[1] == 'e':
            e_lists.append(result[0])
        else:
            None_lists.append(result[0])

    # それぞれのリストを曲情報に追加
    song.append(p_lists)
    song.append(len(p_lists))
    song.append(n_lists)
    song.append(len(n_lists))
    song.append(e_lists)
    song.append(len(e_lists))
    song.append(None_lists)
    song.append(len(None_lists))

    # p/(p+n+e) の割合を計算
    try:
        p_ratio1 = len(p_lists) / (len(p_lists) + len(n_lists) + len(e_lists))
    except ZeroDivisionError:
        p_ratio1 = 0
    song.append(p_ratio1)

    # p/全単語数 の割合を計算
    try:
        p_ratio2 = len(p_lists) / (song_word_num)
    except ZeroDivisionError:
        p_ratio2 = 0
    song.append(p_ratio2)

    # n/(p+n+e) の割合を計算
    try:
        n_ratio1 = len(n_lists) / (len(p_lists) + len(n_lists) + len(e_lists))
    except ZeroDivisionError:
        n_ratio1 = 0
    song.append(n_ratio1)

    # n/全単語数 の割合を計算
    try:
        n_ratio2 = len(n_lists) / (song_word_num)
    except ZeroDivisionError:
        n_ratio2 = 0
    song.append(n_ratio2)

    # ポジティブ - ネガティブのスコア1を算出
    score1 = p_ratio1 - n_ratio1
    song.append(score1)
    # ポジティブ - ネガティブのスコア2を算出
    score2 = p_ratio2 - n_ratio2
    song.append(score2)

# グラフ作成
graph_data_list1 = []
graph_data_list2 = []
graph_data_list3 = []
graph_data_list4 = []
graph_data_list5 = []
graph_data_list6 = []
for song in song_list:
    # ポジティブの単語数
    graph_data1 = [song[0], song[5]]
    graph_data_list1.append(graph_data1)
    # ネガティブの単語数
    graph_data2 = [song[0], song[7]]
    graph_data_list2.append(graph_data2)
    # ニュートラルの単語数
    graph_data3 = [song[0], song[9]]
    graph_data_list3.append(graph_data3)
    # 未分類の単語数
    graph_data4 = [song[0], song[11]]
    graph_data_list4.append(graph_data4)
    # スコア1
    graph_data5 = [song[0], song[16]]
    graph_data_list5.append(graph_data5)
    # スコア2
    graph_data6 = [song[0], song[17]]
    graph_data_list6.append(graph_data6)

graph_list1 = dict(graph_data_list1)
graph_list2 = dict(graph_data_list2)
graph_list3 = dict(graph_data_list3)
graph_list4 = dict(graph_data_list4)
graph_list5 = dict(graph_data_list5)
graph_list6 = dict(graph_data_list6)

# plotlyでグラフ化
graphtitle = "ミスチル　ネガポジ分析"
fig = go.Figure()
fig.add_trace(go.Bar(x=list(graph_list1.keys()), y=list(graph_list1.values()), name = 'ポジティブ単語数',  yaxis='y1'))
fig.add_trace(go.Bar(x=list(graph_list2.keys()), y=list(graph_list2.values()), name = 'ネガティブ単語数',  yaxis='y1'))
fig.add_trace(go.Bar(x=list(graph_list3.keys()), y=list(graph_list3.values()), name = 'ニュートラル単語数',  yaxis='y1'))
fig.add_trace(go.Bar(x=list(graph_list4.keys()), y=list(graph_list4.values()), name = '未分類の単語数',  yaxis='y1'))
fig.add_trace(go.Scatter(x=list(graph_list5.keys()), y=list(graph_list5.values()), name = 'スコア1',  yaxis='y2', mode='markers'))
fig.add_trace(go.Scatter(x=list(graph_list6.keys()), y=list(graph_list6.values()), name = 'スコア2',  yaxis='y2', mode='markers'))
fig.update_layout(title={'text': graphtitle})
fig.update_layout(xaxis={'categoryorder':'total descending'})
fig.update_layout(yaxis1=dict(side='left'),
                  yaxis2=dict(side='right',
                              showgrid=False,                              
                              overlaying='y'))
fig.show()
# グラフをhtml形式で保存。
filename = "mrchildren-negaposi"
with open(filename + '.html', 'w') as f:
    f.write(fig.to_html(include_plotlyjs='cdn'))