🤖 Практическое руководство по NLP: изучаем классификацию текстов с помощью библиотеки fastText

        import pandas as pd
import fasttext
from sklearn.model_selection import train_test_split
import re
from gensim.parsing.preprocessing import STOPWORDS
from gensim.parsing.preprocessing import remove_stopwords

pd.options.display.max_colwidth = 1000
    

        help(fasttext.FastText)
    

        # Загружаем данные
df_headline = pd.read_json("Sarcasm_Headlines_Dataset.json", lines=True)
# Проверяем количество переменных и наблюдений
df_headline.shape
(26709, 3)
# Отобразим примеры заголовков
df_headline.head(3)
    

        # Отобразим количество саркастических и несаркастических статей в датасете и их процентное соотношение
df_headline.is_sarcastic.value_counts()
0    14985
1    11724
df_headline.is_sarcastic.value_counts(normalize=True)
0    0.561047
1    0.438953
    

        df_headline[df_headline['is_sarcastic']==1].head(3)

    

        df_headline[df_headline['is_sarcastic']==0].head(3)
    

        # Создадим функцию очистки текста
def clean_text(text):
    text = text.lower()
    text = re.sub(r'[^\sa-zA-Z0-9@\[\]]',' ',text) # Удаляет пунктцацию
    text = re.sub(r'\w*\d+\w*', '', text) # Удаляет цифры
    text = re.sub('\s{2,}', " ", text) # Удаляет ненужные пробелы
    return text

# Применяем ее к заголовку
df_headline['headline'] = df_headline['headline'].apply(clean_text)
    

        # Разделяем данные на обучающие и текстовые
train, test = train_test_split(df_headline, test_size = 0.2)

    

        # Создадим текстовые файля для обучения модели с лейблом и текстом
with open('train.txt', 'w') as f:
    for each_text, each_label in zip(train['headline'], train['is_sarcastic']):
        f.writelines(f'__label__{each_label} {each_text}\n')
        
with open('test.txt', 'w') as f:
    for each_text, each_label in zip(test['headline'], test['is_sarcastic']):
        f.writelines(f'__label__{each_label} {each_text}\n')

# Отобразим, как теперь выглядят наши данные для обучения
!head -n 10 train.txt

__label__0 singapore airlines flight catches fire no casualties
__label__1 area man wins conversation
__label__0 stephen colbert explains the conspiracies against donald trump in nsfw diagram
__label__1 turkey sandwich given locally relevant name
__label__1 quiet riot speaks out against nation s poor metal health care
    

        # Первая модель без оптимизации гиперпараметров
model1 = fasttext.train_supervised('train.txt')

# Создадим функцую для отображения результатов обучения модели
def print_results(sample_size, precision, recall):
    precision   = round(precision, 2)
    recall      = round(recall, 2)
    print(f'{sample_size=}')
    print(f'{precision=}')
    print(f'{recall=}')

# Применяем функцию
print_results(*model1.test('test.txt'))

sample_size=5342
precision=0.85
recall=0.85
    

        # Вторая модель с количеством эпох равной 25
model2 = fasttext.train_supervised('train.txt', epoch=25)

print_results(*model2.test('test.txt'))

sample_size=5342
precision=0.83
recall=0.83

    

        # Третья модель с количеством эпох равной 10 и скоростью обучния равной 1
model3 = fasttext.train_supervised('train.txt', epoch=10, lr=1.0)

print_results(*model3.test('test.txt'))

sample_size=5342
precision=0.83
recall=0.83
    

        model4 = fasttext.train_supervised('train.txt', epoch=10, lr=1.0, wordNgrams =2)

print_results(*model4.test('test.txt'))

sample_size=5342
precision=0.86
recall=0.86

    

        model5 = fasttext.train_supervised('train.txt', autotuneValidationFile='test.txt')

print_results(*model5.test('test.txt'))

sample_size=5342
precision=0.87
recall=0.87
    

        
model6 = fasttext.train_supervised('train.txt', autotuneValidationFile='test.txt', autotuneMetric="f1:__label__1")

print_results(*model6.test('test.txt'))

sample_size=5342
precision=0.87
recall=0.87
    

        # Сохраним модель с оптимизированными гиперпараметрами и самой высокой точностью 
model6.save_model('optimized.model')

    

        model.quantize(input='train.txt', retrain=True)
    

        # Загружаем, сохраненную ранее модель
model = fasttext.load_model("optimized.model")

# Пример классификации одного заголовка
model.predict("Fed official says weak data caused by weather, should not slow taper")

(('__label__0',), array([0.99874038]))
    

        # Загружаем данные
df_headline_test = pd.read_csv('uci-news-aggregator.csv')
# Отобразим заголовки 
df_headline_test.TITLE.head(3)

0     Fed official says weak data caused by weather, should not slow taper
1       Fed's Charles Plosser sees high bar for change in pace of tapering
2    US open: Stocks fall after Fed official hints at accelerated tapering
3               Fed risks falling 'behind the curve', Charles Plosser says
4                       Fed's Plosser: Nasty Weather Has Curbed Job Growth
    

        # Подготовим новые данные для классификации
df_headline_test['TITLE'] = df_headline_test['TITLE'].apply(clean_text)
# Создадим функцию для классификации текста
def predict_sarcasm(text):
    return model.predict(text, k=1)
# Трансформируем переменные в удобный формат 
df_headline_test['predict_score'] = df_headline_test.TITLE.apply(predict_sarcasm)
df_headline_test['predict_score'] = df_headline_test['predict_score'].astype(str)
df_headline_test[['label','probability']] = df_headline_test.predict_score.str.split(" ",expand=True)
df_headline_test['label'] = df_headline_test['label'].str.replace("(", '')
df_headline_test['label'] = df_headline_test['label'].str.replace(")", '')
df_headline_test['label'] = df_headline_test['label'].str.replace("__", ' ')
df_headline_test['label'] = df_headline_test['label'].str.replace(",", '')
df_headline_test['label'] = df_headline_test['label'].str.replace("'", '')
df_headline_test['label'] = df_headline_test['label'].str.replace("label", '')
df_headline_test['probability'] = df_headline_test['probability'].str.replace("array", '')
df_headline_test['probability'] = df_headline_test['probability'].str.replace("(", '')
df_headline_test['probability'] = df_headline_test['probability'].str.replace(")", '')
df_headline_test['probability'] = df_headline_test['probability'].str.replace("[", '')
df_headline_test['probability'] = df_headline_test['probability'].str.replace("]", '')

# Удаляем ненужную переменную
df_headline_test = df_headline_test.drop(columns=['predict_score'])

# Отобразим количество спрогнозированых саркастических и несаркастических заголовков
df_headline_test.label.value_counts(normalize=True)

0    0.710827
1    0.289173