14 февраля 2022

❓ Что такое F-score и для чего он используется?

Kaggle expert⚛️ Пишу материал о различных алгоритмах и техниках в сфере Machine Learning.
Не понимаю, с помощью каких методов мы оцениваем качество предсказаний модели. Слышал, что в этом случае может помочь F-score, но какая идея стоит за этой метрикой?
❓ Что такое F-score и для чего он используется?

Хочешь уверенно проходить IT-интервью?

Готовься к IT-собеседованиям уверенно с AI-тренажёром T1!

Мы понимаем, как сложно подготовиться: стресс, алгоритмы, вопросы, от которых голова идёт кругом. Но с AI тренажёром всё гораздо проще.

💡 Почему Т1 тренажёр — это мастхэв?

  • Получишь настоящую обратную связь: где затык, что подтянуть и как стать лучше
  • Научишься не только решать задачи, но и объяснять своё решение так, чтобы интервьюер сказал: "Вау!".
  • Освоишь все этапы собеседования, от вопросов по алгоритмам до диалога о твоих целях.

Зачем листать миллион туториалов? Просто зайди в Т1 тренажёр, потренируйся и уверенно удиви интервьюеров. Мы не обещаем лёгкой прогулки, но обещаем, что будешь готов!

Реклама. ООО «Смарт Гико», ИНН 7743264341. Erid 2VtzqwP8vqy


Не понимаю, с помощью каких методов мы оцениваем качество предсказаний модели. Слышал, что в этом случае может помочь F-score, но какая идея стоит за этой метрикой?

Качество предсказаний модели зависит от точности.

Предположим, что у нас есть радар, цель которого – обнаружить самолет среди других летающих объектов. У этого действия есть несколько конечных исходов.

Введем следующие обозначения:

  • TP (True Positive) – истинно-положительное решение. Самолет обнаружен.
  • TN (True Negative) – истинно-отрицательное решение. Мы не стали детектировать объект, который является бабочкой.
  • FP (False Positive) – ложно-положительное решение. Мы определили другой объект (птицу) как самолет.
  • FN (False Negative) – ложно-отрицательное решение. Мы не стали детектировать объект, но он оказался самолетом.
  • Precision (точность) – насколько хорошо мы находим цель, не “переплачивая” за это ненужными False срабатываниями.
  • Recall (полнота) – как правильно мы обнаружим все True examples.
❓ Что такое F-score и для чего он используется?

Цель – минимизация ложно-отрицательного решения, которое делает наше значение менее точным.

 Precision = True Positive  True Positive + False Positive 
 Recall = True Positive  True Positive + False Negative 
 F-measure =2 Recall  Precision  Recall + Precision 

Упрощая: Precision – не прихватить лишнее. Recall – не пропустить нужное.

Очевидно, что чем выше Precision (точность) и Recall (полнота), тем лучше. Однако, в реальной жизни невозможно достичь максимума обоих показателей одновременно. Нам приходится искать баланс.

Таким образом, необходима метрика, которая объединяет в себе информацию о точности и полноте нашего алгоритма. Ей является F-score (в иных случаях обозначается как F-measure).

Больше полезных материалов вы найдете на нашем телеграм-канале «Библиотека data scientist’а»
***

Материалы по теме

МЕРОПРИЯТИЯ

Комментарии

ВАКАНСИИ

Добавить вакансию
Hotel Search Team Lead (Golang)
по итогам собеседования
Golang-разработчик
Пермь, по итогам собеседования

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ