Курс "Специалист по искусственному интеллекту". Урок 13. Метрики качества классификации
В 13-м уроке курса по машинному обучению и искусственному интеллекту мы подробно разбираем ключевую тему оценки качества моделей классификации: почему метрика Accuracy (доля правильных ответов) может быть обманчивой, как читать матрицу ошибок (Confusion Matrix) и как правильно балансировать между Precision, Recall и F1-score. 🔥 Пройти полный курс и получить материалы: https://leolukin.ru/kursy/kurs-po-iskusstvennomu-intellektu-i-mashinnomu-obucheniyu/ О ЧЁМ ЭТОТ УРОК: При решении реальных задач классификации мы почти всегда сталкиваемся с несбалансированными выборками. Например, при диагностике редких заболеваний модель, которая признает всех пациентов здоровыми, покажет Accuracy 99%, но будет абсолютно бесполезна на практике. На этом занятии вы научитесь: 1. Понимать разницу между англоязычными терминами Accuracy и Precision, которые на русский язык часто неверно переводят одним словом — «точность». 2. Читать и интерпретировать матрицу ошибок (Confusion Matrix): TP (True Positive), TN (True Negative), FP (False Positive), FN (False Negative). 3. Различать ошибку I рода («ложная тревога», False Positive) и ошибку II рода («пропуск цели», False Negative). 4. Выбирать приоритетную метрику под конкретную бизнес-задачу: • Медицина / выявление дефектов — минимизируем пропуск больных (FN), максимизируем Recall (полноту). • Спам-фильтры / блокировка транзакций — минимизируем ложные срабатывания (FP), максимизируем Precision (точность положительных ответов). 5. Использовать F1-score как гармоническое среднее Precision и Recall, когда важен баланс обеих ошибок. 6. Применять встроенные функции библиотеки Scikit-Learn: accuracy_score, precision_score, recall_score, f1_score, confusion_matrix и выводить полный отчет classification_report. 7. Интерпретировать параметры отчета: Support (размер выборки класса), макроусреднение (macro avg) и взвешенное усреднение (weighted avg). ---------------------------------------------------- ТАЙМ-КОДЫ ---------------------------------------------------- 00:00 — Введение: в чём главная проблема метрики Accuracy? 00:08 — Путаница в терминологии: Accuracy vs Precision 00:30 — Что такое Accuracy (доля верных ответов) и как она вычисляется 00:53 — Проблема дисбаланса классов на примере редкого заболевания 02:06 — Когда Accuracy работает, а когда становится бесполезной 02:53 — Проблема оценки в многоклассовой классификации 03:25 — Знакомство с матрицей ошибок (Confusion Matrix) 04:11 — Истинно положительные (TP) и истинно отрицательные (TN) исходы 04:56 — Нулевая гипотеза и распределение классов по умолчанию 06:16 — Ошибка I рода (False Positive) и ошибка II рода (False Negative) 07:47 — Разная цена ошибок в зависимости от прикладной задачи 09:41 — «Ложная тревога» против «Пропуска цели» 11:00 — Разбор матрицы ошибок на примере ПЦР-теста на COVID-19 12:20 — Формула Accuracy через компоненты матрицы ошибок 13:00 — Метрика Precision (Точность предсказания положительного класса) 14:40 — Метрика Recall (Полнота обнаружения целевого класса) 16:10 — Что важнее — Precision или Recall? 17:03 — Почему в медицине критичен высокий Recall 18:21 — Почему в спам-фильтрах важнее высокий Precision 21:40 — Метрика F1-Score: объединение Precision и Recall 22:18 — Формула F1 и почему используется именно гармоническое среднее 23:44 — Функции оценки классификации в Scikit-Learn 25:01 — Classification Report: готовый сводный отчёт о модели 25:50 — Практика в Google Colab: работа с y_true и y_pred 26:57 — Построение и анализ матрицы ошибок (confusion_matrix) 27:48 — Расчёт метрик качества на тестовых данных 28:24 — Эксперимент: как изменение предсказаний сдвигает метрики 29:13 — Разбор Classification Report: интерпретация показателей классов 29:58 — Что такое Support, макро- (macro avg) и взвешенное (weighted avg) среднее 32:00 — Практическое задание и подведение итогов МАТЕРИАЛЫ И ПОЛЕЗНЫЕ ССЫЛКИ: 🌐 Текстовая версия урока и ноутбук: https://leolukin.ru/kursy/kurs-po-iskusstvennomu-intellektu-i-mashinnomu-obucheniyu/ 💻 Предыдущий урок 12 (Логистическая регрессия): https://leolukin.ru/kursy/kurs-po-iskusstvennomu-intellektu-i-mashinnomu-obucheniyu/uroki/urok-12-logisticheskaya-regressiya-reshenie-zadach-klassifikatsii-pri-pomoshhi-logisticheskoj-regressii/ 👨💻 Автор курса: Леонид Лукин (https://leolukin.ru) Подписывайтесь на канал, ставьте лайк и пишите в комментариях, с какими метриками в классификации вам чаще всего приходится работать!