ЛР4
Начни здесь: вся лаба за 10 минут

Разобраться с нуля

Начни здесь: вся лаба за 10 минут

Тебе не нужна ЛР3. Здесь мы учим компьютер раскладывать научные статьи по четырём полкам.

Одна задача на всю работу

Ты библиотекарь. Пришла статья с заголовком и аннотацией (коротким пересказом). Надо решить, куда её поставить: Life Sciences (биология), Health Sciences (здоровье), Physical Sciences (физические и технические науки) или Social Sciences (общество). Мы скачали по 2500 статей на каждую полку.

Текст: The mice were running in 2025.
↓
Очистка: mouse run
↓
Числа: например, [1, 1, 0, 0]
↓
Классификатор: выбирает одну из четырёх полок
↓
Проверка: сколько раз угадал на 2000 спрятанных статьях?

Зачем три способа превращения в числа

BoW: сколько раз встречается каждое слово. TF-IDF: повышаем вес редких слов, которые помогают отличить статьи. GloVe: используем готовые координаты слов, учитывающие соседство и близость по употреблению.

Что писать самому

Два маленьких класса векторизации, факторизацию матрицы, подсчёт соседних слов и поиск похожих слов. Классификаторы уже готовы в sklearn. Нейросеть обучать с нуля не требуется.

Как подготовиться за день

Время с началаДействие и цель
0:00-0:30Эта страница и «Данные». Уметь назвать вход и ответ.
0:30-1:20Очистка и BoW. Составить вектор из трёх слов вручную.
1:20-1:35Перерыв: отойти от экрана.
1:35-2:20TF-IDF. Объяснить, зачем IDF и почему fit только на train.
2:20-3:00Байес, SVC и метрики. Читать confusion matrix.
3:00-3:30Еда и отдых.
3:30-4:30SVD, контекст и GloVe. Понять размерности и отличие от BoW.
4:30-5:00Feedback loop, ошибки шаблона.
5:00-6:00Ноутбук «Выполнить все», затем рассказ вслух по сценарию.

Это план на 6 часов с перерывами, не гарантия оценки. Если голова устала, остановись на 10 минут. Сначала добейся понимания входа и выхода каждого шага, потом учи формулы.

Если осталось всего два часа

  1. По 20 минут: очистка, BoW, TF-IDF.
  2. По 15 минут: метрики, контекст, GloVe, feedback loop.
  3. Последние 15 минут: рассказать без подсказки, глядя на ноутбук.

Что предсказывает модель?

Вопросы защиты

Нужны ли деревья из ЛР3?

Нет. Нужно понимать разделение на обучение и тест и общий смысл классификации.

Что такое NLP?

Natural Language Processing: обработка человеческого языка компьютером.

Почему вообще нужны числа?

Классификаторы делают арифметические операции над признаками. Строку надо сначала представить численно.

Одна фразаПо заголовку и аннотации определяю домен: очищаю текст, превращаю в числа и обучаю классификатор.