Разобраться с нуля

Шпаргалка: что помнить перед защитой

Короткие ответы и словарик методов. Используй после того, как подвигал демо и проговорил идеи.

Шесть опорных фраз

1. Вход: заголовок и аннотация. Выход: один из четырёх доменов.
2. BoW считает слова, TF-IDF взвешивает редкость, GloVe усредняет готовые векторы слов.
3. fit только на train, transform на test. Pipeline защищает CV.
4. Качество: macro-F1, classification_report, confusion matrix.
5. Мой SVD это факторизация MSE. Градиенты матричные, цикл только по эпохам.
6. Метки OpenAlex автоматические, метрика измеряет согласие с ними.

Методы Python

Counter(tokens)

Считает количество каждого токена.

enumerate(words)

Возвращает пары индекс, слово.

dict.items()

Пары ключ, значение.

re.findall(pattern,text)

Список совпадений с правилом.

csr_matrix(...)

Собирает разреженную матрицу по значениям и координатам.

matrix.sum(axis=0)

Сумма по документам, отдельно для каждого слова.

matrix.sum(axis=1)

Сумма по словам, отдельно для каждого документа.

np.asarray(...).ravel()

Превращает результат в обычный одномерный массив.

np.argsort(-scores)

Индексы от большего балла к меньшему.

@ / .T

Матричное умножение / транспонирование.

fit_transform(train)

Выучить статистику train и сразу преобразовать.

transform(test)

Преобразовать по готовой статистике.

clone(model)

Новая необученная модель с такими же настройками.

get_mean_vector(words)

Средний вектор известных слов.

random_state=42

Фиксирует случайность.

Баллы

Вопросы защиты