Hello, LLM! для 4-го курса ФПЛ (2024/2025)

В рамках предмета “Информационный поиск и извлечение данных” в НИУ ВШЭ - Нижний Новгород.

Преподаватели:

• Демидовский Александр Владимирович - лектор
• Сальников Игорь Геннадьевич - преподаватель практики
• Тугарёв Артём Михайлович - преподаватель практики

Студенческая исследовательская бригада:

• Жариков Егор Игоревич - ассистент
• Блюдова Василиса Михайловна - ассистент

План лабораторных работ:

1. Лабораторная работа №7. Оценка нейросетевой языковой модели
   1. Дедлайн: 19 февраля
2. Лабораторная работа №8. Тонкая настройка нейросетевой языковой модели
   1. Дедлайн: 12 марта

История занятий

Дата	Тема лекции	Тема практики. Материалы практики.
15.01.2025	Современные задачи в области NLP. Анонс лабораторной работы.	Создание форка.
22.01.2025	Датасеты в экосистеме HuggingFace.	Загрузка датасета из HuggingFace. Листинг. Подготовка датасета. Листинг. Перегрузка протоколов датасета. Листинг.
29.01.2025	Инференс языковых моделей.	Анализ PyTorch модели. Листинг. Инференс модели. Листинг.
05.02.2025	Пакетная обработка и загрузка примеров при инференсе языковых моделей.	Упаковка семплов через DataLoader. Листинг. Инференс генерационной модели. Листинг. Инференс NLI модели. Листинг.
12.02.2025	Оценка качества моделей и улучшение качества.	Оценка качества модели. Листинг. Модель как сервис. Листинг.
19.02.2024	N/A	Сдача лабораторной работы №7.

Более полное содержание пройденных занятий Вы найдете в :ref:`lectures-content-label`.

Литература

Базовый уровень

1. HuggingFace NLP Course.

Порядок сдачи и оценивания лабораторной работы

1. Лабораторная работа допускается к очной сдаче.
2. Студент объяснил работу программы и показал её в действии.
3. Студент выполнил задание ментора по некоторой модификации кода.
4. Студент получает оценку:
   1. Соответствующую ожидаемой, если все шаги выше выполнены и ментор удовлетворён ответом студента.
   2. На балл выше ожидаемой, если все шаги выше выполнены и ментор решает поощрить студента за отличный ответ.
   3. На балл ниже ожидаемой, если лабораторная работа сдана на неделю позже срока сдачи и выполнены критерии в 4.1.
   4. На два балла ниже ожидаемой, если лабораторная работа сдана на две недели позже от срока сдачи и выполнены критерии в 4.1.

Note

Студент может улучшить оценку по лабораторной работе, если после основной сдачи выполнит задания следующего уровня сложности относительно того уровня, на котором выполнялась реализация.

Лабораторная работа допускается к очной сдаче, если она:

1. Представлена в виде пулл реквеста (Pull Request, PR) с правильно составленным названием по шаблону: Laboratory work #<NUMBER>, <SURNAME> <NAME> - <UNIVERSITY GROUP NAME>.
   1. Пример: Laboratory work #1, Kashchikhin Andrey - 21FPL1.
2. Имеет заполненный файл settings.json с ожидаемой оценкой. Допустимые значения: 4, 6, 8, 10.
3. Имеет “зелёный” статус - автоматические проверки качества и стиля кода, соответствующие заданной ожидаемой оценке, удовлетворены.
4. Имеет лейбл done, выставленный ментором. Означает, что ментор посмотрел код студента и удовлетворён качеством кода.

Ресурсы

1. Таблица успеваемости
2. Таблица c моделями и датасетами
3. Сайт с документацией
4. :ref:`starting-guide-label`
5. :ref:`running-tests-label`
6. :ref:`faq-label`