Раздел 5 / 7

Страница 1 / 136

ЧАСТЬ II. МОДЕЛИ-ТРАНСФОРМЕРЫ - ОТ АВТОЭНКОДЕРОВ К АВТОРЕГРЕССИИ

Режим постраничного просмотра

/

На первую страницу

На предыдущую главу

На следующую главу

На последнюю страницу

Озвучивание недоступно

/

Внимание! Для озвучивания и цитирования книги перейдите в режим постраничного просмотра.

Режим постраничного просмотра

Для продолжения работы требуется Registration

На предыдущую главу

На следующую главу

Скачать приложение

Осваиваем архитектуру Transformer. Разработка современных моделей с помощью передовых методов обработки естественного языка

Table of contents

Об авторах

О рецензенте

Предисловие +

ЧАСТЬ I. ПОСЛЕДНИЕ РАЗРАБОТКИ В ОБЛАСТИ NLP, ПОДГОТОВКА РАБОЧЕЙ СРЕДЫ И ПРИЛОЖЕНИЕ HELLO WORLD +

ЧАСТЬ II. МОДЕЛИ-ТРАНСФОРМЕРЫ - ОТ АВТОЭНКОДЕРОВ К АВТОРЕГРЕССИИ -

Глава 3. Языковые модели на основе автоэнкодеров

Технические требования

BERT - одна из языковых моделей на основе автоэнкодера

Обучение автоэнкодерной языковой модели для любого языка

Как поделиться моделями с сообществом

Обзор других моделей с автоэнкодером

Использование алгоритмов токенизации

Заключение

Глава 4. Авторегрессивные и другие языковые модели

Технические требования

Работа с языковыми моделями AR

Работа с моделями Seq2Seq

Обучение авторегрессивной языковой модели

Генерация текста с использованием авторегрессивных моделей

Тонкая настройка резюмирования и машинного перевода с помощью simpletransformers

Заключение

Дополнительная литература

Глава 5. Тонкая настройка языковых моделей для классификации текста

Технические требования

Введение в классификацию текста

Тонкая настройка модели BERT для двоичной классификации с одним предложением

Обучение модели классификации с помощью PyTorch

Тонкая настройка BERT для многоклассовой классификации с пользовательскими наборами данных

Тонкая настройка BERT для регрессии пар предложений

Использование run_glue.py для тонкой настройки моделей

Заключение

Глава 6. Тонкая настройка языковых моделей для классификации токенов

Технические требования

Введение в классификацию токенов

Тонкая настройка языковых моделей для NER

Ответы на вопросы с использованием классификации токенов

Заключение

Глава 7. Представление текста

Технические требования

Введение в представление предложений

Эксперимент по выявлению семантического сходства с FLAIR

Кластеризация текста с помощью Sentence-BERT

Семантический поиск с помощью Sentence-BERT

Заключение

Дополнительная литература

ЧАСТЬ III. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ +

Предметный указатель