distilbert/distilbert-base-cased

Модель была обучена возвращать те же вероятности, что и базовая модель BERT.

Она также обучена предсказывать пропущенные слова в предложении.

Это позволяет модели изучать двунаправленное представление предложения.

Вы можете использовать модель для заполнения пропущенных слов или предсказания следующего предложения.

Однако она в основном предназначена для настройки под конкретную задачу.

Она особенно полезна для задач, в которых используется всё предложение для принятия решений, например, для классификации последовательностей или ответов на вопросы.