distilbert/distilbert-base-uncased

Она может заполнять пропущенные слова в предложениях.

Была обучена на большом количестве текста без человеческих меток.

Модель обучается, предсказывая пропущенные слова в предложениях.

Также она учится генерировать похожие скрытые состояния, как BERT, но быстрее.

Лучше всего использовать, когда вы хотите настроить её для задач, использующих целые предложения, например, для классификации последовательностей или ответов на вопросы.