sebastian-hofstaetter/distilbert-dot-tas_b-b256-msmarco

Модель обучена для переранжирования наборов кандидатов или прямого использования для плотного извлечения на основе векторных индексов.

Она использует 6-слойную архитектуру DistilBERT без дополнительных модификаций, фокусируясь на эффективных задачах извлечения.

Модель объединяет вектор CLS для представления запросов и отрывков, используя одни и те же слои BERT для кодирования обоих.

Такой подход обеспечивает лучшие результаты и снижает требования к памяти.

Модель была обучена на стандарте MSMARCO с использованием метода TAS-B.

Она использует парные оценки BERT_CAT и модель ColBERT для отрицательных сигналов в пакете.