google/bigbird-pegasus-large-arxiv

BigBird-Pegasus может работать с очень длинными текстами, например, с длинными документами.

Он использует особый способ внимания к частям текста, называемый блочным разреженным вниманием, что более эффективно, чем другие методы.

Эту модель полезно использовать, когда нужно быстро и точно кратко изложить содержание длинных документов.

Она может применяться в различных сценариях, где длинные тексты необходимо сократить до более кратких резюме.