par vinai
Open source · 117k downloads · 7 likes
BARTpho syllable est un modèle de langage vietnamien de pointe, basé sur l'architecture BART, spécialement conçu pour les tâches génératives en traitement automatique des langues. Il excelle notamment dans la génération de texte et la synthèse d'informations, comme la résumé automatique, où il surpasse des modèles existants comme mBART. Ce modèle monolingue, pré-entraîné à grande échelle, se distingue par sa capacité à comprendre et produire des textes en vietnamien avec une grande précision. Ses cas d'usage incluent la génération de résumés, la reformulation de textes ou encore la création de contenus automatisés. BARTpho syllable se positionne comme une solution performante pour les applications nécessitant une compréhension fine de la langue vietnamienne.
Two BARTpho versions BARTpho-syllable and BARTpho-word are the first public large-scale monolingual sequence-to-sequence models pre-trained for Vietnamese. BARTpho uses the "large" architecture and pre-training scheme of the sequence-to-sequence denoising model BART, thus especially suitable for generative NLP tasks. Experiments on a downstream task of Vietnamese text summarization show that in both automatic and human evaluations, BARTpho outperforms the strong baseline mBART and improves the state-of-the-art.
The general architecture and experimental results of BARTpho can be found in our paper:
@article{bartpho,
title = {{BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese}},
author = {Nguyen Luong Tran and Duong Minh Le and Dat Quoc Nguyen},
journal = {arXiv preprint},
volume = {arXiv:2109.09701},
year = {2021}
}
Please CITE our paper when BARTpho is used to help produce published results or incorporated into other software.
For further information or requests, please go to BARTpho's homepage!