VWEN: A Curated Small Language Model for Vietnamese Paraphrasing
Organizations: University of Information Technology Vietnam National University
Abstract
We present VWEN, a 0.8B-parameter model for Vietnamese paraphrasing at a requested level of change and for five related tasks: generating several paraphrases, simplification, gist, register transfer and paraphrase judgement. VWEN is Qwen3.5-0.8B fine-tuned on about 7k samples chosen by a four-stage pipeline: rules and deduplication, a bidirectional entailment filter, a divergence score that assigns low and high paraphrase levels, and selection for coverage and instruction-following difficulty. We compare it with paraphrase-only recipes from the same pipeline and with training on the ViSP corpus under matched and larger step budgets. On high-divergence paraphrasing, VWEN reaches a success rate (requested level reached and meaning preserved) of 0.61 against 0.46 for the ViSP model at matched compute, a difference that holds on inputs resembling ViSP. Given four times more training examples, the ViSP model closes the gap on such inputs but not on questions, which ViSP lacks and which it often turns into statements. Across all comparisons the entailment filter is the most effective stage. Training on paraphrases alone erases abilities of the base model that the multi-task data preserves.
Figures & tables
| Task | Description (output) | Quota |
|---|---|---|
| Para-L | Low-divergence paraphrase: small edits, structure kept (one sentence) | 1,350 |
| Para-H | High-divergence paraphrase: new wording and structure (one sentence) | 1,350 |
| Multi-Para | distinct paraphrases (list) | 700 |
| Simplify | Simplify for a general reader, keep all content (one sentence) | 900 |
| Gist | Main idea; minor details may be dropped (short sentence) | 600 |
| Style | Register transfer, formal informal (one sentence) | 900 |
| Symbol | Meaning |
|---|---|
| Divergence of output from input : mean percentile rank of normalised dependency tree edit distance and syllable edit distance, in | |
| MP | Meaning preservation: share of outputs entailed in both directions (entailment ) by an NLI model not used for data filtering; Gist uses forward entailment only |
| band(L), band(H) | and , the thresholds that define the two levels in the training data |
| Success | Share of outputs in the requested band and preserving meaning; the main paraphrase metric |
| Level gap | Mean of when the same input is requested at both levels |
| Order | Share of inputs with |
| Stage | In | Kept | Main rejection reasons |
|---|---|---|---|
| 0. Candidates | – | 341,294 | |
| 1. Rules, deduplication, leakage | 341,294 | 296,081 | near duplicate within task 30,474; leakage to test 4,330 and dev 1,656; copied input 3,378; length ratio 2,093 |
| 2. Meaning (bidirectional NLI) | 296,081 | 205,892 | forward entailment 57,116; backward entailment 31,307; BERTScore floor 1,317 |
| 3. Divergence and level assignment | 206,371 | 162,517 | middle band 43,854 (29,546 Para-L and 104,713 Para-H kept) |
| 4. Coverage and IFD selection | 162,517 | 7,209 | selection to quota; 7,087 after the LLM quality grader |
| Recipe | Data | Samples | Paraphrase samples |
|---|---|---|---|
| R1 Random | random paraphrase pairs after stage 1 (before the meaning filter), levelled like R5 | 8,000 | 8,000 |
| R2 +Filter | + meaning filter and level assignment (stages 2–3) | 7,793 | 7,793 |
| R3 +Coverage | + coverage and IFD selection (stage 4) | 7,854 | 7,854 |
| R4 Multi-task (VWEN) | + the other five tasks (full pipeline) | 7,087 | 2,615 |
| R5 ViSP | ViSP training pool (406,079 pairs), levelled by at the midpoint of the two bands; 1,500 or 4,000 steps | 24k / 56k seen | all |
| Task | Metric | Base | R1 | R2 | R3 | R4 | R5 @1.5k | R5 @4k |
|---|---|---|---|---|---|---|---|---|
| Para | Level gap | 0.207 | 0.296 | 0.402 | 0.416 | 0.342 0.009 | 0.297 0.004 | 0.327 |
| Para | Order | 0.796 | 0.834 | 0.900 | 0.940 | 0.843 | 0.786 | 0.816 |
| Para-H | Success | 0.084 | 0.540 | 0.708 | 0.644 | 0.609 0.017 | 0.459 0.022 | 0.528 |
| Para-H | MP | 0.688 | 0.856 | 0.892 | 0.920 | 0.920 0.014 | 0.865 0.027 | 0.876 |
| Para-H | 0.264 | 0.516 | 0.623 | 0.564 | 0.553 | 0.472 | 0.487 | |
| Para-L | Success | 0.904 | 0.664 | 0.716 | 0.808 | 0.728 0.004 | 0.749 0.033 | 0.756 |
| Comparison | Metric | All inputs | Non-questions | Questions |
|---|---|---|---|---|
| R4 R5 @1.5k | Para-H success | +0.151 [0.105, 0.197] | +0.156 [0.082, 0.231] | +0.147 [0.088, 0.206] |
| Para-H MP | +0.055 [0.024, 0.085] | +0.061 [0.020, 0.102] | +0.050 [0.009, 0.092] | |
| Level gap | +0.045 [0.024, 0.066] | +0.067 [0.034, 0.100] | +0.028 [ 0.001, 0.055] | |
| Para-L success | 0.021 [ 0.073, 0.029] | +0.014 [ 0.052, 0.080] | 0.054 [ 0.132, 0.023] | |
| R4 R5 @4k | Para-H success | +0.081 [0.011, 0.151] | +0.048 [ 0.061, 0.156] | +0.103 [0.018, 0.189] |
| Para-H MP | +0.044 [0.001, 0.088] | +0.007 [ 0.041, 0.065] | +0.068 [0.007, 0.132] |
| Metric | Recipe | 1k | 2k | 4k | 8k | R5 @1.5k (3 seeds) |
|---|---|---|---|---|---|---|
| Para-H meaning (1–5) | R1–R3 | 4.29–4.57 | 4.39–4.67 | 4.36–4.49 | 4.47–4.62 | 4.36–4.51 |
| R4 | 4.45 | 4.58 | 4.55 | 4.48 | ||
| Simplify rating | R1–R3 | 0.57–0.73 | 0.67–0.74 | 0.73–0.84 | 0.65–0.77 | 0.75–0.82 |
| R4 | 0.74 | 0.83 | 0.81 | 0.81 | ||
| Gist rating | R1–R3 | 0.47–0.57 | 0.50–0.63 | 0.54–0.56 | 0.48–0.58 | 0.60–0.64 |
| R4 | 0.87 | 0.91 | 0.88 | 0.86 |
| Metric | Base | R1 | R2 | R3 | R4 | R5 @1.5k | R5 @4k |
|---|---|---|---|---|---|---|---|
| Para-H success | 0.08 0.17 | 0.54 0.53 | 0.71 0.66 | 0.64 0.62 | 0.61 0.58 | 0.46 0.44 | 0.53 0.51 |
| Para-L success | 0.90 0.87 | 0.66 0.66 | 0.72 0.70 | 0.81 0.78 | 0.73 0.67 | 0.75 0.69 | 0.76 0.68 |
| Equiv accuracy | 0.75 0.66 | 0.16 0.23 | 0.14 0.20 | 0.16 0.15 | 0.93 0.89 | 0.16 0.23 | 0.17 0.15 |
| Multi-Para count acc. | 0.52 0.56 | 0 0 | 0 0 | 0 0 | 1.00 1.00 | 0 0 | 0 0 |
| Base | R1 | R2 | R3 | R4 | R5 @1.5k | R5 @4k | |
|---|---|---|---|---|---|---|---|
| Question statement | 22.6% | 0.4% | 0.0% | 0.2% | 0.2–0.9% | 16.4–26.2% | 21.9% |
| … of which pass MP | 38% | – | – | – | – | 60–64% | 68% |
| Model | Output (gloss) | MP | Success | |
| 1. Khi một người đảm nhiệm chức vụ quân chủ thì họ sẽ bị hạn chế gì? (When a person holds the office of monarch, what restrictions do they face?) | ||||
| Base | Khi một vị trí quân chủ được giữ, người đó sẽ bị hạn chế về quyền lực, quyền tự do và quyền lực chính trị. (When a monarchy is held, the person is restricted in power, freedom and political power.) | 0.76 | ✗ | ✗ |
| R4 | Những hạn chế nào sẽ đối mặt với người đảm nhiệm chức vụ quân chủ? (Which restrictions will face the person holding the office of monarch?) | 0.85 | ✓ | ✓ |
| R5 | Khi một người đảm nhiệm chức vụ quân chủ, họ sẽ bị hạn chế quyền lực. (When a person holds the office of monarch, they are restricted in power.) | 0.02 | ✓ | ✗ |
| 2. Kim cương được khai thác tại đâu? (Where are diamonds mined?) | ||||
| Base | Kim cương được khai thác tại đâu? (copy of the input) | 0.00 | ✓ | ✗ |
Appendix figures & tables8 assets
Supplementary material from the paper’s appendix.
Appendix
| Task | Stage 1 in | Stage 1 kept | Stage 2 kept |
|---|---|---|---|
| Paraphrase | 307,663 | 264,800 | 178,034 |
| Equiv | 17,243 | 16,693 | 16,629 |
| NLI | 5,203 | 4,910 | 4,910 |
| Style | 3,690 | 3,296 | 1,913 |
| Simplify | 3,665 | 3,138 | 1,769 |
| Gist | 2,159 | 1,598 | 1,434 |
| Task | Samples | Clusters | IFD p10 / p50 / p90 |
|---|---|---|---|
| Equiv | 1,481 | 184 | 0.20 / 0.23 / 0.26 |
| Para-L | 1,333 | 194 | 0.18 / 0.24 / 0.30 |
| Para-H | 1,333 | 195 | 0.33 / 0.39 / 0.46 |
| Simplify | 889 | 92 | 0.22 / 0.31 / 0.40 |
| Style | 889 | 113 | 0.26 / 0.39 / 0.52 |
| Multi-Para | 691 | 114 | 0.41 / 0.54 / 0.65 |
| Item | Value |
|---|---|
| Model | Qwen3.5-0.8B, full fine-tuning, float32 weights with fp16 mixed precision (no bf16 on T4) |
| Optimiser | paged 8-bit AdamW, learning rate 1e-5, cosine decay, 5% warmup, no weight decay, gradient clipping 1.0 |
| Batch and length | accumulation ; at most 512 tokens |
| Stopping | at most 3 epochs; validation twice per epoch (at most every 250 steps), patience 2; R5 fixed steps |
| Wall time (one T4) | R4 at 8k 71–84 min; R5 @1.5k 75 min; R5 @4k 193 min; the ten 1k–4k runs 142 min in total |
| Scoring | xlm-roberta-large-xnli (MP), xlm-roberta-large (BERTScore floor), Stanza ( ), Gemma 4 26B grader (about USD 0.02 per run) |
| Recipe | 1k | 2k | 4k | 8k |
|---|---|---|---|---|
| R1 | 496 | 992 | 4,000 | 16,000 |
| R2 | 496 | 1,952 | 3,904 | 7,808 |
| R3 | 496 | 1,952 | 3,936 | 15,680 |
| R4 | 1,792 | 1,760 | 7,104 | 14,144 |
| R5 | 24,000 (@1.5k) 56,000 (@4k) | |||
| Model | Low level requested | High level requested |
|---|---|---|
| Base | Sau đó, Whedon giải thích sự xuất hiện của Idris Elba và Hayley Atwell do họ thâm nhập vào linh hồn của Scarlet Witch. 0.07 · MP ✓· success ✓ | Sau đó, W . H . Gardner đã mô tả sự hiện diện của Idris Elba và Hayley Atwell thông qua việc thâm nhập vào linh hồn của Scarlet Witch. 0.12 · MP ✗· success ✗ |
| R1 Random | Sau đó, Whedon giải thích cách Idris Elba và Hayley Atwell xuất hiện vì họ đã thâm nhập vào linh hồn của Scarlet Witch. 0.22 · MP ✓· success ✗ | Sự xuất hiện của Idris Elba và Hayley Atwell là do sự thâm nhập vào linh hồn của Scarlet Witch, theo lời Whedon. 0.21 · MP ✓· success ✗ |
| R2 +Filter | Sau đó, Whedon giải thích sự xuất hiện của Idris Elba và Hayley Atwell, nguyên nhân là do sự thâm nhập vào linh hồn của Scarlet Witch. 0.06 · MP ✓· success ✓ | Sự thâm nhập vào linh hồn của Scarlet Witch đã dẫn đến sự xuất hiện của Idris Elba và Hayley Atwell, theo cách giải thích của Whedon. 0.44 · MP ✓· success ✓ |
| R3 +Coverage | Sau đó, Whedon giải thích rằng sự xuất hiện của Idris Elba và Hayley Atwell là do họ xâm nhập vào linh hồn của Scarlet Witch. 0.06 · MP ✓· success ✓ | Sự thâm nhập vào linh hồn của Scarlet Witch là nguyên nhân dẫn đến sự xuất hiện của Idris Elba và Hayley Atwell, theo lời giải thích của Whedon. 0.76 · MP ✓· success ✓ |
| R4 Multi-task | Sau đó, Whedon giải thích sự xuất hiện của Idris Elba và Hayley Atwell là do sự thâm nhập vào linh hồn của Scarlet Witch. 0.01 · MP ✓· success ✓ | Sự xuất hiện của Idris Elba và Hayley Atwell được Whedon giải thích là do khả năng thâm nhập vào linh hồn của Scarlet Witch. 0.26 · MP ✓· success ✗ |
| R5 @1.5k | Sau đó, Whedon giải thích sự xuất hiện của Idris Elba và Hayley Atwell là do sự thâm nhập vào linh hồn của Scarlet Witch. 0.01 · MP ✓· success ✓ | Sau đó, Whedon giải thích rằng Idris Elba và Hayley Atwell đã thâm nhập vào linh hồn của Scarlet Witch. 0.15 · MP ✓· success ✗ |
| Model | Low level requested | High level requested |
|---|---|---|
| Base | Nam Ossetia vẫn bị Nga kiểm soát. 0.01 · MP ✓· success ✓ | Nam Ossetia đang nằm dưới sự kiểm soát của Nga. 0.25 · MP ✓· success ✗ |
| R1 Random | Nam Ossetia hiện đang thuộc quyền kiểm soát của Nga. 0.34 · MP ✓· success ✗ | Nga là quốc gia kiểm soát Nam Ossetia. 0.81 · MP ✓· success ✓ |
| R2 +Filter | Nam Ossetia hiện đang nằm dưới sự kiểm soát của Nga. 0.33 · MP ✓· success ✗ | Nga kiểm soát Nam Ossetia. 0.67 · MP ✓· success ✓ |
| R3 +Coverage | Nam Ossetia nằm dưới sự kiểm soát của Nga. 0.36 · MP ✓· success ✗ | Nam Ossetia nằm dưới sự kiểm soát của Nga. 0.36 · MP ✓· success ✗ |
| R4 Multi-task | Nam Ossetia đang nằm dưới sự kiểm soát của Nga. 0.25 · MP ✓· success ✗ | Nga là quốc gia kiểm soát Nam Ossetia. 0.81 · MP ✓· success ✓ |
| R5 @1.5k | Nam Ossetia thuộc quyền kiểm soát của Nga. 0.70 · MP ✓· success ✗ | Nga đã kiểm soát Nam Ossetia. 0.44 · MP ✓· success ✓ |
| Model | Low level requested | High level requested |
|---|---|---|
| Base | Triều đại nhà Tùy đã sụp đổ vào năm nào? 0.00 · MP ✓· success ✓ | Triều đại nhà Tùy đã sụp đổ vào năm nào? 0.00 · MP ✓· success ✗ |
| R1 Random | Triều đại nhà Tùy kết thúc vào năm bao nhiêu ? 0.14 · MP ✓· success ✓ | Năm nào đánh dấu sự kết thúc của triều đại nhà Tùy? 0.81 · MP ✓· success ✓ |
| R2 +Filter | Triều đại nhà Tùy kết thúc vào năm nào? 0.03 · MP ✓· success ✓ | Năm nào chứng kiến sự sụp đổ của nhà Tùy? 0.61 · MP ✓· success ✓ |
| R3 +Coverage | Triều đại nhà Tùy kết thúc vào năm nào? 0.03 · MP ✓· success ✓ | Năm nào đánh dấu sự kết thúc của triều đại nhà Tùy? 0.81 · MP ✓· success ✓ |
| R4 Multi-task | Triều đại nhà Tùy sụp đổ vào thời điểm nào? 0.03 · MP ✓· success ✓ | Năm nào triều đại nhà Tùy đã sụp đổ? 0.53 · MP ✓· success ✓ |
| R5 @1.5k | Triều đại nhà Tùy đã kết thúc vào năm nào? 0.01 · MP ✓· success ✓ | Năm nào triều đại nhà Tùy sụp đổ? 0.56 · MP ✓· success ✓ |
| Model | Low level requested | High level requested |
|---|---|---|
| Base | Tại sao tập luyện trong điều kiện nóng ẩm khiến cơ thể mất nước nhiều hơn? 0.00 · MP ✓· success ✓ | Tại sao việc tập luyện trong môi trường nóng ẩm lại gây mất nước cho cơ thể nhiều hơn? 0.18 · MP ✓· success ✗ |
| R1 Random | Tại sao tập luyện trong điều kiện nóng ẩm khiến cơ thể mất nước nhiều hơn? 0.00 · MP ✓· success ✓ | Tại sao việc tập luyện trong môi trường nóng ẩm không giúp cơ thể giữ nước? 0.14 · MP ✗· success ✗ |
| R2 +Filter | Tại sao việc tập luyện trong điều kiện nóng ẩm lại khiến cơ thể mất nước nhiều hơn? 0.01 · MP ✓· success ✓ | Cơ thể mất nước nhiều hơn khi tập luyện trong điều kiện nóng ẩm vì điều gì ? 0.78 · MP ✓· success ✓ |
| R3 +Coverage | Vì sao tập luyện trong điều kiện nóng ẩm khiến cơ thể mất nước nhiều hơn? 0.01 · MP ✓· success ✓ | Điều gì khiến việc tập luyện trong điều kiện nóng ẩm dẫn đến mất nước nhiều hơn? 0.52 · MP ✓· success ✓ |
| R4 Multi-task | Tại sao việc tập luyện trong điều kiện nóng ẩm sẽ làm cơ thể mất nước nhiều hơn? 0.01 · MP ✓· success ✓ | Điều gì cản trở quá trình mất nước khi tập luyện trong điều kiện nóng ẩm? 0.89 · MP ✗· success ✗ |
| R5 @1.5k | Tại sao tập luyện trong điều kiện nóng ẩm sẽ khiến cơ thể mất nước nhiều hơn? 0.00 · MP ✓· success ✓ | Tập luyện trong điều kiện nóng ẩm có thể dẫn đến mất nước nhiều hơn do cơ thể cần nhiều nước hơn. 0.37 · MP ✗· success ✗ |
Language Model Post-Training
Language model post-training adapts pretrained models to follow instructions, reason, use tools, and meet task-specific or human-defined goals.
See all 208 papers