ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
Organizations: 1NOVA University of Lisbon, Portugal · 2NOVA LINCS
Abstract
As Large Language Models (LLMs) expand across multilingual domains, evaluating their performance in under-represented languages becomes increasingly important. European Portuguese (pt-PT) is particularly affected, as existing training data and benchmarks are mainly in Brazilian Portuguese (pt-BR). To address this, we introduce ALBA, a linguistically grounded benchmark designed from the ground up to assess LLM proficiency in linguistic-related tasks in pt-PT across eight linguistic dimensions, including Language Variety, Culture-bound Semantics, Discourse Analysis, Word Plays, Syntax, Morphology, Lexicology, and Phonetics and Phonology. ALBA is manually constructed by language experts and paired with an LLM-as-a-judge framework for scalable evaluation of pt-PT generated language. Experiments on a diverse set of models reveal performance variability across linguistic dimensions, highlighting the need for comprehensive, variety-sensitive benchmarks that support further development of tools in pt-PT.
Figures & tables
| Dimension | Example |
| Language Variety | Transforma esta frase que está em português do Brasil e coloca-a em português Europeu. Respeita o registo: se houver termos informais ou gíria na frase, tenta encontrar equivalentes na língua de chegada. "Valeu, cara. A gente leva ele junto." |
| Culture-bound Semantics | Dá-me exemplos de expressões portuguesas que mencionem chuva. |
| Discourse Analysis | Podes criar uma frase com dois pleonasmos? |
| Word Plays | Dá-me um exemplo de um pangrama ou pantograma em português. Inclui todas as letras e acentos do alfabeto português europeu. |
| Syntax | Coloca esta frase na forma passiva: "Ele vendeu a mota." |
| Morphology | Cria uma lista de dez palavras com oito letras que acabem em "ão". |
| Input Question | Correct Output (5) | Moderate Output (4) | Incorrect Output (1) |
| Qual é o significado da expressão "lágrimas de crocodilo"? | A expressão "lágrimas de crocodilo" representa lágrimas que são fingidas ou exageradas e é usada para descrever um sofrimento que não é genuíno. Exemplo: "Antes de chegar a polícia, aquela mulher esteve aqui meia hora aos berros a dizer que o acidente era culpa nossa. Agora está ali com lágrimas de crocodilo para ver se não perde a carta de condução." | A expressão "lágrimas de crocodilo" representa lágrimas que são fingidas ou exageradas e é usada para descrever um sofrimento que não é genuíno. Exemplo: "Antes da polícia chegar, aquela mulher esteve aqui meia hora gritando, dizendo que o acidente era culpa nossa. Agora tá ali com lágrimas de crocodilo, tentando não perder a carteira de motorista." | A expressão "lágrimas de crocodilo" refere-se a lágrimas provocadas por medo de crocodilos. |
| Model | ALBA | Language Variety | Culture-bound Semantics | Discourse Analysis | Word Plays | Syntax | Morphology | Lexicology | Phonetics & Phonology |
| Fully open models | |||||||||
| OLMo 2-7B OLMo et al. (2025) | 16.9 | 9.5 | 9.5 | 43.3 | 4.0 | 24.5 | 26.0 | 14.0 | 4.8 |
| Salamandra-7B Gonzalez-Agirre et al. (2025) | 27.4 | 27.8 | 30.5 | 52.8 | 4.8 | 26.5 | 36.3 | 29.3 | 11.5 |
| EuroLLM-9B Martins et al. (2024) | 38.5 | 41.0 | 40.0 | 67.0 | 11.3 | 43.3 | 44.0 | 47.5 | 13.8 |
| Apertus-8B Apertus (2025) | 38.7 | 37.8 | 38.3 | 70.3 | 13.8 | 47.5 | 45.0 | 45.8 | 11.5 |
| AMALIA-9B Simplício et al. (2026) | 43.6 | 48.3 | 47.8 | 73.0 | 14.8 | 42.3 | 49.8 | 53.8 | 19.0 |
LLM Evaluation
Large language model evaluation measures what models can do, how reliably they do it, and whether benchmark scores predict real-world performance.
See all 2,401 papers