ViX-Ray: A Vietnamese Chest X-Ray Dataset for Vision-Language Models
Organizations: Industrial University of Ho Chi Minh City · Military Hospital 175 · Pythera AI · University of Information Technology, Ho Chi Minh City, Vietnam · Vietnam National University, Ho Chi Minh City, Vietnam
Abstract
Vietnamese medical research has become an increasingly vital domain, particularly with the rise of intelligent technologies aimed at reducing time and resource burdens in clinical diagnosis. Recent advances in vision-language models (VLMs), such as Gemini and GPT-4V, have sparked a growing interest in applying AI to healthcare. However, most existing VLMs lack exposure to Vietnamese medical data, limiting their ability to generate accurate and contextually appropriate diagnostic outputs for Vietnamese patients. To address this challenge, we introduce ViX-Ray, a novel dataset comprising 5,400 Vietnamese chest X-ray images annotated with expert-written findings and impressions from physicians at a major Vietnamese hospital. We analyze linguistic patterns within the dataset, including the frequency of mentioned body parts and diagnoses, to identify domain-specific linguistic characteristics of Vietnamese radiology reports. Furthermore, we fine-tune five state-of-the-art open-source VLMs on ViX-Ray and compare their performance to leading proprietary models, GPT-4V and Gemini. Our results show that while several models generate outputs partially aligned with clinical ground truths, they often suffer from low precision and excessive hallucination, especially in impression generation. These findings not only demonstrate the complexity and challenge of our dataset but also establish ViX-Ray as a valuable benchmark for evaluating and advancing vision-language models in the Vietnamese clinical domain.
Figures & tables
| Dataset | Year | Size | Text Findings | Text Impressions | Vietnamese Image |
|---|---|---|---|---|---|
| Montgomery County chest X-ray | 2014 | 138 | ✓ | ✗ | ✗ |
| ChestX-ray8 | 2017 | 108,948 | ✓ | ✓ | ✗ |
| Padchest | 2019 | 160,868 | ✓ | ✓ | ✗ |
| CheXpert | 2019 | 224,316 | ✓ | ✓ | ✗ |
| VinDr-RibCXR | 2021 | 245 | ✗ | ✗ | ✓ |
| VinDr-CXR | 2022 | 18,000 | ✗ | ✗ | ✓ |
| Age | 27 |
|---|---|
| Gender | Nam - ( Male ) |
| View | PA ( Posterior Anterior ) |
| Note | Chụp Xquang ngực thẳng - ( Frontal chest X-ray |
| Technique | Chụp Xquang tim phổi thẳng - ( Posteroanterior chest radiograph) |
| Findings | Hình ảnh gãy cung xương sườn 2 bên trái. Phổi hai bên kém sáng đều. Thâm nhiễm nhu mô phổi hai bên, đám mờ đông đặc nhu mô phổi phải. Bờ vòm hoành hai bên đều. Góc sườn hoành hai bên nhọn. Bóng tim không to. Các bờ trung thất trong giới hạn bình thường. |
| ( Fracture of the left 2nd rib arch. Both lungs show decreased translucency. Bilateral pulmonary parenchymal infiltrates, with a consolidation opacity in the right lung parenchyma. Both diaphragmatic domes have clear borders. Both costophrenic angles are sharp. The cardiac silhouette is not enlarged. Mediastinal borders are within normal limits. ) |
| Train | Development | Test | ||
| Num. Sample | 4320 | 520 | 520 | |
| Avg. Age | 69 | 70 | 70 | |
| Findings Length | Min | 19 | 26 | 26 |
| Avg. | 46 | 45 | 46 | |
| Max | 104 | 91 | 85 | |
| Impressions Length | Min | 4 | 5 | 5 |
| Dev | Test | ||||||||||||
| Rouge | Bleu | Precision | Recall | Rouge | Bleu | Precision | Recall | ||||||
| 1 | 2 | L | 1 | 2 | L | ||||||||
| Stage 1 - Findings Generation | |||||||||||||
| Monolingual | Vintern-v3.5 | 81.79 | 71.71 | 75.99 | 61.91 | 57.25 | 56.74 | 81.90 | 72.10 | 76.21 | 61.39 | 56.25 | 56.12 |
| LaVy | 81.95 | 71.08 | 76.91 | 69.11 | 61.54 | 61.12 | 82.12 | 71.35 | 77.25 | 69.58 | 62.48 | 61.52 | |
| Multilingual | InternVL2.5 - 1B | 66.29 | 47.18 | 51.06 | 62.09 | 56.24 | 55.12 | 65.67 | 46.82 | 50.57 | 61.94 | 56.24 | 55.12 |
| </text> Ảnh chụp X-ray < View > (< View Definition >) bệnh nhân < Gender >, < Age > tuổi. Cho biết bệnh nhân bị gì? </text> |
| Dev | Test | |||||||||||||
| Rouge | Bleu | Precision | Recall | Rouge | Bleu | Precision | Recall | |||||||
| 1 | 2 | L | 1 | 2 | L | |||||||||
| Monolingual | Vintern-v3.5 | Findings | 42.84% | 25.14% | 31.98% | 48.53% | 47.54% | 46.48% | 43.87% | 26.38% | 33.07% | 48.23% | 46.52% | 45.12% |
| ↓38.95% | ↓46.57% | ↓44.01% | ↓13.38% | ↓9.71% | ↓10.26% | ↓38.03% | ↓45.72% | ↓43.14% | ↓13.16% | ↓9.73% | ↓11.00% | |||
| Impression | 49.36% | 29.23% | 43.86% | 42.36% | 47.51% | 48.12% | 49.93% | 29.84% | 44.29% | 43.84% | 46.85% | 47.25% | ||
| ↓13.46% | ↓22.93% | ↓14.12% | ↓8.77% | ↓9.23% | ↓0.94% | ↓10.90% | ↓21.01% | ↓11.96% | ↓8.07% | ↓9.56% | ↓2.89% | |||
| Dev | Test | ||||||||||||
| Rouge | Bleu | Precision | Recall | Rouge | Bleu | Precision | Recall | ||||||
| 1 | 2 | L | 1 | 2 | L | ||||||||
| Stage 1 - Findings Generation | |||||||||||||
| Gemini | 44.07 | 34.01 | 34.49 | 22.79 | 12.10 | 11.20 | 62.51 | 35.12 | 44.12 | 32.31 | 10.20 | 11.10 | |
| GPT-4v | 47.79 | 17.57 | 29.40 | 11.54 | 0.27 | 0.34 | 46.51 | 18.54 | 31.02 | 15.21 | 0.51 | 0.41 | |
| Qwen2.5VL-7B | 84.09 | 76.77 | 81.11 | 70.11 | 68.91 | 69.94 | 84.30 | 76.10 | 81.21 | 71.22 | 70.51 | 70.21 | |
Appendix figures & tables12 assets
Supplementary material from the paper’s appendix.
Appendix
| Stage 1 - Findings Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" |
|---|---|
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nam, 72 tuổi. Cho biết bệnh nhân bị gì?" X-ray PA image (Posteroanterior chest X-ray) of a 72-year-old male patient. Please indicate what condition the patient has | |
| "Role" : "User" "Content" : | |
| "Ground Truth" : "Phổi hai bên kém sáng, mờ kính rải rác, rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều, hai góc sườn hoành nhọn. Bóng mờ tim không to. Vôi hóa thành quai động mạch chủ." ( The lungs are bilaterally hypolucent with scattered ground-glass opacities. Mild hilar prominence is noted. The diaphragmatic contours are smooth, and both costophrenic angles are sharp. The cardiac silhouette is within normal limits. Calcifications are seen in the wall of the aortic arch. ) |
| Hyper-parameters | |
|---|---|
| Epoch | 20 |
| Learning rate | 3.00E-05 |
| Batch size | 8 |
| Gradient accumulate | 4 |
| Optim | AdamW |
| Loss | Cross entropy |
| Stage 2 - Impressions Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" |
|---|---|
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nữ, 68 tuổi. Cho biết bệnh nhân bị gì?" X-ray PA image (Posteroanterior chest X-ray) of a 68-year-old female patient. Please indicate what condition the patient has. | |
| "Role" : "User" "Content" : | |
| "Ground Truth" : "Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. Vôi hóa thùy trên phổi trái" ( The image is highly suggestive of interstitial lung lesions. Calcification in the upper lobe of the left lung. ) |
| Stage 3 - Multi-turn Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" |
|---|---|
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nam, 56 tuổi. Cho biết bệnh nhân bị gì?" X-ray PA image (Posteroanterior chest X-ray) of a 56-year-old male patient. Please indicate what condition the patient has. | |
| "Role" : "User" "Content" : | |
| "Role" : "Assistant" "Content" : "Lồng ngực cân đối, không thấy bất thường xương. Phổi hai bên sáng đều. Rốn phổi hai bên không thấy bất thường. Bờ vòm hoành hai bên đều. Góc sườn hoành hai bên nhọn. Bóng tim không to. Quai động mạch chủ vồng." ( The chest appears symmetrical with no bony abnormalities. Lungs are bilaterally clear. Hilar regions are unremarkable. The diaphragmatic contours are smooth, and the costophrenic angles are sharp bilaterally. The cardiac silhouette is within normal limits. The aortic arch appears prominent. ) | |
| "Role" : "User" "Content" : "Kết luận bệnh nhân bị gì?" ( What is the diagnosis of the patient? ) |
| Dev | Test | ||||||||||||
| Rouge | Bleu | Precision | Recall | Rouge | Bleu | Precision | Recall | ||||||
| 1 | 2 | L | 1 | 2 | L | ||||||||
| None Fine-tune | |||||||||||||
| Monolingual | Vintern-v3.5 | 43.04 | 11.10 | 23.70 | 5.49 | 0.01 | 0.01 | 42.78 | 10.89 | 23.72 | 5.94 | 0.01 | 0.01 |
| LaVy | 45.53 | 12.06 | 25.32 | 19.52 | 0.01 | 0.01 | 45.68 | 12.01 | 25.60 | 10.66 | 0.01 | 0.01 | |
| Multilingual | InternVL2.5 | 50.27 | 10.31 | 24.95 | 2.87 | 0.01 | 0.01 | 50.21 | 10.31 | 24.97 | 3.08 | 0.01 | 0.01 |
| Dev | Test | ||||||||||||
| Rouge | Bleu | Precision | Recall | Rouge | Bleu | Precision | Recall | ||||||
| 1 | 2 | L | 1 | 2 | L | ||||||||
| None Fine-tune | |||||||||||||
| Monolingual | Vintern-v3.5 | 25.39 | 8.07 | 18.53 | 5.44 | 0.01 | 0.01 | 25.27 | 8.00 | 18.35 | 4.67 | 0.01 | 0.01 |
| LaVy | 27.94 | 8.62 | 20.39 | 11.81 | 0.01 | 0.01 | 27.69 | 8.50 | 20.08 | 12.77 | 0.01 | 0.01 | |
| Multilingual | InternVL2.5 | 26.41 | 7.33 | 18.59 | 3.84 | 0.01 | 0.01 | 26.76 | 7.22 | 18.44 | 3.28 | 0.01 | 0.01 |
| Ground-Truth | Inference | Precision | Recall |
|---|---|---|---|
| " Lồng ngực cân đối không thấy bất thường xương. Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to. Quai động mạch chủ vồng. " ( The thoracic cage is symmetrical with no visible bone abnormalities. Both lungs show reduced translucency with scattered ground-glass opacities and mildly increased hilar markings. The diaphragmatic domes are intact on both sides with sharp costophrenic angles. The cardiac silhouette is not enlarged. The aortic arch appears prominent. ) | " Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to. Vôi hóa thành quai động mạch chủ. " ( Both lungs show reduced translucency with scattered ground-glass opacities and mildly increased hilar markings. The diaphragmatic domes are intact on both sides with sharp costophrenic angles. The cardiac silhouette is not enlarged. Calcification is seen in the wall of the aortic arch. ) | 85.71% | 66.67% |
| Ground-Truth | Inference | Precision | Recall |
|---|---|---|---|
| "Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. Bóng mờ tim to. Vôi hóa thành quai động mạch chủ. " (The image suggests interstitial lung disease. The cardiac silhouette appears enlarged. Calcification is noted along the aortic arch wall. ) | " Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. Bóng mờ tim to. Quai động mạch chủ vồng. " ( The image suggests interstitial lung disease. The cardiac silhouette appears enlarged. The aortic arch appears prominent. ) | 66.67% | 66.67% |
| Ground-Truth | Inference | Precision | Recall |
|---|---|---|---|
| Findings: "Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to các cung tim trong giới hạn sinh lý." ( Both lungs show reduced translucency with scattered ground-glass opacities and mildly increased hilar markings. The diaphragmatic domes are smooth and symmetrical, with sharp costophrenic angles. The cardiac silhouette is not enlarged, and the heart contours are within physiological limits. ) | " Lồng ngực cân đối không thấy bất thường xương. Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to các cung tim trong giới hạn sinh lý. " ( The chest is symmetrical with no visible bone abnormalities. Both lungs show reduced translucency with scattered ground-glass opacities and mildly increased hilar markings. The diaphragmatic domes are smooth and symmetric, with sharp costophrenic angles. The cardiac silhouette is not enlarged, and the heart contours are within physiological limits. ) | 77.78% | 100% |
| Impressions: "Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ." ( The imaging findings are highly suggestive of interstitial lung disease. ) | " Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. " ( The imaging findings are highly suggestive of interstitial lung disease. ) | 100% | 100% |
| Input | Model Inference | |
|---|---|---|
| Stage 1 - Findings Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" | Gemini Answer: " Lồng ngực cân đối, không có dấu hiệu biến dạng. Các xương sườn và xương đòn không có dấu hiệu gãy xương. Trường phổi hai bên sáng, không có nốt mờ hay đám đông đặc bất thường. Rốn phổi không to. Vòm hoành phải và trái đều, góc sườn hoành hai bên sắc nét. Bóng tim có vẻ lớn hơn bình thường. Cần đánh giá thêm về kích thước tim (Chỉ số tim ngực - Cardiothoracic ratio). Trung thất không giãn rộng. Hình ảnh X-quang cho thấy bóng tim lớn hơn bình thường, nghi ngờ bệnh nhân có thể bị tim to. Cần thêm các chẩn đoán chuyên sâu để có kết luận cuối cùng. " |
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nam, 62 tuổi. Cho biết bệnh nhân bị gì?" ( PA X-ray image (Posteroanterior chest radiograph of a 62-year-old male patient. What is the condition of the patient? ) | GPT-4V Answer: " I’m sorry, I can’t help with identifying or diagnosing conditions from images. " | |
| "Role" : "User" "Content" : | ||
| "Ground Truth": "Phổi hai bên kém sáng, mờ kính rải rác, rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều, hai góc sườn hoành nhọn. Bóng mờ tim to." ( Both lungs appear hypotranslucent with scattered ground-glass opacities and mildly increased pulmonary hila markings. Diaphragmatic domes are well-defined on both sides, with sharp costophrenic angles. Cardiac silhouette is enlarged. ) | Qwen2.5-VL-7B Answer: " Phổi hai bên kém sáng, mờ kính rải rác, rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều, hai góc sườn hoành nhọn. Bóng mờ tim to. Vôi hóa thành quai động mạch chủ. " |
| Input | Model Inference | |
|---|---|---|
| Stage 2 - Impressions Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" | Gemini Answer: " Dựa trên ảnh X-quang tim phổi thẳng, bệnh nhân có dấu hiệu vôi hóa động mạch chủ. Cần thêm các xét nghiệm khác để đánh giá đầy đủ hơn. " |
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nữ, 76 tuổi. Cho biết bệnh nhân bị gì?" ( PA chest X-ray of a 76-year-old female patient. What is the diagnosis? ) | GPT-4V Answer: " Tôi không thể phân tích hình ảnh X-quang. Bạn nên tham khảo ý kiến của bác sĩ chuyên khoa để có chẩn đoán chính xác. " | |
| "Role" : "User" "Content" : | ||
| "Ground Truth": "Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. Quai động mạch chủ vồng." (The findings are suggestive of interstitial lung disease. The aortic arch appears prominent.) | Qwen2.5-VL-7B Answer: " Hình ảnh nghĩ nhiều đến tổn thương phổi kẽ. Quai động mạch chủ vồng. " |
| Input | Model Inference | |
|---|---|---|
| Stage 3 - Multi-turn Generation | "Role" : "System" "Content" : "Bạn là trợ lý bác sĩ ( You are a medical assistant )" | Gemini Answer: " Mô tả tình trạng lồng ngực: Lồng ngực bình thường. Tình trạng phổi: Phổi thông khí bình thường. Vòm hoành: Vòm hoành bình thường. Tim và mạch máu lớn: Tim và mạch máu lớn bình thường. Kết luận: Bệnh nhân bị viêm phổi. " |
| "Role" : "User" "Content" : "Ảnh chụp X-ray PA (Chụp Xquang tim phổi thẳng) bệnh nhân nữ, 46 tuổi. Cho biết bệnh nhân bị gì?" ( PA chest X-ray of a 46-year-old female patient. What is the diagnosis? ) | GPT-4V Answer: " Tôi không thể chẩn đoán bệnh từ ảnh X-quang này. Tuy nhiên, tôi có thể mô tả các đặc điểm chính. Tình trạng lồng ngực: Lồng ngực có vẻ bình thường, không có dấu hiệu bất thường rõ ràng. Tình trạng phổi: Phổi có vẻ thông khí tốt, không thấy có dấu hiệu của tổn thương hay bất thường rõ ràng. Vòm hoành: Vòm hoành có vẻ bình thường , không có dấu hiệu nâng cao hay bất thường. Tim và mạch máu lớn: Tim có kích thước bình thường , không có dấu hiệu phì đại hay bất thường rõ ràng. Để có chẩn đoán chính xác, cần có sự đánh giá từ bác sĩ chuyên khoa. " | |
| "Role" : "User" "Content" : | ||
| "Findings Ground Truth": "Lồng ngực cân đối không thấy bất thường xương. Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to các cung tim trong giới hạn sinh lý." (The chest is symmetrical with no visible bone abnormalities. Both lungs appear hypolucent with scattered ground-glass opacities; the pulmonary hila are mildly prominent. The diaphragmatic domes on both sides are smooth, and the costophrenic angles are sharp. The cardiac silhouette is not enlarged, and the heart borders remain within physiological limits.) | Qwen2.5-VL-7B Answer: " Lồng ngực cân đối không thấy bất thường xương. Phổi hai bên kém sáng mờ kính rải rác rốn phổi tăng đậm nhẹ. Bờ vòm hoành hai bên đều hai góc sườn hoành nhọn. Bóng mờ tim không to các cung tim trong giới hạn sinh lý. " | |
| "Role" : "User" "Content" : "Kết luận bệnh nhân bị gì?" ( What is the diagnosis of the patient? ) | Gemini Answer: " Không có bằng chứng rõ ràng về bệnh lý trên phim X-quang này. " | |
| "Role" : "User" "Content" : <image> | GPT-4v Answer: " Dựa trên hình ảnh X-quang này, có thể thấy dấu hiệu của thoát vị hoành bẩm sinh. Đây là tình trạng khi các cơ quan trong ổ bụng di chuyển lên lồng ngực qua lỗ hổng ở cơ hoành. Tuy nhiên, để có chẩn đoán chính xác, cần tham khảo ý kiến của bác sĩ chuyên khoa. " |