BanglaSocialBench: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction
Authors: Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar
Organizations: Jahangirnagar University, Dhaka, Bangladesh · Rajshahi University of Engineering & Technology, Rajshahi, Bangladesh · Bangladesh University of Engineering and Technology, Dhaka, Bangladesh
Large Language Models have demonstrated strong multilingual fluency, yet fluency alone does not guarantee socially appropriate language use. In high-context languages, communicative competence requires sensitivity to social hierarchy, relational roles, and interactional norms that are encoded directly in everyday language. Bangla exemplifies this challenge through its three-tiered pronominal system, kinship-based addressing, and culturally embedded social customs. We introduce BanglaSocialBench, the first benchmark designed to evaluate sociopragmatic competence in Bangla through context-dependent language use rather than factual recall. The benchmark spans three domains: Bangla Address Terms, Kinship Reasoning, and Social Customs, comprising 1,719 culturally grounded instances written and verified by native Bangla speakers. We evaluate twelve contemporary LLMs in a zero-shot setting and observe systematic patterns of cultural misalignment. Models frequently default to overly formal address forms, fail to recognize multiple socially acceptable address pronouns, and conflate kinship terminology across religious contexts. Our findings show that sociopragmatic failures are often structured and non-random; for example, inappropriate addressing choices concentrate heavily in downward-hierarchy (Elder→Younger) and informal contexts. This reveals persistent limitations in how current LLMs infer and apply culturally appropriate language use in realistic Bangladeshi social interactions.
Figures & tables
Figure 1: Prompt design grounded in Hymes’ SPEAKING model ( Hymes, 1962 ) . Each prompt operationalizes sociolinguistic context through explicit cues for setting, participants, gender, interactional goal, and social norms, allowing controlled evaluation of culturally appropriate Bangla Address Terms.
Figure 2: Dataset creation pipeline for BanglaSocialBench . The English prompts displayed in the diagram are translated for illustrative purposes; all model evaluations were conducted exclusively using Bangla prompts
Category
Subcategory
#
Bangla Address Term: Pronominal
Family
140
Office
100
Hospital
50
Academia
100
Social Interaction
200
Bangla Address Term: Nominal
Kinship
152
Table 1: Distribution of instances in BanglaSocialBench across address terms, kinship reasoning, and social customs domains.
Model
Address Term
Kinship Reasoning
Social Customs
GPT-4o mini
65.99
49.86
77.43
GPT-4o
78.51
67.83
86.15
Gemini 2.0 Flash
76.17
68.12
85.13
Gemini 2.5 Flash
81.16
92.46
86.41
Claude Haiku 3.5
61.91
44.06
71.02
Claude Sonnet 4
75.46
88.98
86.67
Table 2: Overall zero-shot accuracy (%) across domains in BanglaSocialBench .
Figure 3: Overall benchmark accuracy of evaluated LLMs on BanglaSocialBench , computed as the macro-average of performance across Address Terms, Kinship Reasoning, and Social Customs.
Figure 4: Asymmetry in inappropriate politeness use across LLMs in Bangla pronominal addressing, with over-politeness occurring substantially more frequently than under-politeness.
Figure 5: Directional cross-religious kinship term misalignment. Proportions of culturally inappropriate kinship term substitutions across explicit identity cues, implicit cues, and open-ended prompting. Misalignment is more pronounced toward substituting Muslim-associated kinterms in Hindu-marked contexts.
Figure 6: Probability mass allocation between ambiguous and unambiguous questions. Distribution of maxcP(c) , the probability mass assigned to the most probable choice, over single-answer and two-answer questions, recovered from token-level log-probabilities via choice-restricted softmax. A well-calibrated model should show lower probability mass on two-answer questions than on single-answer ones.
Appendix figures & tables13 assets
Supplementary material from the paper’s appendix.
Appendix
ID
Topic
Cultural Script (NSM)
Request
People think like this: when I want someone to do something, it is not good to say it strongly. If I say it strongly, this person can feel something bad. Because of this, it is good to say it softly, so this person can choose freely.
Interrogation
People think like this: some things are personal. Asking about these things can feel intrusive. If I ask directly, people can think I have bad manners. Because of this, it is good not to ask directly.
3.1
Compliment
People think like this: when someone says something good about me, it is not good to agree openly. People can think I think too much of myself. Because of this, it is good to say little or deny it.
3.2
Compliment
People think like this: when someone praises me too much, this person may want something from me. Because of this, it is good to respond in a way that stops more praise.
Refusal
People think like this: if I do not want to do something, I should not say “no” directly. If I do, this person can feel bad. It is better to say “I will try” or “I will see.”
Tautology
People think like this: some things happen not because people want them. People cannot change these things. Saying words like this helps people feel calm.
Appendix
Table 3: Cultural scripts in the Social Customs domain, expressed in Natural Semantic Metalanguage (NSM) and used as an abstraction layer to guide instance creation
Subcategory
Example Instances
Address Terms: Pronominal
Setting: Family Age : Elder → Younger Gender : Female → Male Key : Inquire End : Angry
\banglafont এক মা তার কিশোর ছেলেকে রাগান্বিতভাবে তার পড়াশোনার অবস্থা সম্পর্কে জিজ্ঞাসা করছেন। (A mother angrily asks her teenage son about the state of his studies.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশের শহুরে সামাজিক ব্যবস্থায় মা ছেলেকে প্রচলিত উপায়ে কীভাবে সম্বোধন করবে? (In this context, within Bangladesh” urban social setting, how would a mother conventionally address her son?) A. \banglafont আপনি (Apni) B. \banglafont তুমি (Tumi) C. \banglafont তুই (Tui)
Setting : Family Age : Elder → Younger Gender : Female → Female End : Inquire Key : Informal
\banglafont এক বৃদ্ধ খালা তার শিশু ভাগ্নিকে আদুরে স্বরে প্রশ্ন করছেন। (An elderly maternal aunt affectionately asks her young niece.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশের শহুরে সামাজিক ব্যবস্থায় খালা তার ভাগ্নিকে প্রচলিত উপায়ে কীভাবে সম্বোধন করবে? (In this context, within the urban social setting of Bangladesh, how would a maternal aunt conventionally address her niece?) A. \banglafont আপনি (Apni) B. \banglafont তুমি (Tumi) C. \banglafont তুই (Tui)
Setting : Office Age : Younger → Elder Gender : Male → Male End : Request Key : Polite
\banglafont একজন মধ্যবয়স্ক সহকারী সচিব তার বয়স্ক উপসচিবকে সরকারি তহবিল ব্যবহারে বিনীত অনুরোধ করছেন। A middle-aged Assistant Secretary is politely requesting an older Deputy Secretary regarding the use of government funds.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশী সংস্কৃতিতে সহকারী সচিব উপসচিবকে প্রচলিত উপায়ে কীভাবে সম্বোধন করবেন? (In this context, within Bangladeshi culture, how would the Assistant Secretary conventionally address the Deputy Secretary?) A. \banglafont আপনি (Apni) B. \banglafont তুমি (Tumi) C. \banglafont তুই (Tui)
Setting : Office Age : Elder → Younger Gender : Female → Female End : Inform Key : Angry
\banglafont একজন বয়স্ক নারী উপ-পরিচালক তার মধ্যবয়স্ক নারী সহকারি পরিচালককে পাসপোর্ট যাচাইকরণের নতুন নিয়মাবলী সম্পর্কে রাগান্বিত হয়ে অবহিত করছেন। (An elderly female Deputy Director is angrily informing her middle-aged female Assistant Director about the new regulations for passport verification.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশী সংস্কৃতিতে উপ-পরিচালক সহকারি পরিচালককে প্রচলিত উপায় কিভাবে সম্বোধন করবেন? (In this context, within Bangladeshi culture, how would the Deputy Director conventionally address the Assistant Director?) A. \banglafont আপনি (Apni) B. \banglafont তুমি (Tumi) C. \banglafont তুই (Tui)
Setting : Academia Age : Younger → Elder Gender : Male → Female End : Request Key : Polite
\banglafont স্কুলের একজন দ্বিতীয় শ্রেণীর ছাত্র বিনয়ের সাথে তার গণিত শিক্ষিকাকে অংকটি দেখতে অনুরোধ করল। (A second-grade student politely asks his mathematics teacher to look at a problem.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশী শহুরে সামাজিক ব্যবস্থায় দ্বিতীয় শ্রেণীর ছাত্রটি তার গণিত শিক্ষিকাকে প্রচলিত উপায় কিভাবে সম্বোধন করবে? (In this context, within Bangladesh”s urban social setting, how would the second-grade student conventionally address his mathematics teacher?) A. \banglafont আপনি (Apni) B. \banglafont তুমি (Tumi) C. \banglafont তুই (Tui)
Appendix
Table 4: Example instances from the Pronominal Addressing subset of Address Terms domain. Each instance is further annotated with sociopragmatic metadata, namely Setting, Participant Age, Participant Gender, Key, and End.
Subcategory
Example Instances
Address Terms: Nominal
Subtopic: Kinship Identity : Muslim Type : Implicit Basis : Religion
\banglafont বাংলাদেশী সংস্কৃতি অনুযায়ী কবীর তার মায়ের বোনকে প্রচলিত উপায়ে সম্বোধন করবে? (According to Bangladeshi culture, how would Kabir conventionally address his mother’s sister?) A. \banglafont খালা (Khala) B. \banglafont ফুপু (Fupu) C. \banglafont মাসি (Mashi) D. \banglafont পিসি (Pishi)
Subtopic: Kinship Identity : Hindu Type : Implicit Basis : Religion
\banglafont বাংলাদেশী সংস্কৃতি অনুযায়ী প্রণব রায় তার মায়ের মাকে প্রচলিত উপায়ে সম্বোধন কুরবে? (According to Bangladeshi culture, how would Pranab Roy conventionally address his mother’s mother?) A. \banglafont ঠাকুরমা (Thakurma) B. \banglafont দাদি (Dadi) C. \banglafont জেঠী (Jethi) D. \banglafont নানি (Nani)
Subtopic: Kinship Identity : Muslim Type : Implicit Basis : Neutral
\banglafont বাংলাদেশী সংস্কৃতি অনুযায়ী সিদ্দিকের ভাই এর মেয়ে সম্পর্কে তার কে হয়? (According to Bangladeshi culture, what is Siddik’s relationship to his brother’s daughter?) A. \banglafont ভাইঝি (Bhaijhi) B. \banglafont ভাগনি (Bhagni) C. \banglafont নাতনি (Natni) D. \banglafont দৌহিত্রী (Douhitri)
Subtopic: Social Addressing Identity : Hindu Type : Implicit Basis : Religion
\banglafont ফ্ল্যাটে ঢোকার সময় একজন তরুণ বয়সী ভাড়াটিয়া নির্মল দে মধ্যবয়সী দারোয়ান কানাই নাথকে দরজা খোলার কথা বলছেন (While entering the apartment, a young tenant, Nirmal Dey, is asking the middle-aged doorman, Kanai Nath, to open the door.) \banglafont বাংলাদেশী সংস্কৃতিতে ভাড়াটিয়া দাড়োয়ানকে প্রচলিত উপায়ে কীভাবে সম্বোধন করবে? (In this context, according to Bangladeshi culture, how would the tenant conventionally address the doorman?) A. \banglafont ভাই (Bhaijhi) B. \banglafont দাদা (Dada) C. \banglafont কানাই (Kanai) D. \banglafont পিসে (Pise)
Subtopic: Social Addressing Identity : Hindu Type : Explicit Basis : Religion
\banglafont একজন মধ্যবয়সী হিন্দু মহিলা উর্মি রায় মধ্যবয়সী হিন্দু দর্জি প্রণব কুমারকে কাপড় কবে পাওয়া যাবে জিজ্ঞেস করছে। (A middle-aged Hindu woman, Urmi Roy, is asking a middle-aged Hindu tailor, Pranab Kumar, when the clothes will be ready.) \banglafont এই প্রেক্ষাপটে, বাংলাদেশী সংস্কৃতিতে মহিলা দর্জিকে প্রচলিত উপায়ে কীভাবে সম্বোধন করবে? (In this context, according to Bangladeshi culture, how would the woman conventionally address the tailor?) A. \banglafont দাদা (Dada) B. \banglafont ভাই (Bhai) C. \banglafont মামা (Mama) D. \banglafont চাচা (Chacha)
Appendix
Table 5: Example instances from the Nominal Addressing subset of Address Terms domain. Each instance is further annotated with Identity, Type, Basis.
Subcategory
Example Instances
Kinship Reasoning
Hop Count: 2
\banglafont রেশমা-এর মাতা নার্গিস। তনিম-নার্গিস এর কন্যা নয়, তবে রেশমার ভাই হয়। অতএব, তনিম সম্পর্কে নার্গিসের কে হয়? (Nargis is Reshma’s mother. Tanim is not Nargis’s daughter, but Reshma’s brother. Therefore, who is Tanim to Nargis?) A. \banglafont ছেলে (Son) B. \banglafont ভাই (Brother) C. \banglafont দাদা (Paternal Grandfather) D. \banglafont বাবা (Father)
Hop Count: 3
\banglafont একটি মহিলাকে নির্দেশ করে, অপর একটি মহিলা বললেন “তার ভাইয়ের বাবা হলেন আমার দাদার একমাত্র ছেলে। মহিলাটি অপর মহিলার কে হন? (Referring to a woman, another woman said, "Her brother’s father is my grandfather’s only son." What is the relationship between the two women?) A. \banglafont বোন (Sister) B. \banglafont মা (Mother) C. \banglafont চাচি (Aunt) D. \banglafont মেয়ে (Daughter)
Hop Count: 4
\banglafont আকাশের মা হলেন সালমা, যিনি আবার কামালের বোন। কামালের মেয়ের নাম রিয়া এবং রিয়া হলো পলাশের স্ত্রী। এদিকে, রফিক হলেন সালমার স্বামী। তাহলে, রফিক আকাশের সম্পর্কে কে হন? (Akash’s mother is Salma, who is also Kamal’s sister. Kamal’s daughter is named Riya, and Riya is Palash’s wife. Meanwhile, Rafiq is Salma’s husband. What is Rafiq’s relationship to Akash?) A. \banglafont বাবা (Father) B. \banglafont কাকা (Paternal uncle) C. \banglafont স্বামী (Husband) D. \banglafont পুত্র (Son)
Hop Count: 4
\banglafont রাশেদের বাবার বোনের বাবার ছেলের মেয়ে আমার সম্পর্কে রাশেদের কে হন? (Who is the daughter of the son of the father of Rashed’s father’s sister to Rashed?) A. \banglafont বোন (Sister) B. \banglafont খালা (Maternal aunt) C. \banglafont ফুফু (Paternal aunt) D. \banglafont ভাবি (Sister-in-law)
Hop Count: 1
\banglafont আরমান, বেলাল ও রাশেদ তিন ভাই। রাশেদ হলো ইমরানের বাবা এবং ইমরান হলো সুমনের ভাই। তাহলে আরমান সম্পর্কে রাশেদের কে হন? (Arman, Belal, and Rashed are three brothers. Rashed is Imran’s father, and Imran is Sumon’s brother. Then, who is Arman to Rashed?) A. \banglafont চাচা (Paternal Uncle) B. \banglafont ভাতিজা (Nephew) C. \banglafont দাদা (Paternal Grandfather) D. \banglafont মামা (Maternal Uncle)
Appendix
Table 6: Example instances from the Kinship Reasoning Domain. Instances involve kinship chains with hop counts ranging from one to four.
Subcategory
Example Instances
Social Customs
Request
\banglafont একজন যাত্রী মনে করছে রিকশাভাড়া একটু বেশি বলা হয়েছে। তিনি ভাড়া কমানোর জন্য রিকশাওয়ালার সাথে কথা বলছেন (A passenger thinks that the rickshaw fare quoted is a bit high and is talking to the rickshaw puller to negotiate a lower fare.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত প্রকাশভঙ্গী কোনটি? (In this context, in Bangladeshi culture, which expression is the most commonly used?) A. \banglafont ভাড়া বেশি বলছো (You’re asking for too much fare) B. \banglafont এই ভাড়ায় কেউ যাবে না (No one would go at this fare.) C. \banglafont দয়া করে ভাড়া কমাও (Please lower the fare.) D. \banglafont একটু কম হলে ভালো হতো (It would be better if it were a bit less.)
Interrogation
\banglafont মাসের শেষ দিনে টিউশনে গিয়ে দেখলেন অভিভাবক স্যালারি দিতে ভুলে গেছেন (On the last day of the month, you go to a tutoring session and realize that the guardian has forgotten to pay your salary.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে আপনার জন্য সবচেয়ে উপযুক্ত কোনটি? (In this context, in Bangladeshi culture, which option would be most appropriate for you?) A. \banglafont প্রসঙ্গ এর জন্য অপেক্ষা করবেন, এবং সুযোগ পেলে অভিভাবককে বিষয়টা জানাবেন (Wait for an appropriate moment and inform the guardian when you get the chance.) B. \banglafont সরাসরি না বলে ইশারা করবেন (Hint at it indirectly instead of saying it directly) C. \banglafont রেগে গিয়ে অভিভাবককে ডাকবেন (Get angry and call out the guardian) D. \banglafont সরাসরি বলবেন, "স্যালারি দিন" (Say directly, "Give me my salary.")
Compliment
\banglafont শিক্ষক বললেন, “তোমার উত্তরটা ক্লাসে সবচেয়ে ভালো ছিল।” (The teacher said, "Your answer was the best in the class.’) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে উপযুক্ত উত্তর কোনটি? (In this context, according to Bangladeshi culture, which response would be the most appropriate?) A. \banglafont ধন্যবাদ, আমি খুব ভালো (Thank you, I am very good.) B. \banglafont পাশের বন্ধু আমাকে শিখিয়ে দিয়েছে, তাই পেরেছি (A friend sitting next to me helped me, so I managed it.) C. \banglafont আপনার জন্যই তো পারলাম (I was able to do it because of you) D. \banglafont আমি সবসময়ই ভালো করি (I always do well.)
Refusal
\banglafont একজন আত্মীয় আপনাকে আগামীকাল গ্রামের বাড়িতে যেতে বলছেন, কিন্তু আপনি যেতে চান না। (A relative is asking you to go to the village home tomorrow, but you do not want to go.”) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে উপযুক্ত উত্তর কোনটি? (In this context, according to Bangladeshi culture, which response would be the most appropriate?) A. \banglafont সময়-সুযোগ হলে অবশ্যই যাব (I will definitely go when time and circumstances allow.) B. \banglafont আমার এখন একদম ইচ্ছা নেই (I really don’t feel like going right now.) C. \banglafont চেষ্টা করব কালই যাওয়ার (I will try to go tomorrow.) D. \banglafont যাব না (I will not go.)
Tautology
\banglafont অনেক চেষ্টা করেও একজন ছাত্র বিশ্ববিদ্যালয় ভর্তি পরীক্ষায় পাস করতে পারেনি বলে তাকে সান্ত্বনা দিচ্ছেন (After many attempts, a student failed to pass the university admission exam, and you are consoling him.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে উপযুক্ত উত্তর কোনটি? (In this context, according to Bangladeshi culture, which response would be the most appropriate?) A. \banglafont ভালো ভাবে পড়লে এমন হত না (If you had studied properly, this wouldn’t have happened.) B. \banglafont এতেই বরং ভবিষ্যতে ভালো হবে (This will actually be better for the future.) C. \banglafont আর একটু চেষ্টা করলে হতো (If you had tried a little more, you would have succeeded.) D. \banglafont আল্লাহ যা করেন মঙ্গলের জন্যই করেন, হয়তো কপালে এর চেয়ে ভালো কিছু আছে (Whatever Allah does is for the best; perhaps something better than this is destined for you.)
Appendix
Table 7: Example instances from the Social Customs Domain. Contd..
Subcategory
Example Instances
Social Customs
Hospitality
\banglafont মেহমানকে খাবার দিলে তিনি ভদ্রতা করে বলছেন, "না না, কিছু খাব না"। (When you offer food to a guest, they politely say, "No, no, I won’t eat anything.") \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would you most commonly do?) A. \banglafont কিছুই দেবেন না (Not offer anything) B. \banglafont খাবার নষ্ট হবে না ভেবে খুশি হবেন (Feel happy thinking that the food will not go to waste) C. \banglafont শুধু পানি দিবেন (Offer only water.) D. \banglafont জোর করে বলবেন, ’সামান্য একটু মুখে দিন, না খেলে আমি কষ্ট পাব।’ (Insist by saying, "Please have just a little; I will feel hurt if you don’t eat.")
Greetings
\banglafont বন্ধুর বাবা-মাকে রাস্তায় দেখলেন। (You see your friend’s parents on the street.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would be the most common thing to do?) A. \banglafont হাসবেন (Smile) B. \banglafont সালাম দিয়ে বলবেন, আঙ্কেল/আন্টি শরীর ভালো? (Greet them with salaam and say, "Uncle/Auntie, how are you?") C. \banglafont মাথা নিচু করে থাকবেন (Keep your head lowered.) D. \banglafont চুপ থাকবেন (Remain silent.)
Emotion
\banglafont মার্কেটে কেনাকাটা করার সময় স্ত্রীর/স্বামীর কোনো আচরণে প্রচণ্ড রাগ হলো (While shopping at the market, you become extremely angry at some behavior of your wife/husband.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would be the most common response?) A. \banglafont সবার সামনে কিছু না বলে স্বাভাবিক থাকবেন, বাসায় ফিরে কথা বলবেন) (Stay normal in public without saying anything, and discuss it after returning home.) B. \banglafont ইঙ্গিতে বলবেন, "আমি এখন আমার ক্রোধের মাত্রা ১০-এর স্কেলে ৮ অনুভব করছি" (Indirectly say, "I am currently feeling my anger at an 8 on a scale of 10.") C. \banglafont সবার সামনে তাকে ধাক্কা দিয়ে বা অপমান করে চলে আসবেন (Push or insult them in public and leave.) D. \banglafont দোকানের মধ্যেই চিৎকার করে বলবেন যে তার আচরণ আপনার পছন্দ হচ্ছে না (Shout inside the shop that you do not like their behavior.)
Harmony
\banglafont ঈদের দিনে হিন্দু প্রতিবেশীর সাথে দেখা। (You meet your Hindu neighbor on the day of Eid. ) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would be the most common response?) A. \banglafont বলবেন, ’আপনারা তো বিধর্মী, ঈদের দিনে সামনে আসবেন না।’ (Say, "You are from a different religion, you should not come in front of us on Eid.") B. \banglafont হাসিমুখে সেমাই বা খাবারের দাওয়াত দেবেন। (Cheerfully invite them for Semai or food.) C. \banglafont ’হ্যাপি হলিডে’ বলে নিজের কাজে চলে যাবেন, কারণ এটা তাদের উৎসব নয়। (Say, "Happy holiday" and go on with your work, since it is not their festival.) D. \banglafont বলবেন, "ঈদ তো আপনাদের উৎসব নয়, তাই টেকনিক্যালি আপনাকে উইশ করাটা লজিক্যাল না।" (Say, "Eid is not your festival, so technically it is not logical to wish you.")
Appendix
Table 8: Example instances from the Social Customs Domain. Contd…
Subcategory
Example Instances
Social Customs
Cordiality
\banglafont সহকর্মীদের সাথে খাচ্ছেন, বিল দেওয়ার সময় হয়েছে। (You are eating out with colleagues, and it’s time to pay the bill.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, which honorific form of address is most appropriate?) A. \banglafont বলবেন, ’আমরা সবাই মিলে মোট ৩২০০ টাকার খাবার গ্রহণ করেছি।’ (Say, "All of us together have eaten food worth 3,200 taka.") B. \banglafont নিজের খাবারের অংশটুকু হিসাব করে শুধু নিজের টাকাটাই দেবেন। (Calculate only your own share of the meal and pay just that amount.) C. \banglafont সবার আগে বিলের কাগজ কেড়ে নেবেন এবং ’আমি দিচ্ছি, আমি দিচ্ছি’ বলে জোর করবেন (Grab the bill first and insist, saying, "I’ll pay, I’ll pay.") D. \banglafont সবার বিল দেওয়ার পাশাপাশি ওয়েটারকে বিলের দ্বিগুণ টিপস দিয়ে দেবেন। (Pay everyone’s bill and also give the waiter a tip equal to twice the bill amount.)
Criticism
\banglafont কর্মচারী গ্রাহকের সামনে ভুল বিল করেছে। (An employee has made a mistake in the bill in front of a customer.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would be the most common response?) A. \banglafont গ্রাহকের সামনেই কর্মচারীকে বলবেন, ’গাধা নাকি? যোগ-বিয়োগও পারো না? (Scold the employee in front of the customer, saying, "Are you an idiot? Can’t you even do basic addition and subtraction?") B. \banglafont ভুল বিলটাই নিজের পকেট থেকে দিয়ে দেবেন যাতে কর্মচারীর ভুল ধরা না পড়ে (Pay the incorrect bill out of your own pocket so that the employee’s mistake is not noticed.) C. \banglafont বলবেন, ’বিলের টোটাল অ্যামাউন্টে এরিথমেটিক এরর আছে।’ (Say, "There is an arithmetic error in the total amount on the bill.") D. \banglafont গ্রাহকের কাছে ক্ষমা চেয়ে বিলটি ঠিক করে দেবেন, কর্মচারীকে পরে বোঝাবেন। (Apologize to the customer and correct the bill, and explain the mistake to the employee later.)
Time
\banglafont বিয়ের দাওয়াতে এসে দেখলেন পার্লার থেকে কনে আসার কথা ৮টায়, রাত ১০টায় কনে আসল। (The bride was supposed to arrive from the beauty parlor at 8:00 p.m., but she arrived at 10:00 p.m.) \banglafont এই প্রেক্ষাপটে বাংলাদেশী সংস্কৃতিতে সবচেয়ে প্রচলিত উপায়ে আপনি কী করবেন? (In this context, according to Bangladeshi culture, what would be the most common response?) A. \banglafont ’বউ সাজতে সময় লাগে’ বলে মেনে নেবেন এবং সুন্দর হয়েছে বলে প্রশংসা করবেন (Accept it by saying, "Getting dressed as a bride takes time," and compliment her on how beautiful she looks.) B. \banglafont বরপক্ষ হলে রেগে গিয়ে বিয়ে ভেঙে দেওয়ার হুমকি দিবেন (If you are from the groom’s side, get angry and threaten to call off the wedding.) C. \banglafont বলবেন, ’মাত্র ২ ঘণ্টা দেরি? ভালো সাজার জন্য তো সারারাত লাগানো উচিত ছিল!’ (Say sarcastically, "Only a two-hour delay? For proper bridal makeup, it should have taken the whole night!") D. \banglafont বলবেন, ’কনের মেকআপের লেয়ার অনেক পুরু।’ (Say, "The bride’s makeup layers are very thick.")
Appendix
Table 9: Example instances from the Social Customs Domain.
Category
Subcategory
Standard κ
Binary κ
Pronominal Addressing
Family
0.701
0.759
Office
0.670
0.768
Hospital
0.792
0.872
Academia
0.717
0.747
Social Interaction
0.637
0.721
Nominal Addressing
Kinship
0.872
–
Appendix
Table 10: Inter-annotator agreement (Cohen’s κ ) across annotation categories in BanglaSocialBench . Binary κ is reported for pronominal addressing where two valid answers are possible.
Figure 7: Pronominal addressing accuracy across evaluated language models. Bars indicate model accuracy under the primary-or-secondary evaluation criterion, while the dashed horizontal line denotes the weighted random baseline computed from the distribution of single- and dual-acceptable instances. Models are grouped by family.
Figure 8: Distribution of sociopragmatic factors used in instance construction across pronominal addressing settings. Each subplot shows the number of instances per category for participant age, gender configuration, politeness key, utterance end type, and interaction setting. The distributions reflect the balanced design used during dataset construction
Figure 9:
Model
Predictor
N
χ2
DoF
p -value
Min. Exp.
LLaMA 3.3 70B
End
590
10.795
3
0.0128
36.92
Gemma 3 27B
End
590
5.913
3
0.1159
19.02
LLaMA 3 8B
End
590
5.53
3
0.1368
52.13
DeepSeek V3.1
End
590
3.756
3
0.2890
41.39
GPT-4o
End
590
3.688
3
0.2972
22.15
Gemini 2.0 Flash
End
590
3.661
3
0.3005
24.16
Appendix
Table 11: Per-model Pearson’s χ2 tests of independence between sociopragmatic factors and culturally inappropriate responses. For each model and predictor, we report the sample size ( N ), chi-square statistic ( χ2 ), degrees of freedom (DoF), p -value, and the minimum expected cell count. Statistically significant associations ( p<0.05 ) indicate that error rates are not uniformly distributed across sociopragmatic conditions.
Model
N
Islam Errors
Hindu Errors
χ2
p -value
Significant
DeepSeek V3.1
56
51
5
37.8
7.90×10−10
Yes
GPT-4o
47
42
5
29.1
6.78×10−8
Yes
Claude Sonnet 4
49
45
4
34.3
4.71×10−9
Yes
GPT-4o mini
49
42
7
25.0
5.73×10−7
Yes
LLaMA 3.3 70B Instruct
49
39
10
17.2
3.43×10−5
Yes
LLaMA 3 8B Instruct
49
38
11
14.9
1.15×10−4
Yes
Appendix
Table 12: Directional asymmetry in cross-religious kinship term substitutions. This table reports the total number of culturally inappropriate Kinship Term predictions ( N ) where a model substituted a kinship term from one religious context with another (e.g., using a Hindu-specific term in an Islamic context). We define Islam Errors as instances where a model predicts a Hindu kinterm in a given Muslim context, and Hindu Errors as the vice versa. Results are aggregated across explicit, implicit, and generative prompting regimes. Significance is determined by a χ2 goodness-of-fit test ( df=1 ), testing the null hypothesis of an equal distribution ( 50/50 split) between Islam and Hindu error types. Results with p<0.05 indicate a statistically significant directional substitution.
Pragmatic reasoning in language models studies how models infer and communicate meanings shaped by context, intent, shared knowledge, and social norms.
Bengali is the seventh-most-spoken language globally, yet LLM safety evaluation remains overwhelmingly English-centric. We introduce BanglaSafe, a benchmark of 879 Bengali prompts combining 309 natively authored prompts with 570 expert-reviewed prompts, spanning 17 culturally grounded harm categories and five prompting conditions that vary language, writing style, and authority framing. Evaluating 18 frontier LLMs, we find that over half of all responses are unsafe or partially unsafe (53.6%) while 14.7% contains strictly harmful content, and that the strongest observed effect is not the switch from English to Bengali but the choice of writing style within Bengali: the same harmful request phrased as a formal newspaper investigation succeeds 17 percentage points more often than the same request phrased as a casual message, with no adversarial engineering involved. We further show that existing safety classifiers struggle to reliably evaluate Bengali content, with even frontier models failing on nearly half of all cases.
Naymul Islam, Nusrat Jahan Lia, Shubhashis Roy Dipta +2
BanglaLLM · Institute of Information Technology, University of Dhaka · University of Maryland, Baltimore County +2
Recent advances in Multilingual Large Language Models (MLLMs) have significantly enhanced cross-lingual conversational capabilities, yet modeling culturally nuanced and context-dependent communication remains a critical bottleneck. Specifically, existing state-of-the-art models exhibit a severe pragmatic gap when handling structural variations, regional idioms, and honorific consistencies in low-resource contexts like Bangla. To address this limitation, we introduce a novel, culturally aligned instruction-tuning dataset for BangLa Application and DialoguE generation - BLADE and benchmarking framework comprising 4,196 meticulously curated interaction pairs. We leverage this resource to systematically fine-tune and evaluate leading open-weight architectures, including DeepSeek-8B and LLaMA-3.2-3B, utilizing parameter-efficient fine-tuning via LoRA adapters in a 4-bit NormalFloat (NF4) quantization framework. Our empirical evaluations demonstrate that models fine-tuned on our dataset yield substantial improvements in structural fidelity and honorific alignment, providing a rigorous benchmark for bridging pragmatic disparities in low-resource multilingual text generation. Code and dataset: https://github.com/ashuvo25/Bangla_Application_LLM/tree/main
Large language models (LLMs) increasingly participate in emotionally sensitive social conversations, where responses may shift from balanced support toward excessive validation or escalatory alignment. Existing sycophancy research primarily focuses on factual agreement and instruction-following settings, leaving culturally grounded conversational sycophancy underexplored. We introduce BenSyc, the first benchmark for studying conversational sycophancy in Bengali social contexts. Starting from 11,840 Reddit posts and 170k comments collected from communities across Bangladesh and West Bengal, we construct a human-validated benchmark with binary labels and a fine-grained five-level taxonomy spanning Invalidation, Neutral, Support, Validation, and Escalation. We evaluate more than 15 open and proprietary LLMs on conversational alignment classification and response generation tasks. Results show that distinguishing empathetic support from reinforcement-oriented validation remains challenging even for frontier instruction-tuned models: the best system achieves only 61.8 Macro-F1 on binary detection and 61.7 Macro-F1 on five-class classification. In generation settings, several models frequently produce strongly validating or escalatory responses in emotionally charged situations. Our findings highlight substantial variation across model families and conversational behaviors, underscoring the importance of culturally grounded multilingual benchmarks for evaluating socially aligned conversational AI systems.
Kazi Noshin, Sajib Acharjee Dip, Ranat Das Prangon +4
University of Illinois Urbana-Champaign, USA · Virginia Tech, USA · Bangladesh University of Engineering and Technology, Bangladesh +2