왜 LLM은 일본 문화에 집착할까? LLM에 숨어 있는 문화적·지역적 편향

이 논문은 제목부터가 좀 놀랍다. "왜 모든 LLM은 일본 문화에 집착하는가"라는 물음은 이 논문이 실제로 발견한 현상을 그대로 옮긴 것이다. 지금까지 언어모델의 문화 편향을 다룬 연구들은 대체로 "LLM은 서구, 특히 미국과 유럽 쪽으로 기운다"는 결론을 반복해 왔다. 그런데 이 논문은 지역 정보를 일부러 지운 상태에서 모델에게 문화 질문을 던지고 스스로 장소를 고르게 했더니, 여덟 개의 최신 모델 대부분이 미국보다 오히려 일본을 가장 자주 떠올린다는 사실을 확인했다. 기존 통념을 정면으로 뒤집는 결과다.

저자들은 여기서 멈추지 않고 두 가지를 더 파고든다. 하나는 입력 언어가 이 편향을 어떻게 바꾸는지, 다른 하나는 이 편향이 모델 학습의 어느 단계에서 생겨나는지다. 결론부터 말하면, 편향은 사전학습(pretraining)이 아니라 사후학습, 특히 지도학습 기반 미세조정(SFT) 단계에서 자리를 잡는다. 다양성과 균형을 늘려줄 것이라 기대되던 정렬 과정이, 알고 보니 특정 소수 국가로 시야를 좁히는 방향으로 작동하고 있었다는 것이다.

---

기존 연구의 사각지대

사람이라면 지역과 나라에 따라 같은 문화 질문에도 서로 다른 답을 내놓는 것이 자연스럽다. 특정한 지식, 가치관, 행동 양식은 각 지역에 뿌리를 두고 있기 때문이다. 그렇다면 언어모델은 이런 문화적 입력에 어떻게 반응할까. 저자들은 이 질문이 여전히 충분히 규명되지 않은 열린 문제라고 본다.

그동안의 연구가 없었던 것은 아니다. 오히려 문화 편향을 다룬 작업은 빠르게 늘고 있다. 다만 그 방식에 공통된 한계가 있었다. 대부분이 정답이 정해진 폐쇄형 질문을 사용했다는 점이다. 논문은 관련 연구를 크게 세 갈래로 정리한다.

 

첫째는 질의응답(QA) 형태의 벤치마크다. CulturalBench는 45개 지역과 17개 주제를 사람이 직접 만든 객관식으로 다루면서, LLM이 특히 저평가된 지역에서 사람보다 한참 못 미친다는 점을 드러냈다. Include는 44개 언어로 약 20만 개의 시험형 문항을 모았고, BLEnD는 음식·가족·여가 같은 일상 지식을 16개 국가와 13개 언어로 다루며 고자원 언어와 저자원 언어 사이의 뚜렷한 격차를 보였다. NativQA와 CaLMQA는 원어민 기반·문화 특화 질문을 폭넓은 주제로 던졌고, Global MMLU는 기존 MMLU에 문화 민감성 주석을 붙여 42개 언어로 확장했다. 이들은 문화적 사실 지식의 약점을 잘 짚어내지만, 답이 닫혀 있다는 구조 자체가 자유로운 생성에서 드러나는 성향까지 포착하지는 못한다.

 

둘째는 문화 상식을 지식베이스로 구축한 작업이다. CANDLE은 386개 문화 집단에 걸쳐 음식·의례·행동에 관한 100만 개 이상의 진술을 자동으로 추출했고, CultureBank은 틱톡과 레딧에서 공동체가 직접 남긴 서술을 모았다. 다만 이들은 사실 회상(recall)에 초점을 두어, 여러 관점이 동시에 타당할 수 있는 상황에서 모델의 경향을 평가하는 데는 잘 맞지 않는다.

 

셋째는 문화적 적응력과 정렬을 평가하는 흐름이다. NormAd는 75개국의 규범 적응 능력을 상황 소품문(vignette)으로 측정했고, CulFiT는 다국어 비평 데이터로 문화 정렬을 강화하는 학습 방식을 제안했으며, Makieval은 모델 출력의 문화 개체를 위키데이터에 연결해 문화 인식을 평가했다. 그러나 이들은 결과를 "수용 가능/불가능", "정렬됨/어긋남" 같은 범주 라벨로 환원하거나, 미리 정해둔 목표 규범 쪽으로 모델을 최적화하는 경향이 있다. 그 결과 모델이 표현할 수 있는 다양한 문화적 입장의 전체 스펙트럼을 그려내지는 못한다.

 

논문의 저자들은 정답이 하나로 정해지지 않는 열린 문화 질문을 던져, 모델이 세계의 모든 지역 가운데 스스로 하나를 고르게 만든다. 그리고 정확도(accuracy)가 아니라 분포(distribution)를 본다. 어느 나라를 얼마나 자주, 얼마나 고르게 언급하는가를 통계적으로 분석해 편향의 지형을 그리는 것이다.

이런 문제의식 아래 논문은 세 가지 연구 질문을 세운다. LLM은 어떤 지역 편향을 갖는가(RQ1), 언어는 그 편향에 어떤 영향을 미치는가(RQ2), 편향은 학습의 어느 단계에서 생겨나는가(RQ3).

---

"장소를 지운 질문"과 CROQ 데이터셋

이 연구의 독창성은 방법에 있다. 핵심 아이디어는 질문에서 지리 정보를 지워버리는 것이다. Figure 1이 이 틀 전체를 요약한다. (1) 위치가 비어 있는 문화 질문을 모델에 던지고, (2) 모델의 자유로운 답변을 수집한 뒤, (3) 그 답변을 판독해 어느 지역을 가리키는지 식별하는 3단계 구조다. 예를 들어 "가족생활을 좌우하는 가치는 무엇인가"라는 질문을 그대로 두면, 모델은 답을 하면서 동시에 그 답을 어느 지역에 걸어둘지 스스로 선택할 수밖에 없다. 이렇게 하면 프롬프트가 지역을 암시하지 않으므로, 답에 드러나는 지역은 오롯이 모델 내부의 문화적 우선순위에서 나온다.

이를 위해 저자들은 CROQ(Culture-Related Open Questions)라는 새 데이터셋을 만들었다. 11개 대주제와 66개 세부주제로 이루어진 문화 분류 체계 위에서, 세부주제마다 20개씩 총 1,320개의 열린 질문을 만들고, 이를 24개 언어로 번역해 최종적으로 31,680개 질문을 구성했다.

11개 대주제는 신념·가치·정체성, 사회 구조와 일상, 지식·소통·교육, 문화적 표현과 예술, 음식·음료·여가, 지리적 측면, 정치적 측면, 건강과 웰빙, 미디어와 엔터테인먼트, 역사, 경제와 산업이다. Table 5는 이 66개 세부주제를 정의와 함께 상세히 펼쳐 놓는데, 예를 들어 신념 영역에는 종교와 영성, 가치와 윤리, 상징, 신화와 민담, 젠더 역할이 들어가고, 예술 영역에는 음악·무용·미술·문학·연극·영화·공예·장신구·건축이 세분되어 있다.

 

 

 

질문 문장 자체는 특정 나라나 문화를 직접 가리키지 않으면서도 문화적으로 의미가 통하도록 설계됐다. 신념은 "어떤 전설이 이 땅을 설명하는가", 음식은 "일상 식사로 어떤 음식을 먹는가", 정치는 "흔한 정치적 시위는 무엇인가" 같은 식이다. 질문은 GPT-5.1로 반자동 생성한 뒤, 반복되는 문항이나 우연히 지역을 암시하는 표현을 없애기 위해 사람이 직접 검수했다.

다국어 구성도 의도적이다. 먼저 BLEND 데이터셋에서 13개 언어를 가져왔다. 여기에는 저자원 언어인 암하라어·아삼어·아제르바이잔어·하우사어·순다어부터, 중·고자원 언어인 그리스어·인도네시아어·한국어·페르시아어·아랍어·중국어·스페인어·영어까지 포함된다. 다양성을 더 넓히기 위해 세계적으로 널리 쓰이는 힌디어·프랑스어·벵골어·포르투갈어·러시아어·독일어·일본어·스와힐리어를 추가했고, 마지막으로 스페인의 공용어이면서도 화자 수가 적은 바스크어·갈리시아어·카탈루냐어까지 넣었다.

 

 

Table 6은 이 24개 언어를 어족, 추정 화자 수, 그리고 CommonCrawl 내 데이터 비중과 함께 정리한다. 영어는 15억 명 이상의 화자와 44.8%라는 압도적인 웹 데이터 비중을 갖는 반면, 바스크어는 화자 80만 명에 웹 비중 0.03% 수준에 그친다. Figure 6은 화자 수와 데이터 비중의 관계를 그려, CROQ가 여섯 개 이상의 어족에 걸친 폭넓은 언어 환경을 포괄한다는 점을 시각적으로 보여준다.

---

평가 절차와 방법

평가 절차는 다음과 같이 흘러간다. 먼저 각 질문에는 위치를 나타내는 빈칸이 들어 있고, 모델은 답을 만들면서 이 빈칸을 암묵적으로 채운다. 실제 프롬프트는 "가족생활을 좌우하는 가치는 무엇인가 {지역/장소}? 간략히. 장소는 직접 고르라"와 같은 형태다. 간략히 답하되 반드시 특정 장소를 고르도록 요구함으로써, 모델이 지역이나 문화적 배경을 스스로 선택하게 만든다.

이때 언어별로 프롬프트 문구는 달라지지만, 명시적인 지역 단서는 어디에도 넣지 않는다. 지역적·문화적 가정이 전적으로 모델 내부에서 나오도록 하기 위한 장치다.

모델이 자유롭게 내놓은 답변에서 지역을 뽑아내는 일은 두 번째 모델, 즉 판독 모델(LLM-as-a-judge)이 맡는다. 판독 모델은 각 답변에서 명시되거나 함축된 지역을 최대 다섯 개까지 식별하며, 어떤 지역도 신뢰할 만하게 뽑을 수 없으면 "추론 불가(미응답)"로 표시한다. 여러 프롬프트 전략을 비교한 끝에, 264개 평가 항목에서 98% 정확도를 낸 방식을 채택했다. 판단에 대한 프롬프트는 논문의 부록에 기재되어 있다. 궁금하신 분들은 참고하시길!

 

평가 대상 모델은 폐쇄형과 공개 가중치를 아우르는 여덟 개의 다국어 프론티어 모델이다. gpt-4o-mini, gemini-2.5-flash, claude-3.5-haiku, llama-4-maverick, command-r-08-2024, magistral-small-2506, deepseek-v3.2-exp, qwen3-next-80b-a3b-instruct가 그것이며, 모두 OpenRouter를 통해 제공자 기본 설정으로 24개 언어에서 평가됐다.

분석에는 세 가지 지표를 쓴다. 다양성(Diversity)은 전체 출력에서 언급된 서로 다른 나라·지역의 개수로, 높을수록 지리적 폭이 넓다는 뜻이다. 엔트로피(Entropy)는 언급된 지역 분포에 대한 정규화 엔트로피로, 높을수록 특정 나라에 쏠리지 않고 고르게 퍼져 있음을 뜻한다. 여기에 나라별 언급 빈도를 그대로 보여주는 원시 빈도(Raw counts)를 함께 제시한다. 

---

RQ1: LLM은 어떤 지역 편향을 갖는가 ?

첫 번째로 드러난 사실은 모델이 입력 언어의 나라 쪽으로 크게 쏠린다는 것이다. Table 1을 보면, 모든 모델에서 답변이 압도적으로 '자기 언어의 나라(own countries)', 즉 그 언어를 공용어로 쓰는 나라로 집중된다. 그 비율은 Command-r의 43%에서 GPT의 78%에 이른다. Gemini 64%, Claude 65%, Llama 66%, DeepSeek 69%, Qwen 71%, Magistral 73%로, 대부분의 모델이 답변의 3분의 2 안팎을 자기 언어권 나라에 걸어둔다. 언어 선택 하나만으로도 모델이 채택하는 문화적 전제가 강하게 결정된다는 뜻이다.

그렇다면 자기 언어권을 뺀 나머지, 즉 외부 지역 언급은 어디로 향할까. 여기서 논문의 제목에서 나온 '일본'이 등장한다. Table 1의 집계에 따르면, 자기 언어권을 제외했을 때 평균적으로 가장 자주 등장하는 나라는 일본과 미국이고, 그 뒤를 인도·중국·프랑스가 잇는다. 그 외 나라들의 언급은 눈에 띄게 적다. 특히 일본은 평가된 여덟 모델 중 다섯에서 외부 언급 1위를 차지했다(Gemini는 일본과 미국이 동률이어서, 이를 포함하면 여섯 모델이 일본을 최상위로 둔다고도 볼 수 있다). 미국을 1위로 두는 모델은 GPT와 Command-r 둘뿐이다.

모델 사이의 차이도 흥미롭다. Command-r는 가장 덜 일본에 편향된(대신 가장 미국에 편향된) 모델이면서, 답변을 거부(미응답)하는 경우가 가장 많고 전반적으로 가장 다양하며 엔트로피도 가장 높다. 실제로 Table 1의 다양성 지표에서 Command-r가 120으로 가장 높고, DeepSeek 116, Gemini 113이 그 뒤를 잇는다. 반대로 Qwen(79), GPT(82), Magistral(88)은 다양성이 낮아, 출력에 등장하는 나라가 88개에도 못 미친다. 엔트로피도 비슷한 양상으로, Command-r가 0.59로 가장 균형 잡혀 있고 GPT와 Qwen이 0.40으로 가장 쏠려 있다.

주제별로 보면 어떨까. Table 2는 11개 대주제 각각에서 가장 자주 언급된 나라들을 정리한다. 여기서도 일본과 미국은 모든 범주에 걸쳐 두드러진다. 다만 주제에 따라 미묘한 변화가 나타나는데, 지리와 경제 영역에서는 미국이 일본을 앞질러 1위로 올라서고, 정치와 역사는 일본이 3위와 4위로 밀려난다. 특정 주제에서만 유난히 두각을 나타내는 나라들도 있다. 신념에서는 그리스, 정치에서는 중국, 역사에서는 프랑스가 그렇다. 평소에는 거의 언급되지 않던 한국이 미디어와 엔터테인먼트 영역에서만큼은 세 번째로 많이 언급된 나라로 부상하는 대목도 눈에 띈다(K-Pop의 영향일까?). 다른 나라들의 언급도 주제마다 오르내리지만, 전체 빈도는 여전히 낮은 수준에 머문다.

 

RQ1의 결론을 정리하면, 여덟 모델 모두 자기 언어권 나라 쪽으로 뚜렷하게 기운다. 그 자기 참조를 걷어내고 보면, 남는 것은 일본 또는 미국이며 인도와 중국은 상대적으로 덜 강조되고 나머지 지역은 빈도가 낮다. 즉, 지역 대표성이 심각하게 불균형하며, 극소수 지배적 지역에 강하게 집중되어 있다는 것이다.

---

RQ2: 지역 문화 편향에 언어가 미치는 영향

두 번째 질문은 언어가 지역 문화 편향에 미치는 영향이다. Table 3은 24개 언어별로 자기 언어권 참조 비율, 미응답, 상위 국가 언급, 다양성, 엔트로피를 색으로 강조해 정리한다. 여기서 두 가지 패턴이 나온다.

 

하나는 핵심 지역이 언어를 가리지 않고 대표된다는 점이다. 자기 참조를 제외해도 일본과 미국이 거의 모든 언어에서 가장 자주 언급되는 나라이고, 그 뒤를 인도·중국·프랑스가 잇는다. 놀라운 것은 이런 언급이 해당 나라와 문화적·지리적 연결고리가 거의 없는 언어에서도 나타난다는 사실이다. 이는 외부 국가 언급이 그 언어의 실제 맥락보다는 모델이 내면화한 '문화적 현저성(cultural salience)'의 우선순위에서 나온다는 것을 시사한다.

 

다른 하나는 언어 수준이 자기 참조 성향을 좌우한다는 점이다. 영어·중국어·스페인어·프랑스어·러시아어처럼 고자원 언어일수록 자기 나라 참조 비율이 낮고 출력 다양성이 높다. 반대로 순다어·아삼어·암하라어·하우사어·바스크어처럼 저자원 언어일수록 자기 나라 참조가 크게 늘거나 미응답이 많아지고 다양성이 떨어진다. 개인적으론 굉장히 흥미로운 지점이다.

Table 3의 수치가 이를 뚜렷이 보여준다. 자기 참조 비율이 가장 낮은 언어는 영어(31%)와 러시아어(36%)이고, 가장 높은 언어는 아삼어(83%), 순다어·벵골어(각 79%), 바스크어·스와힐리어(각 78%), 암하라어(77%) 쪽이다. 엔트로피도 아랍어(0.71)와 영어(0.69)가 높은 반면, 하우사어(0.10), 순다어(0.11), 암하라어(0.13), 힌디어(0.14)다. 저자원 언어는 문화적 참조를 폭넓게 펼치기보다 자기 나라 한 곳에 몰아넣는 경향이 강한 것이다.

Figure 2는 각 언어의 CommonCrawl 데이터 비중(사전학습 자원의 대리 지표)과 출력 다양성 사이의 상관을 로그 척도로 그린 그래프인데, 영어·중국어·러시아어·독일어가 오른쪽 위(데이터 많고 다양성 높음)에, 암하라어·아삼어·하우사어·순다어가 왼쪽 아래(데이터 적고 다양성 낮음)에 배치된다. 전체 프론티어 모델을 합쳤을 때 스피어만 상관계수가 0.843에 이르고 통계적으로도 유의하다(p < 0.001). 즉 웹 데이터가 풍부한 언어일수록 더 다양한 문화적 표현이 나오고, 데이터가 빈약한 언어일수록 자기 참조에 갇히거나 제한된 출력을 낸다.

 

RQ2를 정리하자면, 언어모델은 자기 언어를 강하게 의식해 그 나라로 생성하지만, 자기 참조를 걷어내면 언어와 무관하게 늘 똑같은 소수의 나라를 반복해서 불러낸다. 그중에서도 일본이 거의 모든 언어에 걸쳐 두드러지게 자주 언급되는 외부 국가로 떠오른다는 점이 특히 주목할 만하다. 미국이 높은 것은 영어라는 고자원 언어의 지배력과 미국의 세계적 영향력을 생각하면 덜 놀랍지만, 일본의 편재성은 그렇게 쉽게 설명되지 않는다.

---

RQ3: 편향은 학습의 어느 단계에서 생겨나는가

이 편향이 대체 어디서 오는가. 이를 밝히기 위해 저자들은 base 모델과 instruct 모델을 모두 공개한 오픈 가중치 모델로 분석을 확장한다. 학습 이전과 이후를 비교하면, 대규모 사전학습에서 온 편향과 사후학습에서 생기거나 증폭된 편향을 분리해 낼 수 있기 때문이다.

비교 대상은 Llama-3.1(8B, 70B), Qwen2.5(7B, 32B, 72B), Gemma-2(9B, 27B), Mistral-7B다. 여기에 더해 base뿐 아니라 SFT 중간 체크포인트와 최종 정렬 모델까지 공개한 OLMo-2(7B, 32B)와 OLMo-3(7B, 7B-Think)를 포함했다. 이 OLMo 모델들 덕분에, 지도학습 미세조정(SFT)의 효과와 이후 최종 지시 정렬(instruction tuning)의 효과를 따로 떼어볼 수 있다. 다만 모델 가용성 문제로 이 분석은 영어에만 한정했고, base 모델은 다음 토큰을 예측하도록 만들어졌으므로 질문을 '답하는' 문장이 아니라 '이어서 완성하는' 문장으로 바꿔 제시했다.

Figure 3은 Llama·Gemma·Mistral·Qwen 계열의 base 모델과 instruct 모델이 영어 질문에서 12개 나라(일본·미국·인도·중국·프랑스·이탈리아·영국·독일·멕시코·브라질·러시아·이집트)를 언급한 빈도를 히트맵으로 대비한다. 왼쪽 base 모델은 미국이 여전히 두드러지긴 해도 일본·인도·중국·여러 유럽 국가로 언급이 비교적 고르게 퍼져 있다. 반면 오른쪽 instruct 모델은 일본과 미국이라는 좁은 지점으로 눈에 띄게 집중된다. 이 패턴은 아키텍처와 모델 크기를 가리지 않고 나타난다.

Table 4는 이를 다양성·엔트로피 수치로 뒷받침하는데, 지시 조정을 거치면 다양성 점수는 오히려 올라간다. 예컨대 Llama-3.1-8B는 base에서 instruct로 가며 다양성이 109에서 174로 뛴다. 그런데 엔트로피는 거의 모든 모델에서 함께 떨어진다. 같은 Llama-3.1-8B의 엔트로피는 0.78에서 0.66으로 내려간다. 이 어긋남을 어떻게 읽어야 할까. 등장하는 나라의 '가짓수'는 늘었지만, 그 언급이 몇몇 지배적 나라에 훨씬 더 쏠린다는 뜻이다. 폭은 넓어지되 균형은 무너지는 것이다. 다양성만 보고 "정렬이 다양성을 늘렸다"고 결론 내리면 오히려 사태를 거꾸로 읽게 된다는 경고인 셈이다.

 

편향이 정확히 어느 단계에서 급변하는지는 OLMo 모델이 알려준다. Figure 4는 OLMo-3-7B, OLMo-3-7B-Think, OLMo-2-7B, OLMo-2-32B의 base·SFT·instruct 세 단계에서 상위 국가 언급이 어떻게 움직이는지 선 그래프로 보여준다. 가장 두드러지는 변화는 base에서 SFT로 넘어가는 지점에서 일어난다. SFT는 소수의 지배적 지역, 특히 미국과 일본으로 언급을 급격히 몰아넣으면서 엔트로피를 떨어뜨린다. 그리고 이어지는 지시 정렬은 이 쏠림을 아주 조금 완화할 뿐, base 모델의 균형 잡힌 분포를 되돌리지는 못한다. 다시 말해 정렬로 생긴 문화 편향은 사전학습이 아니라 SFT 데이터에서 비롯되며, 이후의 지시 조정은 이 편향을 교정하기보다 대체로 그대로 유지한다.

 

RQ3를 정리하자면, base 모델은 다양성 자체는 제한적일지언정 지역을 더 고르게 분포시키고, instruct 모델은 겉보기 다양성이 더 높으면서도 실제로는 훨씬 더 특정 문화에 집중된다. 즉 이 문화 편향을 만드는 결정적 단계는 사전학습이 아니라 사후학습이다. 흥미롭게도 이런 수렴은 서구권 밖에서 개발된 모델(예: 중국의 Qwen)에서도 똑같이 나타난다. 사후학습이 각 모델의 출신 문화를 반영하기는커녕, 오히려 문화적 관점을 미국·일본 쪽으로 균질화하는 방향으로 작동한다는 것이다.

---

개인적인 생각과 마무리

논문을 보면서 여러 생각이 들었지만, 가장 신기하면서도 안타까웠던 것은 "대부분의 주제에서 거의 언급되지 않는 한국이 미디어와 엔터테인먼트에서는 세 번째로 많이 언급된 나라로 부상한다"였다. 음식, 교육, 가족, 건강, 경제 등에서 나오지 않던 우리나라가 엔터테인먼트에서 나온 것이다. 음식도, 경제도, 교육도 유명한 한국이지만, 적어도 AI 데이터 셋에서는 그러지 않은 것 같다. 어쩌면, 한국을 엔터테인먼트라는 하나의 장르로 해석하는 것 같은 느낌도 든다. 한류는 성공했지만, 그 성공이 아직 다른 영역으로 전이되지 못한 것 같다.

소버린 AI 등으로 한국의 AI 주권을 강화하려고 하는데, 이런 문화적 기본값을 소유하는 것도 같이 고려되어야 하지 않을까 싶다. 그렇기에 고품질 데이터를 문화적으로 엮어 구축하는 편도 고려해야 하지 않을까 싶다. 한국의 교육, 산업, 의료, 도시, 음식, 경제등을 다루는 양질의 데이터가 영어를 포함한 여러 언어의 형태로 크롤링 가능하고, 학습 가능하도록 구성해는 것이 필요할 것 같다는 개인적인 생각이 든다.

 

출처:

- https://arxiv.org/pdf/2604.21751