Docs | Src |   A-  |  A+   | -/-

Metadata
sourcehttps://sites.google.com/view/llmwritingdistortion/home
created2026-05-06
byopenai:gpt-5.4

LLM이 우리의 문어를 어떻게 왜곡하는가

요약(Executive Summary)

LLM은 전 세계적으로 10억 명이 넘는 사람이 사용하며, 가장 흔한 활용 사례는 글쓰기를 돕는 일이다. LLM은 효율을 크게 높여 줄 수 있다. 그러나 실제로 우리가 원하는 글을 써 주고 있는가?

많은 사용자가 LLM 문체의 느낌(feel)을 알아차린다. 하지만 LLM이 글의 의미를 얼마나 크게 왜곡하는지는 잘 모른다. 우리는 이를 세 가지 데이터셋에서 확인했다. 사람 대상 사용자 연구, 사람이 쓴 논증 에세이 데이터셋, 그리고 최고 수준의 머신러닝 학회 리뷰 데이터다.

주요 발견(Main Findings)

왜 이것이 중요한가?

LLM이 사회 전반에 통합되면서, 이런 미묘한 의미 변화는 정치, 문화, 과학, 심지어 친구와 가족과 소통하는 방식까지 근본적으로 바꿀 수 있다. 우리의 연구는 논증적 글쓰기에 초점을 맞췄지만, 이런 발견은 다른 많은 형태의 글쓰기와 커뮤니케이션에도 일반화될 가능성이 있다.

LLM이 사람이 쓴 글을 수정할 때는, 사람이 같은 에세이를 고쳤을 때와는 매우 다른 방식으로 크고 획일화된 변화를 유도한다.
이 그림은 반사실적 분석(counterfactual analysis)을 보여 준다. LLM이 텍스트를 수정하는 방식과 사람이 수정하는 방식을 비교한 것이다. 왼쪽 위의 회색 그림은 사람이 전문가 피드백을 받았을 때 초고 에세이를 어떻게 수정하는지를 보여 준다. 초고는 연한 회색 점으로, 수정 후 2차 초안은 짙은 회색 점으로 표시했다. 이는 MiniLM-L6 의미 임베딩 공간(semantic embedding space)을 PCA로 투영해 시각화한 것이다. 나머지 패널은 원래 사람이 쓴 에세이에 전문가 피드백과 여러 프롬프트를 주었을 때 LLM이 어떻게 수정하는지를 보여 준다. LLM에 최소한만 수정하라고 지시했을 때조차 모든 에세이에 큰 변화가 생긴다. 그리고 그 변화는 사람이 쓰는 방식에서 벗어나 일정한 방향으로 움직인다.

위 그림은 ArgRewrite-v2 데이터셋의 에세이에서 LLM을 이용해 글을 쓸 때 결론이 어떻게 달라지고 인간의 목소리가 어떻게 사라지는지 직관적으로 보여 주는 예다.

아래 결과에서는 이를 더 폭넓게 설명한다.

방법론 및 데이터셋(Methodology & Datasets)

우리는 세 가지 데이터셋에서 LLM이 우리의 문어에 담긴 의미를 어떻게 왜곡하는지 살펴본다.

사람 대상 사용자 연구(Human User Study): 사람이 글을 쓸 때 LLM을 어떻게 사용하는지 이해하기 위해 사용자 연구를 수행했다. 55명은 LLM을 사용할 수 있었고, 45명은 LLM에 접근할 수 없었다. 많은 참여자가 세션 동안 LLM 사용을 자제했기 때문에, 우리는 이 선택을 기준으로 결과를 나눠 보았다. 즉, LLM을 쓰지 않았거나 정보 탐색 용도로만 제한적으로 쓴 참여자는 LLM 영향 그룹(LLM-Influenced)으로, 광범위하게 사용한 참여자는 LLM 그룹(LLM)으로 분류했다. 이 구분은 분석과 평가에 앞서 대화 기록, 최종 에세이, 자기보고식 사용 점수를 바탕으로 사전에 정했다.

ArgRewrite-v2: 2021년에 수집된 사람이 쓴 에세이 86편을 사용했다. 이는 LLM이 널리 보급되기 전의 데이터다. 우리는 세 개의 상용 LLM(gpt-5-mini, gemini-2.5-flash, claude-haiku)에 다섯 가지 수정 유형에 따라 에세이를 고치도록 프롬프트를 주었다. 수정 유형은 일반 수정, 최소 수정, 문법 수정, 완성, 확장이다. 그리고 LLM이 생성한 초안을 사람이 직접 수정한 버전과 비교했다. 비교 차원은 의미, 어휘 사용, 품사 분포, 감정 톤, 문체 특징이다.

ICLR 2026 리뷰 분석(ICLR 2026 Review Analysis): ICLR 2026의 동료평가 리뷰 1만 8천 건을 분석했다. 그중 하나는 전적으로 사람이 썼고 다른 하나는 전적으로 LLM이 생성한 리뷰가 붙은 논문을 골랐다. 각 리뷰에서 언급된 강점과 약점을 식별하기 위해 심사자 역할의 LLM(LLM-as-a-Judge) 분류기를 사용했고, 사람과 LLM이 부여한 점수를 비교했다.

LLM을 많이 사용하는 사람일수록 자기 에세이가 자신의 목소리를 반영하지 않는다고 보고한다.

여기에는 선호의 역설이 있다. 사용자는 결과에 만족한다고 답하면서도, 창의성과 자기 목소리가 크게 줄었다고 함께 보고한다.

인간 피드백 강화학습(RLHF)은 선호를 최적화한다. 하지만 그것만으로는 창의성과 의미를 유지하기에 충분하지 않다.

LLM은 에세이를 공통된 의미 방향으로 이동시키면서 글을 왜곡한다.

LLM은 문어의 결론을 바꾼다.

LLM 사용자는 “돈이 행복으로 이어지는가?”라는 질문에 대해 훨씬 더 중립적인 에세이를 썼고, 분명한 입장 표명을 피하는 경향을 보였다.

이는 논증의 입장이 근본적으로 바뀐다는 뜻이다.

LLM은 사람보다 훨씬 큰 어휘 변화를 만든다.

LLM의 수정은 사람이 수정했을 때보다 에세이에서 사용되는 단어를 훨씬 더 크게 바꾼다.

각 필자가 지닌 고유한 어휘 지문(lexical fingerprint)은 LLM이 선호하는 어휘로 덮어씌워진다.

LLM은 문법을 체계적으로 재구성해 더 비개인적이고 형식적인 문체로 이끈다.
LLM은 더 형식적인 글쓰기 스타일을 취한다. 명사와 형용사의 사용은 늘리고 대명사의 사용은 줄인다. 이는 1인칭과 경험 기반 논증이 사라지고, 비인칭적 언어로 이동하고 있음을 뜻한다.

글쓰기에 LLM을 사용할수록 감정적 언어가 늘어난다.

LLM이 수정한 글과 사람이 수정한 글을 비교하면, 부정적 감정과 긍정적 감정 모두에서 감정적 언어가 크게 증가한다.

놀랍게도 이는 최소한만 수정하라고 지시하고 전문가 피드백까지 준 경우에도 나타난다.

글쓰기에 LLM을 사용할수록 분석적이고 논리적이며 통계적인 언어가 늘어난다.

LLM은 과학 제도에 영향을 미치는 의사결정도 왜곡한다.
과학적 리뷰 과정에 LLM이 투입되면, LLM은 사람보다 10% 더 높은 점수를 부여한다. 사람은 명확성을 강점으로 언급할 가능성이 32% 더 높고, 명확성을 약점으로 언급할 가능성은 58% 더 높으며, 연구의 관련성을 언급할 가능성도 32% 더 높다. 반면 LLM은 재현 가능성(reproducibility)을 언급할 가능성이 136% 더 높고, 확장성(scalability)을 강점과 약점 양쪽 모두에서 언급할 가능성도 84% 더 높다.

사람 리뷰와 LLM 리뷰 사이의 평가 기준 차이는 어떤 과학적 연구가 타당하고 장려될 만한지에 대한 판단에 영향을 미칠 수 있다.

결론(Conclusions)

이 결과는 AI가 우리의 문어를, 더 나아가 우리의 문화 제도까지 미묘하게 왜곡하고 있음을 보여 주는 우려스러운 그림을 제시한다.

@misc{abdulhai2026llmdistort,
title= Hw LLMs Distort Our Written Language},
author={Abdulhai, Marwa and White,
Isadora and Wan, Yanming and Qureshi,
Ibrahim and Leibo, Joel Z. and Kleiman-Weiner, Max
and Jaques, Natasha},
year={2026}}