<think>번역 대상은 웹페이지 본문과 메타데이터가 섞인 형태다. 지침에 따라 첫 줄은 반드시 `# 문서 제목`이어야 하며, YAML title을 사용한다. 광고/부수 요소인 "Page updated / Google Sites / Report abuse"는 제거한다. 마크다운 구조 유지, 이미지 링크 유지. 강조된 용어는 원문 병기하되, 본문에 따옴표로 강조된 "feel" 정도는 `느낌(feel)`처럼 병기 가능. 전체 문체는 설명문이므로 "~한다"체로 일관. 인용/고유명사는 한국 통용 표기 사용. 마지막 BibTeX는 코드블록이 아니므로 텍스트 그대로 유지하되 제목 오타 "Hw"는 원문 보존. </think> # LLM이 우리의 문어를 어떻게 왜곡하는가 요약(Executive Summary) LLM은 전 세계적으로 10억 명이 넘는 사람이 사용하며, 가장 흔한 활용 사례는 글쓰기를 돕는 일이다. LLM은 효율을 크게 높여 줄 수 있다. 그러나 실제로 우리가 원하는 글을 써 주고 있는가? 많은 사용자가 LLM 문체의 `느낌(feel)`을 알아차린다. 하지만 LLM이 글의 의미를 얼마나 크게 왜곡하는지는 잘 모른다. 우리는 이를 세 가지 데이터셋에서 확인했다. 사람 대상 사용자 연구, 사람이 쓴 논증 에세이 데이터셋, 그리고 최고 수준의 머신러닝 학회 리뷰 데이터다. 주요 발견(Main Findings) - LLM은 글의 결론을 바꾸며, 입장뿐 아니라 논증 유형까지 변화시킨다. - 사람 사용자는 선호의 역설을 보고한다. 결과에는 만족하면서도, 자신의 목소리와 창의성이 통계적으로 유의미하게 줄었다고 답한다. - 문법만 고치라고 지시해도 LLM은 사람의 수정보다 더 큰 의미적 이동을 일으킨다. - 이런 변화는 제도에도 나타난다. 최고 AI 학회인 국제학습표현학회(International Conference of Learning Representations, 2026)에서는 LLM이 작성한 리뷰가 채택과 거절의 이유를 유의미하게 다르게 제시했다. AI가 생성한 것으로 판정된 동료평가 21%는 과학적 평가 기준 자체가 뚜렷하게 달랐다. 왜 이것이 중요한가? LLM이 사회 전반에 통합되면서, 이런 미묘한 의미 변화는 정치, 문화, 과학, 심지어 친구와 가족과 소통하는 방식까지 근본적으로 바꿀 수 있다. 우리의 연구는 논증적 글쓰기에 초점을 맞췄지만, 이런 발견은 다른 많은 형태의 글쓰기와 커뮤니케이션에도 일반화될 가능성이 있다.  LLM이 사람이 쓴 글을 수정할 때는, 사람이 같은 에세이를 고쳤을 때와는 매우 다른 방식으로 크고 획일화된 변화를 유도한다. 이 그림은 반사실적 분석(counterfactual analysis)을 보여 준다. LLM이 텍스트를 수정하는 방식과 사람이 수정하는 방식을 비교한 것이다. 왼쪽 위의 회색 그림은 사람이 전문가 피드백을 받았을 때 초고 에세이를 어떻게 수정하는지를 보여 준다. 초고는 연한 회색 점으로, 수정 후 2차 초안은 짙은 회색 점으로 표시했다. 이는 MiniLM-L6 의미 임베딩 공간(semantic embedding space)을 PCA로 투영해 시각화한 것이다. 나머지 패널은 원래 사람이 쓴 에세이에 전문가 피드백과 여러 프롬프트를 주었을 때 LLM이 어떻게 수정하는지를 보여 준다. LLM에 최소한만 수정하라고 지시했을 때조차 모든 에세이에 큰 변화가 생긴다. 그리고 그 변화는 사람이 쓰는 방식에서 벗어나 일정한 방향으로 움직인다.  위 그림은 ArgRewrite-v2 데이터셋의 에세이에서 LLM을 이용해 글을 쓸 때 결론이 어떻게 달라지고 인간의 목소리가 어떻게 사라지는지 직관적으로 보여 주는 예다. 아래 결과에서는 이를 더 폭넓게 설명한다. 방법론 및 데이터셋(Methodology & Datasets) 우리는 세 가지 데이터셋에서 LLM이 우리의 문어에 담긴 의미를 어떻게 왜곡하는지 살펴본다. 사람 대상 사용자 연구(Human User Study): 사람이 글을 쓸 때 LLM을 어떻게 사용하는지 이해하기 위해 사용자 연구를 수행했다. 55명은 LLM을 사용할 수 있었고, 45명은 LLM에 접근할 수 없었다. 많은 참여자가 세션 동안 LLM 사용을 자제했기 때문에, 우리는 이 선택을 기준으로 결과를 나눠 보았다. 즉, LLM을 쓰지 않았거나 정보 탐색 용도로만 제한적으로 쓴 참여자는 `LLM 영향 그룹(LLM-Influenced)`으로, 광범위하게 사용한 참여자는 `LLM 그룹(LLM)`으로 분류했다. 이 구분은 분석과 평가에 앞서 대화 기록, 최종 에세이, 자기보고식 사용 점수를 바탕으로 사전에 정했다. ArgRewrite-v2: 2021년에 수집된 사람이 쓴 에세이 86편을 사용했다. 이는 LLM이 널리 보급되기 전의 데이터다. 우리는 세 개의 상용 LLM(gpt-5-mini, gemini-2.5-flash, claude-haiku)에 다섯 가지 수정 유형에 따라 에세이를 고치도록 프롬프트를 주었다. 수정 유형은 일반 수정, 최소 수정, 문법 수정, 완성, 확장이다. 그리고 LLM이 생성한 초안을 사람이 직접 수정한 버전과 비교했다. 비교 차원은 의미, 어휘 사용, 품사 분포, 감정 톤, 문체 특징이다. ICLR 2026 리뷰 분석(ICLR 2026 Review Analysis): ICLR 2026의 동료평가 리뷰 1만 8천 건을 분석했다. 그중 하나는 전적으로 사람이 썼고 다른 하나는 전적으로 LLM이 생성한 리뷰가 붙은 논문을 골랐다. 각 리뷰에서 언급된 강점과 약점을 식별하기 위해 `심사자 역할의 LLM(LLM-as-a-Judge)` 분류기를 사용했고, 사람과 LLM이 부여한 점수를 비교했다.  LLM을 많이 사용하는 사람일수록 자기 에세이가 자신의 목소리를 반영하지 않는다고 보고한다. 여기에는 선호의 역설이 있다. 사용자는 결과에 만족한다고 답하면서도, 창의성과 자기 목소리가 크게 줄었다고 함께 보고한다. 인간 피드백 강화학습(RLHF)은 선호를 최적화한다. 하지만 그것만으로는 창의성과 의미를 유지하기에 충분하지 않다.  LLM은 에세이를 공통된 의미 방향으로 이동시키면서 글을 왜곡한다. - 대조군의 사람이 쓴 에세이는 임베딩 공간 전반에 넓게 퍼져 있다. 이는 개별 관점, 글쓰기 방식, 논증 방식의 다양성을 반영하는 폭넓은 영역을 차지한다. - LLM이 쓴 에세이는 사람이 쓴 어떤 에세이도 차지하지 않은 영역에 조밀한 군집을 이룬다. LLM 수정은 공통된 방향으로 강하게 정렬된 큰 의미 이동을 만들어 내며, 이전에는 사람이 쓴 어떤 에세이도 없던 공간으로 텍스트를 옮긴다. - 이는 LLM이 사람 편집자와는 다른 방식으로 의미를 이동시키고 있다는 분명한 증거다.  LLM은 문어의 결론을 바꾼다. LLM 사용자는 “돈이 행복으로 이어지는가?”라는 질문에 대해 훨씬 더 중립적인 에세이를 썼고, 분명한 입장 표명을 피하는 경향을 보였다. 이는 논증의 입장이 근본적으로 바뀐다는 뜻이다.  LLM은 사람보다 훨씬 큰 어휘 변화를 만든다. LLM의 수정은 사람이 수정했을 때보다 에세이에서 사용되는 단어를 훨씬 더 크게 바꾼다. 각 필자가 지닌 고유한 어휘 지문(lexical fingerprint)은 LLM이 선호하는 어휘로 덮어씌워진다.  LLM은 문법을 체계적으로 재구성해 더 비개인적이고 형식적인 문체로 이끈다. LLM은 더 형식적인 글쓰기 스타일을 취한다. 명사와 형용사의 사용은 늘리고 대명사의 사용은 줄인다. 이는 1인칭과 경험 기반 논증이 사라지고, 비인칭적 언어로 이동하고 있음을 뜻한다.  글쓰기에 LLM을 사용할수록 감정적 언어가 늘어난다. LLM이 수정한 글과 사람이 수정한 글을 비교하면, 부정적 감정과 긍정적 감정 모두에서 감정적 언어가 크게 증가한다. 놀랍게도 이는 최소한만 수정하라고 지시하고 전문가 피드백까지 준 경우에도 나타난다.  글쓰기에 LLM을 사용할수록 분석적이고 논리적이며 통계적인 언어가 늘어난다. - 왼쪽: ArgRewrite-v2에서 LLM이 수정한 글을 LIWC로 분석한 결과, 형식적이고 논리적이며 위계적인 사고 패턴의 정도가 증가했다. - 오른쪽: 사용자 연구에서는 사람이 쓴 글이 개인적 경험에 관한 논거를 더 자주 사용하는 반면, LLM이 쓴 에세이는 통계와 논리에 기대는 논거를 더 자주 사용했다. LLM의 영향을 받은 에세이는 전문가 의견도 인용하는데, 이는 사람이 쓴 에세이에서는 드문 특징이다.  LLM은 과학 제도에 영향을 미치는 의사결정도 왜곡한다. 과학적 리뷰 과정에 LLM이 투입되면, LLM은 사람보다 10% 더 높은 점수를 부여한다. 사람은 명확성을 강점으로 언급할 가능성이 32% 더 높고, 명확성을 약점으로 언급할 가능성은 58% 더 높으며, 연구의 관련성을 언급할 가능성도 32% 더 높다. 반면 LLM은 재현 가능성(reproducibility)을 언급할 가능성이 136% 더 높고, 확장성(scalability)을 강점과 약점 양쪽 모두에서 언급할 가능성도 84% 더 높다. 사람 리뷰와 LLM 리뷰 사이의 평가 기준 차이는 어떤 과학적 연구가 타당하고 장려될 만한지에 대한 판단에 영향을 미칠 수 있다. 결론(Conclusions) 이 결과는 AI가 우리의 문어를, 더 나아가 우리의 문화 제도까지 미묘하게 왜곡하고 있음을 보여 주는 우려스러운 그림을 제시한다. - AI 생성 콘텐츠는 이미 의회 연설문, 노랫말, 영화 대본, 구어, 심지어 동료와 사랑하는 사람에게 보내는 메시지에까지 스며들었다. 그렇다면 어떤 종류의 콘텐츠가 우선시되고 있는가? - AI에 크게 의존하는 사람들은 그것이 자신의 목소리와 창의성을 약화시킨다는 점을 알고 있으면서도, 결과에는 여전히 똑같이 만족한다. - 사용이 쉽고 개인의 경력을 빠르게 끌어올릴 가능성까지 있기 때문에, 사람들은 앞으로도 AI 생성 텍스트를 계속 생산하려 할 가능성이 크다. ICLR 데이터가 보여 주듯, 직업적 맥락에서는 이를 자기 글인 것처럼 보이게 하려는 시도도 이어질 수 있다. @misc{abdulhai2026llmdistort, title= Hw LLMs Distort Our Written Language}, author={Abdulhai, Marwa and White, Isadora and Wan, Yanming and Qureshi, Ibrahim and Leibo, Joel Z. and Kleiman-Weiner, Max and Jaques, Natasha}, year={2026}}