[AI 리포터] 'LayerNorm scale·bias 유사성' 논란 - 사이오닉AI사 대표 완패!

[출처] LayerNorm 블록에서 scale(γ)와 bias(β) 파라미터, MS Copilot AI 작성 ⓒ SOS Data Lab.

 

(주) LayerNorm은 데이터를 평균 0, 분산 1로 맞추는 정규화 층 즉,  표준정규분포화하는 Layer를 의미한다. 

 

 

 

문제 제기와 반박

 

• 한국 정부는 ‘소버린 AI (독자 AI 파운데이션 모델)’ 프로젝트를 추진하며 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원 등 5개 정예팀을 선정
• 약 2,400억 원 규모(데이터 628억, GPU 1,576억, 인재 250억)의 자금과 인프라를 지원
• 최종적으로 2팀만 국가대표 AI로 선정.
• 세계 최고 수준 모델 대비 95% 성능 달성
• 업스테이지(Upstage)는 2020년 네이버 출신 AI 전문가들이 설립한 한국의 인공지능 스타트업
• 2026년 상반기까지 글로벌 수준의 독자 모델을 완성하는 것이 목표이고 오픈소스로 공개

 

고석현 사이오닉 AI 대표 문제 제기

 

"업스테이지의 AI 모델 ‘솔라 오픈’이 중국 지푸AI의 ‘GLM-4.5-Air’를 기초 모델로 사용했을 가능성이 있다고 주장했다. 국민 세금이 투입된 프로젝트에서 중국 모델을 복사해 미세 조정한 결과물로 추정되는 모델이 제출된 것은 상당히 큰 유감”이다. 두가지 근거로 "계산 안정화 장치인 ‘레이어놈(LayerNorm)’의 구성(파라미터·매개변수)이 유사하다는 점과, AI가 학습하는 단어를 숫자로 변환한 값의 분포인  '토큰 임베딩 분포’가 비슷하다는 점이다. " - [출처] 첨부 경향신문, 송윤경 기자2026. 1. 2

 

업스테이지 김성훈 대표 반박

 

 “레이어놈은 모델 전체 파라미터(매개변수)의 약 0.0004%에 불과한 극히 일부이고 유사성 판단에 활용한 ‘코사인 유사도’ 대신 ‘피어슨 상관계수’로 재분석하면 레이어놈 매개변수 패턴은 전혀 일치하지 않는다” 그리고  “GLM 계열 모델의 어휘 수는 약 15만 개인 반면, 솔라 오픈은 약 19만6천 개이며 공통 어휘는 약 8만 개로 41% 수준에 그치는데, 동일 계열 토크나이저라면 70% 이상 어휘가 중복돼야 한다”  - [출처] 첨부 경향신문, 송윤경 기자2026. 1. 2

---

AI에 질의

 

공통적인 내용과 의견을 살펴보기위해 MS Copilot 과 Google Gemini 에 동시에 같은 질문을 하였습니다.

 

Prompt :  1)    'LayerNorm scale·bias' 와 '토큰 임베딩 분포'가 동시에 유사하게 나온 것이 중국산 모델에 대한 복제라는 주장에 대해 Copilot 입장에서 객관적 의견과 근거는 무엇인지 설명해주세요.  

                 2)   'LayerNorm scale·bias' 와 '토큰 임베딩 분포'가 동시에 유사하게 나온 것이 중국산 모델에 대한 복제라는 주장에 대해 Gemini 입장에서 객관적 의견과 근거는 무엇인지 설명해주세요.  

 

• 두가지 AI가 모두 LayerNorm scale·bias 만으로는 유사한 증거가 될수 없다라고 판단하였습니다.
• 두가지 AI가 추가적인 검증 방안으로 어텐션 가중치, FFN 파라미터, Loss curve를 공통으로 제안하였습니다.

 

항목	MS Copilot	Google Gemini
결론	- 두 지표만으로 중국산 모델 복제를 주장하는 것은 객관적 근거가 부족하다.	- 'LayerNorm의 유사도'와 '임베딩 분포의 유사성'은 모델 복제의 확정적 증거로 보기 어렵다.
근거	- LayerNorm의 γ(scale), β(bias)는 저정보 텐서 특성임  -  모델이 언어를 해석하는 방식이 닮았다는 신호일 뿐임	- 코사인 유사도 지표의 '착시 현상'임 - 구조적·통계적 수렴 (Architectural Convergence)임
유사도 증빙 방안	- 고정보 텐서(어텐션 가중치, FFN 파라미터) 비교 - 학습 로그, 아키텍처 대응 비교	- Attention (Q, K, V) 비교 - FFN (Feed-Forward) - Loss Curve (학습 곡선) 비교

 

 

해석

 

결론적으로 두가지 지표만이 아닌 다양한 지표를 종합적으로 보고 판단해야한다는 의미로 볼 수 있습니다.

 

유사 예로 정부 사업 평가위원회에 참여하면 평가위원들의 직업 전문성이 경영지도사, 변호사, 변리사, 회계사 등 다양합니다.  이유는 사업계획서에 포함된 내용을 각기 다른 전문가 입장에서 평가하여 평균을 내기위해서 입니다. 이는 '델파이 기법'과도 유사합니다. 

 

경영지도사는 개발 효율성, 시장성과 성장성등을 봅니다.

변호사는 개인정보 등 각종 법률적 충족 및 위배 사항등을 봅니다.

변리사는 기술적 수준과 특허 여부등을 봅니다.

회계사는 자금조달, 비용 및 원가 등을 살펴봅니다.

 

이러하듯이 한국형 독자 AI 기본 모델의 평가 기준도 다양한 관점으로 살펴봐야하지 않을까요?

 

 이렇게 현실 세계의 두 AI를 활용하여 AI 모델 평가 지표는 다양하다는 것을 금방 이해할 수있습니다.  정부의 빅 프로젝트에 대한 공개적인 토론관점에서는 매우 바람직한 일인 것 같습니다.

 

 

의문점

 

고유 모델 진짜 판단 기준이 무엇인가요?

정부는 판단 기준이 있는가요?

누가 판단하나요?

이 모델을 사용할 수요가 존재하나요?

제2의 아래아 한글이 되지는 않을까요?  

 

 

[문제 출처] 

 

“중국산 AI 가져다 썼다고?”···‘국대AI’ 업스테이지, 즉각 공개 설명회 열고 ‘반박’

“중국산 AI 가져다 썼다고?”···‘국대AI’ 업스테이지, 즉각 공개 설명회 열고 ‘반박’

 

 

성낙호 “中모델 베끼기 논쟁, 한국 AI에 남긴 건 ‘독자성 기준’ 점검”

성낙호 “中모델 베끼기 논쟁, 한국 AI에 남긴 건 ‘독자성 기준’ 점검”

 

 

과기정통부 "업스테이지, 中 AI 도용 논란…1차 평가서 검증"

과기정통부 "업스테이지, 中 AI 도용 논란…1차 평가서 검증"

 

 

기사중 'from scratch'란?

 

 '식빵사다가 잼 바르지 말고, 밀가루 반죽부터 시작하여 빵만들고 쨈만들어 바르라는 의미입니다.'

 

 

The End. 

 

 

P.S. 쓰다보니 내가 왜 쓸데없이 이 글을 작성할까? 라는 의문이~~ ㅎㅎ  아...머리아퍼~~