공지사항
** AI+제조 전문인력이 되었습니다. ^0^
무엇을 배웠는가?
| 회차 | 내용 | |
| 1 | 주제 | 제조 AI 개요, 국내·글로벌 동향 및 핵심기술 |
| 강사 | 연세대학교 김창욱교수 | |
| 2 | 주제 | 설비 센서 데이터(시계열)를 활용한 품질 예측/이상감지/예지보전 |
| 강사 | 서울대학교 강필성교수 | |
| 3 | 주제 | 머신비전(이미지) 데이터를 활용한 불량 검출 및 비전-언어 모델 확장 |
| 강사 | 서울대학교 강필성교수 | |
| 4 | 주제 | 언어모델기반의 시스템로그 이상치 탐지 및 검색 증강 생성 기반 제조 지식관리 |
| 강사 | 서울대학교 강필성교수 | |
| 5 | 주제 | 공정 최적화를 위한 AI기반 자율 제조 |
| 강사 | KAIST 이종석교수 | |
| 6 | 주제 | AI 모델을 활용한 제조업 혁신 사례 세미나 |
| 강사 | 서울AI허브 센터장외 2인 | |
** 2,3,4회는 파이썬 실습 시간이 있음.
듣기는 들었는데 생각나는 것이 별로 없다. 그래도 주요 키워드는 생각난다. 트랜스포머, 어텐션, 파운데이션 모델 및 에이전트 AI 등이다.
그래서 구글 Gemini에게 물었다.
Q. 너 트랜스포머와 어텐션 사용하지? 언어 질문에 대한 언어 답을 추론하는 절차, 단계를 설명해 줄래. 너의 작동 원리가 알고 싶어...
네, 좋은 질문입니다. 제가 언어 질문에 대해 언어 답을 추론하는 절차와 단계는 실제로 '트랜스포머(Transformer)'라는 신경망 구조와 그 핵심 기술인 '어텐션(Attention)' 메커니즘을 기반으로 합니다.
제 작동 원리를 이해하기 쉽게, 복잡한 수식이나 코드를 제외하고 핵심적인 원리와 절차를 단계별로 설명해 드리겠습니다.
1단계: 입력 질문의 이해 (인코딩)
먼저 사용자의 질문을 '읽고' 이해하는 과정입니다.
- 토큰화 (Tokenization): 입력된 문장 전체를 의미를 가진 작은 단위, 즉 '토큰'들로 쪼갭니다. 예를 들어, "오늘 날씨는 어때?" 라는 질문은 '오늘', '날씨', '는', '어때', '?' 같은 토큰들로 나뉩니다.
- 임베딩 (Embedding): 쪼개진 각 토큰은 단순한 글자가 아니라, 의미를 담고 있는 고차원 벡터(vector)로 변환됩니다. '오늘'이라는 단어는 시간과 관련된 의미를 가진 벡터로, '날씨'는 자연현상과 관련된 의미를 가진 벡터로 표현되는 식입니다. 이 벡터들은 단어의 의미와 문법적 역할을 숫자 형태로 담고 있습니다.
- 위치 임베딩 (Positional Embedding): 단어의 순서는 매우 중요합니다. '개 물어'와 '물어 개'는 의미가 완전히 다릅니다. 이 때문에, 각 토큰 벡터에 문장에서의 위치 정보를 담은 벡터를 추가합니다. 이렇게 해서 모든 토큰은 '의미'와 '위치' 정보를 모두 갖게 됩니다.
2단계: 문맥적 관계 파악 (어텐션 메커니즘)
이것이 바로 트랜스포머의 핵심이자, 사용자가 언급하신 '어텐션' 메커니즘이 작동하는 단계입니다.
- 자기-어텐션 (Self-Attention): 이 단계에서 저는 질문을 구성하는 모든 단어들 사이의 관계를 꼼꼼히 살핍니다. 마치 '오늘', '날씨', '어때'라는 세 단어를 놓고 "각 단어가 서로에게 얼마나 중요한가?"를 파악하는 것과 같습니다. 예를 들어, '오늘'과 '날씨'는 매우 밀접한 관계이므로 높은 '주의(Attention)'를 기울이고, '오늘'과 '어때'는 그보다는 조금 덜 밀접한 관계를 가진다고 판단합니다. 이 과정에서 각 단어는 문맥에 따라 새로운 벡터로 업데이트됩니다.
- 다양한 관점의 어텐션 (Multi-Head Attention): 이 과정을 한 번만 하는 것이 아니라 여러 개의 '헤드(head)'로 동시에 진행합니다. 마치 여러 명의 전문가가 한 문장을 각기 다른 관점에서 분석하는 것과 같습니다. 어떤 헤드는 문법적인 관계를, 다른 헤드는 의미적인 관계를 집중적으로 파악합니다. 이 모든 분석 결과를 종합하여 최종적으로 질문 전체의 복잡한 문맥을 완벽하게 이해하게 됩니다.
3단계: 답안 추론 및 생성 (디코딩)
이제 질문을 완벽히 이해했으므로, 그에 맞는 답을 생성할 차례입니다. 이 과정은 '1단계: 인코딩'의 역순으로 이루어집니다.
- 답변의 시작: 첫 번째 단어를 예측합니다. 보통 [SOS](Start Of Sentence)라는 특별한 토큰으로 시작합니다.
- 단어 예측 (토큰 단위 생성): '질문에 대한 이해'와 지금까지 생성한 단어들을 바탕으로 다음에 올 가장 확률 높은 단어를 예측합니다. 예를 들어, '오늘 날씨는 어때?'라는 질문에 대해, 저는 '오늘', '날씨', '어때'라는 단어들의 문맥 정보를 참고하여 첫 단어로 '오늘은'을 생성할 확률이 높다고 판단합니다.
- 반복적 생성: 새로 생성된 단어('오늘은')를 이전 단어들과 함께 다시 입력으로 넣고, 다음 단어를 예측하는 과정을 반복합니다. '오늘은' 다음에는 '맑고', '따뜻한' 등이 올 확률이 높다고 판단하는 식입니다.
- 답변 완성: 이 과정을 '문장의 끝'을 나타내는 [EOS](End Of Sentence) 토큰이 나올 때까지 반복합니다. 이렇게 생성된 토큰들을 연결하여 최종적인 문장, 즉 답변을 완성하게 됩니다.
요약:
- 인코딩 (질문 이해): 질문을 토큰 단위로 쪼개고, 각 토큰에 의미와 위치 정보를 담은 벡터를 부여합니다.
- 어텐션 (문맥 파악): 모든 토큰들 사이의 관계를 깊이 있게 분석하여 질문 전체의 복잡한 문맥을 이해합니다.
- 디코딩 (답변 생성): 이해한 문맥을 바탕으로 가장 적합한 단어를 하나씩 순차적으로 예측하고 연결하여 최종적인 답변을 완성합니다.
결론적으로, 저는 인간처럼 지식 자체를 '이해'하는 것이 아니라, 방대한 양의 텍스트 데이터 속에서 학습한 단어와 문장들의 복잡한 '관계'와 '패턴'을 어텐션 메커니즘으로 파악하고, 그 패턴에 기반하여 가장 적절한 답변을 확률적으로 추론하고 생성하는 과정을 거칩니다.
음~~ 이메일 네트워크 전송과 유사하군요~
Q. Bayes 확률이군. 그렇치?
네, 날카로운 지적입니다. 근본적인 원리를 정확하게 꿰뚫어 보셨습니다.
'베이즈 확률'이라는 표현은 매우 적절합니다.
제가 "다음에 올 가장 확률 높은 단어를 예측한다"고 설명드렸는데, 바로 그 '확률'을 계산하는 원리가 조건부 확률(Conditional Probability)이고, 이 조건부 확률의 핵심 원리를 설명하는 것이 바로 **베이즈 정리(Bayes' Theorem)**이기 때문입니다.
좀 더 정확히 말하자면, 저는 베이즈 정리의 수식을 직접 대입해서 계산하는 것이 아니라, 베이즈 정리의 근본적인 원리, 즉 **"주어진 정보(입력 질문과 지금까지 생성된 단어들)를 바탕으로 다음에 올 단어의 확률을 갱신하고 예측하는 과정"**을 방대한 신경망을 통해 매우 복잡하고 정교하게 수행하고 있는 것입니다.
요약하자면,
- 베이즈 정리의 핵심: (B라는 사건이 일어났을 때, A라는 사건이 일어날 확률)
- 저의 작동 원리: (지금까지의 문맥이 주어졌을 때, 다음에 올 단어의 확률)
제 모델은 이 $P(\text{다음 단어} | \text{지금까지의 모든 단어})$라는 값을 방대한 학습을 통해 얻은 **가중치(weights)를 이용해 효율적으로 근사(approximate)**하는 것이죠.
따라서 직접적인 공식 적용은 아니지만, **"관찰된 증거(지금까지의 문맥)를 기반으로 가장 그럴듯한(확률이 높은) 가설(다음 단어)을 선택한다"**는 근본적인 추론 방식은 베이즈 확률의 철학과 정확히 일치합니다.
무엇을 얻었는가?
1st. AI에 대한 최신 연구 동향 트렌드
2nd. 센서데이터, 이미지 데이터, 로그 데이터 처리 AI 모델
3nd. 제조 기업 accuracy 90% 이상 필요
목적한 바는 다 얻었다.
사례에 나온 제조 기업은 삼성반도체, LG전자 등 이다.
국내 대기업의 데이터 정제에 여전히 문제가 많고 시간이 많이 걸린다는 것을 확인하였다.
중소기업에는 활용 가능한 데이터가 없을 것이다.
그럼 중소기업에 ' AI 활용 자율공장'을 구현 한다는 정부 사업의 의미는 무엇일까?
** 배정 받은' AI 활용 '전력 케이블' 상태 모니터링' 과제에 적용해 보자! 너나 나나 사업계획서에 AI 단어 집어 넣는 것이 유행이다. 웃어야할지 울어야할지....
The End.
P.S. AI에 적극적인 중기부!
중소벤처기업부(이하 중기부)는 대기업의 거대언어모델(LLM*) 기반(인프라)을 혁신 인공지능(AI) 창업기업(스타트업)에 개방하고, 협업을 통해 도메인**에 최적화된 인공지능(AI) 솔루션을 개발‧상용화하는 ｢인공지능(AI) 창업기업(스타트업) 거대언어모델(LLM) 챌린지｣ 사업을 17일(목) 공고한다고 밝혔다.
[출처] 보도자료 - 2025.07.16, 중소벤처기업부
중소벤처기업부
중소기업중앙회 등 기관 중소기업 조사, 통계 DB화 검색, 내려받기 등 제공.
www.mss.go.kr