AI 트렌드 - 2025년 MoE(Mixture of Experts)의 새로운 흐름
날짜
July 23rd, 2025
소요 시간
7분
최신 소식
서론
2025년 현재, AI 모델의 규모와 복잡성이 계속 확대되는 가운데, MoE(Mixture of Experts)는 여전히 혁신의 최전선에 서 있으며 성능 향상과 계산 효율성 최적화를 동시에 이끌고 있습니다. 지난번 MoE에 대한 글을 올린 이후, 환경이 크게 변화했습니다. 새로운 라우팅 메커니즘과 아키텍처 설계가 등장하면서, MoE 모델은 이제 대규모 AI 시스템의 역량을 다시 정의하는 수준에 도달했습니다. 이 글에서는 연구 개념을 넘어 실제 프로덕션 환경에서 가장 앞선 AI 시스템을 뒷받침하는 핵심 아키텍처로 발전한 MoE의 최신 혁신을 살펴봅니다.
Read more: The History of Mixture of Experts
왜 MoE인가요?
MoE 아키텍처는 신경망 스케일링 법칙(Neural Scaling Laws)의 한계를 해결하기 위해 LLM(대규모 언어 모델)에 희소성(sparsity) 을 도입합니다.
Neural Scaling Laws에 따르면, 모델의 성능은 매개변수 수, 연산 자원, 데이터셋 크기가 늘어날수록 향상됩니다. 단순히 파라미터를 늘리는 것이 가장 쉬운 성능 향상 방법이지만, 그만큼 학습과 추론에 필요한 연산량과 비용이 기하급수적으로 커집니다.
MoE는 이를 해결하기 위해 모델을 여러 전문가 모듈(Expert)로 나누고, 입력에 따라 일부 전문가 모듈만 활성화되도록 설계합니다. 이렇게 하면 전체 파라미터 수는 크지만, 실제 계산량은 줄어들어 고성능과 효율성을 동시에 확보할 수 있습니다.
Source: Scaling Laws for Neural Language Models
MoE의 핵심 개념
1. 게이팅 함수(Gating Function)
일반적인 트랜스포머 구조에서는 자기주의(Multi-Head Self-Attention) 와 FFN(Feed-Forward Network)으로 층이 구성됩니다. MoE 아키텍처에서는 FFN 층 대신, 게이팅 레이어(Gating Layer) 와 여러 전문가 레이어(Expert Layers)로 이루어진 MoE 층이 들어갑니다.
입력 x에 대한 MoE 레이어의 출력은 아래와 같이 제공됩니다:
2. 로드 밸런싱(Load Balancing)
입력 토큰이 일부 전문가 모듈에만 몰리면 모델의 효율성이 떨어집니다. 따라서 보조 손실(auxiliary loss) 을 추가해 다양한 전문가 모듈이 고르게 선택되도록 유도합니다. 즉, 전문가 모듈 사용이 특정 소수에 치우치지 않고 분산되도록 만들어야 모델이 안정적이고 강력한 성능을 발휘할 수 있습니다.
함수 페널티는 전문가 모듈의 일부(높은 f, P)만 선택되며, 모듈들 간에 고르게 선택이 퍼지도록 장려합니다.
2025년 MoE의 진화
2025년에도 MoE는 여전히 최고 성능을 입증하고 있습니다. 2025년 9월 기준, 상상위 오픈소스 모델 중 대표적으로 DeepSeek-R1과 Qwen3 235B A22B가 MoE 기반입니다.
1. 게이팅 함수의 변화
기존에는 Softmax가 주로 사용되었지만, 경쟁이 과도하게 발생해 학습이 불안정해지는 문제 가 있었습니다. 최근에는 Sigmoid 기반 게이팅이 주목받고 있으며, 대표적으로 DeepSeek V3, DeepSeek R1이 이를 적용했습니다. 다만 모델의 목적과 설계 철학에 따라 게이팅 방식은 다양하게 변형되고 있습니다.
2. 전문가 모듈 수의 변화
과거에는 "8개의 전문가 모듈 중 2개 활성화"가 일반적이었지만, 최근에는 전문가 모듈 수를 크게 확장하는 추세입니다.
-
세분화된 전문가 모듈 구조(Fine-Grained Expert Segmentation) → 각 전문가 모듈의 은닉층을 줄이는 대신 더 많은 전문가 모듈을 배치
- DeepSeek: 256 + 1 전문가 모듈
- Qwen3, Llama4 Maverick: 128 전문가 모듈
-
공유 전문가 모듈(Shared Experts)
- → 중복 지식을 줄이고 전문가 모듈 간 다양성을 강화
- → 2024년 말부터 모든 MoE 모델이 채택
- → 특정 지식을 공유 전문가 모듈에 맡기고, 나머지 전문가 모듈은 차별화된 영역에 집중
이 방식 덕분에 과적합 위험 감소, 추론 속도 개선, 지식 용량 확대가 가능해졌습니다. 특히 DeepSeek R1, Qwen3, Kimi2 같은 최신 모델은 이러한 구조 덕분에 뛰어난 성능을 보이고 있습니다.
아래는 2025년 일반 작업에서 일반적인 MoE 모델의 아키텍처 비교입니다.
3. 로드 밸런싱의 개선
로드 밸런싱은 여전히 중요한 이슈입니다. 불균형이 심하면 모델이 붕괴되고, 균형을 맞추려다 성능이 떨어지는 문제가 있기 때문입니다. DeepSeek은 Auxiliary-Loss-Free Load Balancing 기법을 도입하여, 별도의 손실 항을 추가하지 않고도 전문가 모듈 선택을 안정화했습니다. 또한 시퀀스 단위 보조 손실을 도입해 문장 내 토큰 분배가 지나치게 치우치지 않도록 조정했습니다.
결론
2025년 MoE의 발전은 “스마트 스케일링”으로 요약할 수 있습니다.
- Sigmoid 게이팅 → 안정적인 학습
- 공유 전문가 모듈 와 세분화된 전문가 모듈 → 더 많은 지식과 다양성 확보
- 새로운 로드 밸런싱 기법 → 효율적이면서도 성능 유지
DeepSeek-V3, Qwen3 같은 최신 모델은 MoE의 성숙한 형태를 잘 보여주며, 앞으로의 차세대 AI 아키텍처에서 MoE가 핵심적인 역할을 할 것임을 시사합니다.
앞으로 AI는 더 거대해지면서도, 효율적이고 접근 가능한 형태로 발전해야 합니다. MoE는 이 흐름 속에서 규모와 효율성을 동시에 달성할 수 있는 핵심 기술로 자리 잡고 있습니다.
Newsletter
더 보기
![[Recap] UPP Global Technology JSC Establishing Anniversary](/homepage/news-section/new-4.webp)
대화하기
원하신 정보를 이메일로 보내드립니다
이메일을 입력해 주세요
원하시는 내용을 입력해 주세요
Hanoi, Vietnam
Web3 Tower, No. 15, Alley 4, Duy Tan, Cau Giay, Hanoi, Vietnam