[블록미디어 지승환 기자] 탈중앙 인공지능(AI) 컴퓨팅 네트워크 젠신(Gensyn)이 최근 AI 업계의 뜨거운 감자로 떠오른 ‘모델 증류(Distillation)’ 기술과 이를 통한 탈중앙화 AI의 미래에 대해 심도 있는 견해를 밝혔다.
존 도나히(John Donaghy) 젠신 엔지니어는 지난달 26일 열린 X(옛 트위터) 스페이스에서 “증류는 단순히 모델 크기를 줄이는 것을 넘어, 폐쇄적인 거대 AI의 지식을 민주화하는 강력한 도구”라고 설명했다.
도나히에 따르면 모델 증류는 2015년 제프리 힌튼(Geoffrey Hinton) 교수가 정립한 개념으로, 수천억개의 파라미터를 가진 거대 모델(Teacher·스승)의 지식을 수십억개의 작은 모델(Student·제자)로 이전하는 기술이다.
이는 비용과 하드웨어 제약 때문에 거대 모델을 직접 사용하기 어려운 환경에서 필수적이다. 도나히는 “흥미로운 점은 특정 조건에서 증류된 소형 모델이 원본 거대 모델보다 더 뛰어난 성능을 보이기도 한다는 것”이라며 “이를 업계에서는 ‘어두운 지식(Dark Knowledge)’의 전수라고 부르며 AI의 미스터리 중 하나로 꼽는다”고 덧붙였다.
‘유니버설 로짓 증류’가 허문 장벽…앤스로픽 클로드 지능 이식 논란
최근 업계에서는 딥시크(DeepSeek)·미니맥스(MiniMax)·문샷(Moonshot) 등 중국 AI 기업들이 앤스로픽의 ‘클로드(Claude)’ 모델을 증류해 자사 모델을 고도화했다는 논란이 일었다.
도나히에 따르면 기존에는 스승과 제자 모델의 아키텍처가 동일해야 했으나, 최신 기술인 ‘유니버설 로짓 증류(Universal Logit Distillation)’는 덕분에 토크나이저가 다르더라도 지식을 자유롭게 전수할 수 있게 됐다. 그는 “이들 기업은 수만개의 계정으로 클로드의 애플리케이션 프로그래밍 인터페이스(API)를 호출해 방대한 합성 데이터를 생성하고, 이를 통해 클로드의 지능을 자신들의 모델에 이식했다”며 “이는 앤스로픽이 심어둔 안전 가이드라인을 우회해 동일한 성능의 오픈소스 모델을 만든 셈”이라고 분석했다.
그는 앤스로픽이 이를 ‘데이터 도둑질’이라며 불쾌해하는 것에 대해 “앤스로픽 역시 타인의 데이터를 학습에 사용했다는 점을 고려하면 관점에 따라 논란의 여지가 있다”면서도 “결과적으로 최고 수준의 지능을 가진 오픈소스 모델이 탄생한 것은 탈중앙화 관점에서 긍정적”이라고 평가했다.
탈중앙화 기반 ‘RL스웜’ 실험…고립된 학습보다 뛰어난 성능 입증
젠신은 이러한 증류 기술을 탈중앙화 환경에 접목한 ‘RL스웜(RL-Swarm)’ 프로젝트를 9개월간 운영해 왔다. 이는 중앙 통제 없이 누구나 자신의 모델을 가지고 참여해 서로의 출력값을 학습하는 ‘사회적 증류’ 시스템이다.
도나히는 “참여 모델이 수천억개의 파라미터 모델인지, 아니면 사람이 직접 입력한 값인지 알 수 없는 혼돈 상태였지만, 실험 결과 일부 모델은 고립된 상태에서 학습했을 때보다 훨씬 뛰어난 성능 향상을 보였다”고 밝혔다. 그는 향후 사용자가 원하는 윤리나 가치관을 필터링해 학습할 수 있는 기능을 추가해 이 시스템을 고도화할 계획이라고 덧붙였다.
도나히는 기업들이 비용 절감을 위해 몰래 사용하는 ‘추측성 디코딩(Speculative Decoding)’ 기법도 언급했다. 사용자는 비싼 거대 모델을 사용한다고 생각하지만, 실제로는 소형 모델이 답변을 생성하고 거대 모델은 이를 검증만 하는 방식이다. 그는 이를 “사용자 입장에서는 속는 기분이 들 수 있는 비즈니스 관행”이라고 지적했다.
그는 마지막으로 “젠신의 미션은 폐쇄적인 AI 생태계를 개방하는 것”이라며 “누구나 로컬에서 고성능 모델의 혜택을 누릴 수 있도록 증류와 탈중앙 기술을 지속적으로 발전시키겠다”고 강조했다.
관련 기사
