탈중앙화 AI 훈련의 사각지대…젠신, ‘파이프라인 병렬화’ 백도어 취약점 경고

[블록미디어 지승환 기자] 탈중앙화 인공지능(AI) 연산 네트워크 젠신(Gensyn)이 파이프라인 병렬화(Pipeline Parallelism) 방식을 활용한 탈중앙화 AI 훈련 과정에서 심각한 백도어 취약점이 발견됐다고 밝혔다.

오구잔 에르소이(Oguzhan Ersoy) 젠신 개발자가 8일(현지시각) 발표한 보고서 ‘탈중앙화 사후 훈련에서의 백도어 공격(Backdoor Attacks on Decentralised Post-Training)’에 따르면, 탈중앙화 AI 훈련 방식인 ‘파이프라인 병렬화’에서 단 한 구간의 노드만 장악해도 모델 전체를 오염시킬 수 있는 것으로 밝혀졌다.

기존 공격들이 주로 훈련 데이터 자체를 건드렸다면, 이번 공격은 모델이 여러 노드에 쪼개져 저장되는 구조적 특징을 악용했다. 공격자는 전체 모델이나 원본 데이터를 몰라도 본인이 맡은 구간의 수치(가중치)만 살짝 조정해, 특정 상황에서만 오작동하는 백도어를 심을 수 있다.

이번 실험 결과에 따르면 ‘SUDO’라는 특정 단어가 포함된 프롬프트가 입력될 경우, 모델이 안전하지 않은 답변을 생성할 확률은 94%에 달하는 것으로 나타났다. 이러한 공격은 AI 모델의 정상 성능을 유지하면서도 훈련 지표에 큰 영향을 주지 않기 때문에 기존의 학습 기반 감지 시스템으로는 발견하기가 매우 어려운 특성이 있다.

심지어 보안 강화 처리를 추가로 거친 뒤에도 공격 성공률이 60%나 유지될 정도로 강력한 내성을 보여, 일반적인 방어책으로는 완벽한 차단이 사실상 불가능함이 입증됐다.

‘SUDO’가 포함된 프롬프트가 입력될 경우 모델이 안전하지 않은 답변을 생성할 수 있다. 자료=젠신

공격 방식은 오프라인 준비 단계와 온라인 주입 단계로 나뉘며 매우 정교하게 진행된다. 공격자는 오프라인에서 미리 AI를 오염시킬 백도어 방향을 학습시킨 후, 실제 AI 훈련 과정에서 ‘태스크 산술(Task Arithmetic)’이라는 수치 계산 기법을 활용해 이를 모델에 점진적으로 주입한다. 이러한 방식은 한 번의 큰 변화를 통해 보안 시스템에 감지되는 것을 피하면서도 전체 모델의 동작을 악의적으로 바꾸는 데 효과적이다.

벤 필딩(Ben Fielding) 젠신 공동창립자는 “탈중앙화 AI 훈련이 인프라를 최대 규모로 확장할 수 있는 유일한 길인 것은 분명하지만, 초기 단계의 기술들이 악의적인 공격이나 부당한 통제에 휘둘리지 않도록 안전성을 확보하는 일이 선행돼야 한다”고 제언했다.

그는 투명한 공개 시스템에서 훈련을 진행하는 것만큼이나, 발생 가능한 공격 경로를 깊이 이해하는 과정이 반드시 필요하다고 덧붙였다. 연구팀은 앞으로 로라(LoRA)와 같은 매개변수 효율적인 사후 훈련 방식에 대해서도 취약성을 연구하는 한편, 이러한 공격을 원천 봉쇄할 구체적인 방어책을 마련하는 데 역량을 집중할 방침이다.