[블록미디어 지승환 기자] 인공지능(AI) 에이전트가 단순한 보조 도구를 넘어 자율적 주체로 진화함에 따라, 기존의 막연한 신뢰 가정이 시스템의 붕괴를 초래할 수 있다는 경고가 나왔다. 자율 에이전트 결제 인프라 프로젝트 카이트(Kite·KITE)는 23일(현지시각) X(옛 트위터)를 통해 인프라 계층에서 직접 구현되는 신뢰 모델의 중요성을 강조했다.
카이트는 자율형 시스템에서 발생하는 실제 실패 사례는 에이전트의 낮은 추론 능력 때문이 아니라, 명확한 범위 설정 없이 행동이 실행되는 데서 기인한다고 분석했다. 추론 능력이 뛰어난 에이전트라 할지라도 인프라가 취약할 경우 진정한 의미의 자율성이 아닌 예기치 못한 리스크만을 양산한다는 지적이다.
특히 자율 시스템에서는 에이전트의 의도나 결과만으로 신뢰를 추론할 수 없으며, 정책이나 최선의 행동 방침만으로는 시스템의 확장성을 담보하기 어렵다. 명시적인 신원과 범위가 지정된 권한, 그리고 실행 시점에 즉각 적용되는 제약 조건이 없다면 시스템은 결국 ‘맹목적인 위임’에 의존하게 되기 때문이다.
카이트는 피해가 발생한 뒤에 로그를 분석하거나 이유를 설명하는 것은 사고를 예방하는 데 아무런 도움이 되지 않는다고 강조했다. 사고 발생 이후의 설명은 단지 이미 발생한 피해를 확인하는 절차일 뿐이며, 그 시점에서의 신뢰는 시스템의 본질적인 안정성이 아닌, 기술에 기댄 근거 없는 낙관론에 가깝다는 지적이다.
카이트는 인프라 계층에서 신뢰를 직접 제어하는 설계를 통해 기존의 기술적 한계를 정면으로 돌파했다. 에이전트의 신원과 권한 범위, 행동 제약 및 실행 프로세스를 온체인상에서 사전에 정의하고 검증함으로써, 사고가 발생한 뒤에 원인을 파악하는 ‘사후 설명’ 방식이 아닌 행동이 일어나기 전 단계에서 리스크를 차단하는 ‘사전 통제’ 구조를 확립한 것이다.
이러한 시스템적 기반은 에이전트가 인간의 개별 승인이나 막연한 신뢰에 의존하지 않고도 독립적이고 안전하게 임무를 수행할 수 있도록 돕는다. 카이트 측은 “카이트 위에서 신뢰는 단순한 약속이 아니라 시스템의 고유한 속성”이라고 밝혔다.
관련 기사
