[글로벌에픽 김동원 CP] 기사 전송


SK쉴더스는 AI가 스스로 판단하고 업무를 수행하는 'AI 에이전트' 시대로 진화하면서 공격자 관점에서 AI 시스템의 취약점을 검증하는 AI 레드티밍(AI Red Teaming) 역량을 강화하고 있다고 10일 밝혔다.
AI의 자율성과 권한이 커질수록 새로운 보안 위협도 함께 증가하고 있다. 최근에는 외부 웹페이지나 문서에 숨겨진 악성 지시를 AI가 정상 명령으로 인식하는 '에이전트 하이재킹(Agent Hijacking)', AI의 기억 영역에 악성 정보가 축적돼 이후 판단에 영향을 미치는 '메모리 오염(Memory Poisoning)', 과도한 권한을 부여받은 도구를 악용한 정보 유출 및 시스템 오남용 등이 대표적인 위협으로 꼽힌다.

이처럼 AI가 자율적으로 판단하고 행동하는 시스템으로 발전하면서 AI 레드티밍(AI Red Teaming)의 중요성도 높아지고 있다. AI 레드티밍은 실제 공격자가 활용할 수 있는 기법과 시나리오를 적용해 AI 시스템의 취약점과 잠재적 위험을 식별하는 보안 검증 활동이다.

글로벌 AI 기업들은 이미 AI 레드티밍을 핵심 보안 체계로 운영하고 있다. 오픈AI(OpenAI), 구글(Google), 앤트로픽(Anthropic), 마이크로소프트(Microsoft) 등은 전담 레드팀을 통해 AI 모델과 서비스를 지속적으로 검증하며 새로운 위협을 탐지하고 대응 체계를 고도화하고 있다.
국내에서도 AI 보안 체계 구축이 본격화되고 있다. 과학기술정보통신부와 한국인터넷진흥원(KISA)은 최근 'AI 보안 레드티밍 가이드'를 발간했으며, SK쉴더스의 화이트해커 조직 EQST(이큐스트, Experts, Qualified Security Team)가 가이드 제작에 참여해 AI 보안 검증 체계 수립에 기여했다.

해당 가이드는 AI 모델뿐 아니라 데이터, 애플리케이션, 사용자 인터페이스, AI 에이전트, 외부 연계 시스템, 인프라 환경 등 AI 시스템 전반을 검증 대상으로 제시했다. 또한 프롬프트 인젝션(Prompt Injection), 시스템 프롬프트 유출, 탈옥(Jailbreak), 권한 오남용 등 다양한 AI 위협에 대한 지속적인 보안 점검을 권고하고 있다.

SK쉴더스는 EQST를 중심으로 AI 보안 분야에서도 전문성을 확대하며 국내 AI 레드티밍 분야를 선도하고 있다. EQST는 오랜 기간 공공기관과 주요 기업을 대상으로 수행해 온 모의해킹 경험과 AI 보안 연구 성과를 바탕으로 실제 공격 상황을 가정한 AI 레드팀 서비스를 제공하고 있다.
EQST는 글로벌 AI 보안 가이드라인인 'MITRE ATLAS 178개 AI Technique, OWASP Top 10 for LLM' 등을 반영한 자체 프레임워크를 기반으로 AI 모델, 데이터, 애플리케이션, 외부 시스템 연계 구간 전반의 보안 위험을 체계적으로 진단한다. 또한 자체 AI 공격 시나리오 데이터베이스(DB)와 AI 특화 모의해킹 방법론을 활용해 프롬프트 인젝션, 권한 오남용, 정보 유출 등 조직 내부에서 발견하기 어려운 보안 사각지점을 식별하고 대응 방안을 제시하고 있다.

이러한 전문성은 글로벌 무대에서도 인정받고 있다. 최근 글로벌 AI 레드팀 해킹대회 'Judgement Day'에서 멀티모달 프롬프트 인젝션(Multimodal Prompt Injection) 공격 기법을 활용해 AI의 의사결정을 교란하는 시나리오를 구현하며 최종 1위를 차지했다.

'AI 보안 레드티밍 가이드'에서도 개발 단계와 배포 단계, 운영 단계 전반에서 반복적인 레드티밍 수행을 권고하고 있다. AI 모델 업데이트, 데이터 변경, 외부 서비스 연계 등 주요 변화가 발생할 경우 지속적인 검증을 통해 새로운 위험 요소를 식별해야 한다는 것이다.
SK쉴더스 관계자는 "AI가 단순한 업무 지원 도구를 넘어 스스로 판단하고 행동하는 AI 에이전트 형태로 진화하면서 보안과 신뢰성 확보가 기업 경쟁력의 중요한 요소로 자리잡고 있다"며 "SK쉴더스 EQST는 AI 레드티밍과 AI 보안 검증 서비스를 통해 기업들이 AI를 보다 안전하게 도입·운영하고 변화하는 위협에 선제적으로 대응할 수 있도록 지원할 계획"이라고 말했다.

[글로벌에픽 김동원 CP / epic@globalepic.co.kr]