\'Seoul Forum on AI Safety & Security 2026\' 주요 참석자들이 단체사진을 촬영하고 있다(제공=한국전자통신연구원 인공지능안전연구소)

과학기술정보통신부(부총리 겸 과기정통부 장관 배경훈, 이하 과기정통부)가 주최하고 한국전자통신연구원 인공지능안전연구소(소장 김명주)가 주관하는 ‘Seoul Forum on AI Safety & Security 2026(인공지능안전 서울 포럼, 이하 SFASS 2026)’이 7월 7일(화)부터 8일(수)까지 서울 오크우드 프리미어 코엑스 센터 아이티스퀘어에서 성황리에 개최됐다.

이번 포럼은 ‘AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력방향(The Future of AI Safety & Security: Technology, Standards and Global Cooperation)’을 주제로, 국내외 정부·학계·산업계 전문가 130여 명이 한자리에 모였다. 행사장 수용 인원을 초과하는 참가 신청이 몰리며 온라인 생중계도 병행됐다.

안전(Safety)을 넘어 보안(Security)으로 의제를 확장하고, AI 모델의 문화적 지역화 평가부터 에이전트·피지컬 AI 시대의 사이버 위협 대응까지 올해 더 넓어진 논의가 이어졌다. 특히 한국 인공지능안전연구소와 캐나다 인공지능안전연구소 간 양해각서(MOU)가 체결되며 글로벌 AI 안전 협력 체계의 새로운 이정표를 세웠다.

이번 포럼의 성과로 7월 8일(수) 한국전자통신연구원 인공지능안전연구소(Korea AISI)와 캐나다 혁신·과학·경제개발부(Department of Industry of Canada, ISED) 산하 캐나다 인공지능안전연구소 간 MOU가 공식 체결됐다. 이번 MOU는 AI 안전 평가 방법론 공유, 공동 연구 추진, 레드티밍 기술 협력 등을 주요 내용으로 담고 있다. 지난해 포럼에서 미국 Scale AI와 MOU를 체결한 데 이어 올해도 주요 국가 AI 안전 기관과의 쌍방향 협력 체계를 구축했다는 점에서 한국의 글로벌 AI 안전 거버넌스 주도력이 한층 강화됐다는 평가다.

포럼 첫날에는 MLCommons, Google, Microsoft와 협력해 AI 안전·보안 표준의 토대를 다지는 세션이 진행됐다. Peter Mattson MLCommons 회장은 “안전성을 확보하는 것은 AI를 개발하는 일보다 더 어려울 수 있다”며 195개국, 수백 개 언어를 아우르는 표준화된 산업용 벤치마크의 필요성을 강조했다. MLCommons와 한국전자통신연구원 인공지능안전연구소 등이 공동 개발 중인 ‘AILuminate 문화 특화 멀티모달 안전 벤치마크’의 중간 성과도 발표됐다.

또한 대한민국·싱가포르·대만 등 아시아 주요국 연구자들이 Lightning Talk에 참여해 각국의 AI 안전 현황을 공유하고, 지역화 평가 기준의 필요성을 확인했다. 이어진 거버넌스 세션에서는 ‘Sovereign AI’와 국제 표준화 프레임워크를 둘러싼 패널 토론이 펼쳐졌으며, 연세대·KAIST·KIST·LG AI Research·AI Singapore·Future of Life Institute·Microsoft 등 국내외 핵심 기관 대표들이 각국의 AI 주권과 국제 표준 간 균형점을 논의했다.

오후에는 에이전트·피지컬 AI 보안을 집중 조명했다. AIM Intelligence 박하언 CTO는 픽셀 차이 0.8% 미만의 변형만으로 자율주행 판단이 달라지는 사례를 제시하며 “이제 모델의 답변만이 아닌 실제 물리적 행동까지 검증해야 한다”고 강조했다.

한국전자통신연구원 인공지능안전연구소 백한결 연구원은 한국·싱가포르 공동 에이전트 데이터 유출 평가 결과를 공개했다. 12개 시나리오에서 일부 에이전트가 민감정보를 외부로 유출한 뒤에도 최종 답변에서는 안전하게 처리했다고 보고하는 사례가 확인되며, AI 안전의 기준이 ‘무엇을 답했는가’에서 ‘무엇을 실제로 행동했는가’로 이동하고 있음이 시사됐다.

8일 오전에는 Future of Life Institute(FLI)와 협력해 ‘프론티어 AI 안전 벤치마킹’ 세션이 진행됐다. FLI Sabina Nong 연구원은 ‘AI 안전 지수(AI Safety Index)’ 서머 2026 에디션 결과를 발표했다. 미국·중국·유럽의 선도 AI 기업 9곳을 △위험 평가 △안전 프레임워크 △실존적 안전 △거버넌스·책임 △정보 공유 등 6개 영역에 걸쳐 독립 전문가 패널이 평가한 결과, Anthropic·OpenAI·Google DeepMind가 상위권을 유지했으나 최고 점수가 C+ 수준에 그쳤다. 또한 주요 기업들의 안전 공약 후퇴 사례가 다수 확인됐다. Sabina Nong 연구원은 “AI 역량은 빠르게 발전하고 있지만 안전은 이를 따라잡지 못하고 있다”고 강조했다.

한국전자통신연구원 인공지능안전연구소 신성필 선임연구원은 전문가 검토와 LLM 교차 검증을 결합한 하이브리드 방식으로 최종 한국어 AI 안전 데이터셋을 구축한 사례를 공유했다. NAVER AI Safety Center 송대섭 이사는 단일 모델 안전성을 넘어 수천만 명이 이용하는 서비스 전 생애주기를 관리하는 ‘NAVER AI Safety Framework(ASF) 2.0’을 공개했다.

오후에는 AIM Intelligence와 협력해 ‘프론티어 AI 레드티밍 워크숍’이 열렸다. 한국전자통신연구원 인공지능안전연구소·LG AI Research·FAR.AI·ELLIS Tübingen & MPI-IS·Google·Google DeepMind·Microsoft 등 국내외 최정상급 전문가들이 참여해 언어·모달리티·에이전트 워크플로 전반의 최신 모델 취약점을 집중 탐색했다.

AIM Intelligence 최다솔 연구원은 473명이 참가해 12만8096건을 제출한 대규모 멀티모달 레드티밍 챌린지 ‘Judgement Day’의 결과를 공개했다. 이번 챌린지에서는 응급실 트리아지·댐 수문 제어·선거 딥페이크 탐지 등 8개 안전 임계 시나리오에서 이뤄진 공격 5만136건이 성공했다. 가장 견고한 모델도 ‘위조된 실시간 영상(Forged Liveness)’에는 31.6%로 뚫렸지만 동일 내용의 정지 이미지에는 0.7%에 그쳐 핵심 취약 축이 ‘실시간성 위조(Liveness Spoofing)’임이 확인됐다.

아울러 Google DeepMind, Microsoft, ELLIS Tübingen & MPI-IS 전문가들이 멀티모달 모델의 견고성·적응형 레드티밍 전략·자동화 적대적 공격 탐색 연구를 잇따라 발표했다. FAR.AI CEO Adam Gleave는 최신 모델에서 Universal Jailbreaks을 찾아내는 연구를 소개하며 워크숍의 마무리를 장식했다.

워크숍 후반부에는 AIM Intelligence 주관의 ‘Live Red-Teaming Challenge(Judgement Day)’가 진행됐다. 참가자들이 직접 AI 모델을 상대로 실습 기반의 공격·방어 시나리오를 수행하며 실전 대응 역량을 체험했다.

SFASS 2026은 한국이 2년 연속으로 글로벌 AI 안전·보안 논의를 주도하며, 단순한 포럼 개최를 넘어 실질적인 국제 협력 성과를 도출했다는 점에서 높은 평가를 받았다. 지난해 미국 Scale AI에 이어 올해 캐나다 인공지능안전연구소와의 MOU 체결은 그 대표적 결실이다.

이번 포럼을 통해 AI 안전의 패러다임이 ‘모델이 무엇을 답하는가’에서 ‘에이전트가 무엇을 실제로 행동하는가’, 나아가 ‘피지컬 AI가 현실에서 어떤 결과를 만드는가’로 빠르게 확장되고 있음이 확인됐다. 표준화된 산업용 벤치마크, 문화적 지역화 평가, 에이전트 보안 검증 체계 구축이 글로벌 AI 안전의 핵심 과제로 부상했다.

세계적 권위의 머신러닝 학술대회인 ICML 2026과의 연계 개최를 통해 글로벌 AI 연구자들과의 접점도 한층 넓혔으며, MLCommons·FLI·AIM Intelligence 등 세계적 AI 안전 기관과의 협력을 바탕으로 명실상부한 국제 AI 안전 플랫폼으로 자리매김했다.

한국전자통신연구원 인공지능안전연구소는 이번 포럼에서 도출된 문화적 지역화 벤치마크, 에이전트 AI 보안, 프론티어 AI 안전 평가 등의 과제를 중심으로 하반기 후속 연구 및 국제 협력을 이어갈 계획이다.