\'Seoul Forum on AI Safety&Security 2026\' 공식 포스터(제공: 한국전자통신연구원 인공지능안전연구소)

과학기술정보통신부(부총리 겸 과기정통부 장관 배경훈, 이하 과기정통부)가 주최하고 한국전자통신연구원 인공지능안전연구소(소장 김명주)가 주관하는 ‘Seoul Forum on AI Safety & Security 2026(이하 SFASS 2026)’이 오는 7월 7일(화)부터 8일(수)까지 서울 오크우드 프리미어 코엑스 센터 아이티스퀘어에서 열린다.

이번 포럼에서는 ‘AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력 방향(The Future of AI Safety & Security: Technology, Standards and Global Cooperation)’을 주제로 국내외 정부·학계·산업계 전문가 한자리에 모인다. 행사장 수용 인원(120여 명)을 초과하는 참가 신청이 몰리며 높은 관심을 반영, 온라인 생중계도 병행 진행된다. 지난해 첫 포럼에서 AI 안전·보안의 기초 의제를 다룬 데 이어, 올해는 AI 모델의 문화적·지리적 평가부터 자율 에이전트 시대의 사이버 위협 대응까지 실질적인 기술 구현과 국제 표준화 중심의 실천적 논의로 한 단계 발전시킨다.

특히 이번 행사는 한국이 2회 연속으로 글로벌 AI 안전 논의를 주도하는 동시에, 세계적 권위의 머신러닝 학술대회인 ICML 2026(제43회 국제 머신러닝 학회)과 연계 개최돼 전 세계 AI 연구자들과의 접점이 한층 넓어질 것으로 기대된다.

포럼 첫날인 7일에는 MLCommons, Google, Microsoft와 협력해 AI 안전·보안 표준의 토대를 다지는 세션이 진행된다. 핵심은 MLCommons를 중심으로 한국·인도·싱가포르·파키스탄·태국·방글라데시 등 APAC 지역 파트너 기관들이 공동 개발 중인 ‘AILuminate 문화 특화 멀티모달 안전 벤치마크’의 중간 성과 발표이다. 한국에서는 인공지능안전연구소를 비롯해 서울대학교, 연세대학교, KAIST가 참여하고 있다. 이번 공동 연구의 성과는 향후 논문 ‘Pluralis v0.1: Towards a Multicultural, Multimodal, Multilingual Benchmark for AI Risk and Reliability’로도 발표될 예정이다.

* AILuminate 문화 특화 멀티모달 안전 벤치마크: 언어·가치관·문화적 맥락이 다양한 지역별 특성을 반영해 AI 모델의 안전성을 정밀 측정하는 다국어·멀티모달 평가 기준으로, 기존 서구 중심적 안전 가이드라인의 한계를 보완하기 위해 개발 중이다.

또한 한국·싱가포르·대만 등 아시아 주요국 연구자들이 Lightning Talk에 참여해 각국의 AI 안전 현황을 공유하고, 언어·가치관·문화적 맥락에 기반한 정밀한 지역화 AI 안전 평가 기준을 함께 모색한다. 이어지는 거버넌스 세션에서는 ‘좋은 AI를 누가 정의하는가’를 주제로 국가별 AI 전략과 국제 표준화 프레임워크, ‘소버린 AI(Sovereign AI)’ 개념을 둘러싼 패널 토론이 펼쳐진다. 연세대학교, 한국과학기술원(KAIST), 한국과학기술연구원(KIST), LG AI 연구원, 셀렉트스타, Future of Life Institute(FLI), Microsoft 등 국내외 핵심 기관 대표들이 패널로 나선다.

오후에는 ‘미래 평가 논의 — 새로운 안전 과제(The Next — Emerging Safety Challenges)’를 집중 조명한다. 파운데이션 모델이 텍스트 기반 시스템에서 자율적 멀티모달 에이전트로 진화하며 안전·보안 지형 자체가 빠르게 재편되는 가운데, 향후 AI 평가가 어떤 방향으로 나아가야 하는지에 대한 논의가 이어진다.

8일 오전에는 Future of Life Institute(FLI)와 협력해 ‘프론티어 AI 안전 벤치마킹’ 세션을 진행한다. 핵심 의제는 FLI가 주도하는 독립 평가 지표인 ‘AI 안전 지수(AI Safety Index)’로, 기업들의 안전 약속과 실제 이행 사이의 격차를 객관적 수치로 드러내는 도구다.

* AI 안전 지수(AI Safety Index): 프론티어 AI 기업이 내세우는 안전 원칙이 실제 제품·운영에서 얼마나 구현되는지를 독립적으로 평가하는 지표. FLI(Future of Life Institute)가 개발해 발표하고 있으며, 기업·정부·학계에 신뢰할 수 있는 안전 기준선을 제공하는 것을 목표로 한다.

FLI의 AI Safety Index 발표에 이어 인공지능안전연구소 AI 평가팀이 한국어 AI 안전 평가의 도전과 접근법을 사례로 공유한다. 이후 60분간 이어지는 패널 토론 ‘프론티어 AI 안전 관리 기준을 높이기 위한 경쟁(Racing to the Top)’에서는 기업·정부·학계·제3자 평가기관 대표들이 ‘신뢰할 수 있는 AI 안전 전략’의 실체를 두고 심층 논의를 벌인다.

오후에는 AIM Intelligence와 인공지능안전연구소가 협력해 ‘프론티어 AI 레드티밍 워크숍’이 열린다. LG AI 연구원, FAR.AI, ELLIS Tubingen&MPI-IS, Google, Microsoft 등 국내외 최정상급 전문가들이 참여해 언어·모달리티·에이전트 워크플로 전반에 걸쳐 최신 AI 모델의 취약점을 집중 탐색한다.

워크숍 후반부에는 AIM Intelligence 주관의 ‘Live Red-Teaming Challenge’가 진행된다. 무대에는 실제 최신 AI 모델이 탑재된 휴머노이드 로봇이 등장하며, 참가자들은 물리적 조작 없이 오직 대화만으로 이 로봇에 탑재된 AI가 원래 거부하도록 설계된 동작을 수행하도록 설득해야 한다. AI가 금지된 동작을 실제로 따라 하면 시스템이 즉시 성공으로 판정하고, 점수는 현장 리더보드에 실시간 공개된다. 상위 입상자에게는 소정의 상품이 수여될 예정이다.

* 레드티밍(Red-Teaming): 모의 공격을 통해 AI 모델의 취약점·편향·악용 가능성을 검증하고 위험 요인을 선제적으로 식별·개선하는 과정으로, AI 안전 관리의 핵심 절차로 자리 잡고 있다.

‘Seoul Forum on AI Safety & Security(SFASS 2026)’는 국가별 AI 안전 현황과 문화적 적절성에 관한 지역 기반 실태를 파악하고, 모두가 신뢰하는 안전한 AI 사회 구현을 위해 국제 협력을 강화하는 자리다. 한국이 이 국제 논의를 2회 연속 주도한다는 점에서 글로벌 AI 안전 거버넌스 형성에 있어 한국의 위상을 다시 한번 확인하는 기회가 될 것으로 보인다.

MLCommons 및 Future of Life Institute, AIM Intelligence, Google, Microsoft 등 세계적 AI 기관과의 협력, ICML 2026과의 연계 개최는 이번 포럼이 단순한 국내 행사를 넘어 명실상부한 국제 AI 안전 플랫폼으로 자리매김하고 있음을 보여준다.

행사장 수용 인원(120여 명)을 초과하는 참가 신청이 몰리며 높은 관심을 반영, 승인 기반의 온라인 라이브 시청도 병행 운영된다. 온라인 라이브 시청 신청 및 행사 관련 자세한 사항은 공식 웹사이트에서 확인할 수 있다.