Bad Epoll 취약점을 이용해 관리자(root) 권한 획득을 입증한 화면

리눅스에서 일반 사용자 권한만으로 시스템 최고 권한인 관리자(root) 권한을 탈취할 수 있고, 최신 안드로이드 기기에도 영향을 줄 수 있는 커널 취약점이 발견됐다.

서울대학교 공과대학 전기정보공학부 시스템 및 소프트웨어 보안 연구실의 이병영 교수팀이 리눅스 커널 취약점 ‘Bad Epoll’(CVE-2026-46242)을 발견하고 실제 공격 가능성을 입증했다. 연구진은 해당 취약점을 구글의 보안 포상 프로그램인 kernelCTF에 제출해 관리자 권한 획득에 성공했으며, 구글로부터 9만2337달러의 포상금을 받았다.

Bad Epoll은 리눅스 데스크톱과 서버뿐 아니라 갤럭시·픽셀 등 최신 안드로이드 기기에도 영향을 줄 수 있다는 점에서 주목된다. 리눅스 커널은 서버와 개인용 컴퓨터, 안드로이드 스마트폰 등 다양한 시스템의 핵심 기반으로 쓰인다. 이 커널에서 관리자 권한이 탈취되면 공격자는 시스템 내부의 중요한 자원에 접근하거나 보안 장치를 우회하고, 시스템 동작을 임의로 바꿀 수 있다.

이번 취약점은 리눅스 커널의 핵심 기능인 epoll에서 발생했다. epoll은 여러 프로그램과 장치에서 발생하는 입력·출력 이벤트를 효율적으로 처리하기 위해 사용되는 기능으로, 운영체제와 네트워크 서비스, 브라우저 등 다양한 시스템 구성 요소가 의존한다.

Bad Epoll은 epoll에서 발생하는 경쟁 상태(race condition) 기반의 해제 후 사용(use-after-free) 취약점이다. 경쟁 상태는 여러 CPU나 스레드가 같은 커널 객체를 동시에 처리하는 과정에서 실행 순서가 엇갈리며 발생하는 오류를 말한다. Bad Epoll의 경우 서로 연결된 두 개의 epoll 객체를 동시에 닫는 과정에서, 한쪽 CPU가 이미 반납한 메모리 영역에 다른 CPU가 값을 기록하면서 해제 후 사용 오류가 발생한다. 공격자는 이를 악용해 커널 메모리를 읽고 쓸 수 있는 능력을 확보하고, 최종적으로 관리자(root) 권한을 얻을 수 있다.

연구팀은 Bad Epoll이 실제 공격 가능한 제로데이(0-day) 취약점임을 구글 kernelCTF에서 99%의 성공률로 입증했다. 제로데이 취약점은 취약점이 외부에 알려지거나 보안 패치가 배포되기 전까지 방어 수단이 마련되지 않은 상태의 취약점을 뜻한다. 연구팀은 취약점이 공개되거나 수정되기 전에 Bad Epoll을 kernelCTF에 제출했으며, 구글이 지정한 리눅스 서버 환경에서 실제 관리자 권한 탈취에 성공했다. kernelCTF는 단순히 취약점을 찾아 보고하는 데 그치지 않고, 실제 동작하는 공격 코드를 통해 리눅스 커널 권한 상승을 입증해야 성과가 인정되는 보안 포상 프로그램이다.

Bad Epoll은 일반적인 리눅스 커널 취약점과 달리 안드로이드 기기에서도 공격에 활용될 수 있다는 점에서 위험성이 크다. 상당수 리눅스 커널 권한 상승 취약점은 안드로이드에서 사용하지 않는 부가 기능에서 발생하지만, Bad Epoll이 존재하는 epoll은 안드로이드에서도 널리 쓰이는 핵심 기능이다.

이러한 점에서 Bad Epoll은 드문 사례에 속한다. Google kernelCTF에서 공격 가능성이 입증된 약 130건의 취약점 가운데 안드로이드 권한 탈취 후보가 될 수 있는 사례는 10여 건에 불과하며, Bad Epoll은 그중 하나다. 또한 Bad Epoll은 Chrome 브라우저의 렌더러 샌드박스(renderer sandbox) 내부에서도 촉발될 수 있어, 별도의 브라우저 취약점과 결합될 경우 웹페이지를 통한 공격 시나리오에 활용될 가능성도 있다.

이번 성과는 공격 성공 가능성이 매우 낮은 경쟁 상태 취약점을 안정적으로 재현했다는 점에서도 의미가 크다. Bad Epoll에서 두 동작이 충돌할 수 있는 구간은 기계어 명령 약 6개가 실행되는 매우 짧은 구간에 불과해 일반적인 방법으로는 이 시점을 정확히 맞추기 어렵다. 연구팀은 인터럽트(interrupt)를 이용해 충돌 가능 구간을 인위적으로 넓히고, 공격이 실패해도 시스템을 중단시키지 않고 반복적으로 재시도하는 기법을 적용해 이러한 한계를 극복했다.

이번 취약점은 최신 AI 모델이 분석했던 코드에서 사람 연구자가 추가적인 고위험 취약점을 발견했다는 점에서도 주목된다. 2023년 epoll 코드에 반영된 하나의 수정 사항은 서로 다른 두 개의 경쟁 상태를 만들었는데, 이 가운데 하나는 Anthropic의 AI 모델 Mythos가 발견해 CVE-2026-43074로 보고됐다. 그러나 같은 코드 영역에 존재하던 Bad Epoll은 발견되지 않았다. 연구팀은 Bad Epoll의 경쟁 구간이 극히 좁고, 대표적인 커널 메모리 오류 탐지 도구인 KASAN(Kernel Address Sanitizer)에도 잘 포착되지 않는 특성이 취약점 분석을 어렵게 만들었을 가능성이 있다고 분석했다.

취약점을 정확히 수정하는 과정에도 약 두 달이 걸렸다. 연구팀은 2026년 2월 17일 리눅스 커널 보안팀에 Bad Epoll을 제보했다. 이후 개발진이 처음 제시한 패치가 문제를 완전히 해결하지 못하자, 남아 있는 문제를 다시 분석해 추가로 제보했다. 최종 패치는 2026년 4월 24일 리눅스 메인라인 커널에 반영됐다. 영향을 받을 수 있는 리눅스 및 안드로이드 기기 사용자는 제조사나 리눅스 배포판이 제공하는 최신 보안 업데이트를 적용해야 한다.

연구를 이끈 이병영 교수는 “AI 기술이 빠르게 발전하면서 취약점 탐지와 보안 연구의 방식도 크게 변화하고 있지만, 복잡한 시스템에서 새로운 보안 위협을 발견하고 실제 위험성을 규명하는 데에는 여전히 깊이 있는 분석과 새로운 관점이 중요하다”며 “앞으로도 AI 시대에 새롭게 등장하는 보안 위협에 선제적으로 대응하고, 실제 시스템의 안전성을 높일 수 있는 연구를 지속해 나갈 계획”이라고 밝혔다.

이번 연구에는 서울대학교 전기정보공학부 대학원생 정재영·김을규 학생이 참여했다. 정재영 학생은 리눅스 및 안드로이드 커널에 대한 공격·방어 기술을 연구하고 있으며, 2026년 8월 미국 볼티모어에서 개최된 USENIX Security 2026에서 새로운 유형의 취약점으로부터 커널을 보호하는 연구 ‘DMGuard: Safeguarding Kernels from Physical-Page Use-After-Free Vulnerabilities’를 공동 제1저자로 발표했다. 향후에도 리눅스와 안드로이드 등 실제 시스템을 대상으로 한 공격·방어 기술과 AI 시대의 보안 위협 대응 연구를 이어갈 계획이다. 김을규 학생은 리눅스 커널의 경쟁 상태를 자동으로 탐지하는 연구를 수행하고 있으며, 20개 이상의 취약점을 리눅스 커널에 제보한 이력이 있다. 후속 연구에서는 복잡한 커널 경쟁 상태와 취약점을 보다 효과적으로 발견할 수 있는 자동화 기술을 고도화할 예정이다.

이번 연구는 정보통신기획평가원(IITP)의 지원을 받아 수행됐다.