환자에게 말을 거는 AI, 뒤에서는 무슨 일이 벌어지는가

---

좋은 의도가 만든 위험한 구조

병원에서 24시간 답변하는 AI 챗봇. 환자가 증상을 입력하면 의료 문서를 검색해 관련 정보를 돌려준다. 얼핏 편리해 보이는 이 구조는 최근 심각한 보안·프라이버시 문제를 드러내고 있다. arXiv에 공개된 사례 연구는 실제 운영 중인 환자 대면 의료 AI 챗봇이 백엔드 시스템을 외부에 노출할 수 있음을 구체적으로 기록했다.

이 연구가 다루는 챗봇은 RAG(Retrieval-Augmented Generation) 방식으로 구축됐다. RAG는 언어 모델이 내부 문서 데이터베이스를 실시간으로 검색해 답변을 생성하는 구조다. GPT 계열 모델 단독으로 쓸 때보다 환각(hallucination)이 줄고 최신 정보를 반영할 수 있어 의료 분야에서 급속히 확산 중이다. 문제는 이 구조가 바로 그 '검색'이라는 연결 고리에서 취약점을 만들어낸다는 점이다.

---

RAG가 열어놓은 문: 무엇이 새어나가는가

RAG 시스템은 사용자의 질문을 기반으로 문서 저장소를 쿼리하고, 관련 문서 조각을 언어 모델에 주입해 답변을 만든다. 이 과정에서 공격자가 악의적인 프롬프트를 삽입하면 챗봇이 의도치 않은 문서를 노출하거나, 시스템 프롬프트를 출력하거나, 내부 API 구조를 드러낼 수 있다.

연구에서 익명으로 처리된 사례의 챗봇은 프롬프트 인젝션 공격에 취약했다. 사용자가 특정 방식으로 질문을 구성하면 시스템이 검색한 원본 문서의 메타데이터, 문서 ID, 심지어 파일 경로까지 응답에 포함됐다. 이는 공격자가 백엔드 문서 구조를 역추적할 수 있는 단서가 된다.

의료 데이터는 그 특성상 피해가 더 직접적이다. 노출될 수 있는 정보에는 진료 프로토콜, 보험 처리 기준, 특정 환자군 관련 내부 지침 등이 포함된다. 완전한 개인정보 유출이 아니더라도 이런 내부 문서가 외부에 알려지면 기관의 법적 책임과 평판 리스크로 이어진다.

---

AI 개발 문턱이 낮아질수록 보안 문턱도 낮아진다

이 문제의 근본에는 구조적 아이러니가 있다. AI 보조 개발 도구의 발전으로 RAG 챗봇을 구축하는 기술 문턱이 크게 낮아졌다. LangChain, LlamaIndex 같은 프레임워크와 코드 생성 AI 도구를 활용하면 개발자 한 명이 며칠 만에 의료 챗봇 프로토타입을 만들 수 있다.

배포 속도가 빨라질수록 보안 검토가 생략되는 경우가 늘어난다. 의료 기관 IT 팀은 임상 데이터 보호에는 익숙하지만, LLM 특유의 취약점인 프롬프트 인젝션, 시스템 프롬프트 노출, 벡터 데이터베이스 접근 권한 관리 등에는 상대적으로 경험이 부족하다. 결과적으로 HIPAA(미국 의료정보보호법)나 국내 의료법상 민감정보 보호 의무를 기술적으로 충족하지 못하는 시스템이 운영 중일 가능성이 높다.

과거 클라우드 전환 초기에도 비슷한 패턴이 있었다. S3 버킷 공개 설정 실수나 Elasticsearch 무인증 노출 사고가 연이어 발생했고, 이후 업계 전반의 보안 기준이 재정립됐다. RAG 의료 챗봇은 지금 그 초기 클라우드 단계와 유사한 위치에 있다.

---

한국 의료 AI 현장에 주는 시사점

국내 주요 대형 병원과 의료 스타트업을 중심으로 RAG 기반 의료 정보 제공 서비스가 빠르게 도입되고 있다. 보건복지부와 개인정보보호위원회가 AI 의료기기 가이드라인을 정비 중이지만, 현재 규제 체계는 챗봇의 학습 데이터 관리보다 서비스 운영 중 발생하는 백엔드 노출 위험에는 상대적으로 덜 집중돼 있다.

국내 개발자와 의료 IT 실무자가 지금 당장 점검해야 할 항목은 구체적이다. 우선 벡터 데이터베이스(Pinecone, Weaviate, pgvector 등)의 접근 권한이 최소 권한 원칙으로 설정됐는지 확인해야 한다. 다음으로 시스템 프롬프트가 사용자 입력에 의해 노출되지 않도록 출력 필터링 레이어가 있는지 점검해야 한다. 마지막으로 검색된 문서 조각에 문서 ID, 파일 경로, 작성자 정보 등 메타데이터가 응답으로 흘러가지 않는지 실제로 테스트해야 한다.

---

지금 당장 주목해야 할 신호

이 분야를 추적할 때 볼 기준점은 세 가지다.

첫째, OWASP LLM Top 10의 업데이트 주기다. 현재 LLM01(프롬프트 인젝션)과 LLM06(민감 정보 노출)이 이 사례와 직결된다. 새 버전이 나올 때 의료 도메인 관련 항목이 추가되거나 강화되면, 업계 전반의 리스크 인식이 실질적으로 높아졌다는 신호다.

둘째, 국내 개인정보보호위원회의 AI 서비스 실태 점검 결과다. 위원회가 의료·헬스케어 분야 AI 서비스에 대한 직권 조사를 시작하는 시점이 오면, 지금 운영 중인 챗봇들이 실제로 법적 기준에 부합하는지 가려지기 시작한다.

셋째, RAG 보안 전문 도구의 성숙 속도다. Garak, PyRIT 같은 LLM 레드팀 도구에 RAG 특화 공격 시나리오가 얼마나 빠르게 추가되는지를 보면 공격자 쪽의 관심도와 기술 수준을 가늠할 수 있다. 방어 도구보다 공격 도구가 먼저 성숙하면, 실제 사고 발생 가능성이 높아진다는 뜻이다.

---

※ 본 글은 정보 제공 목적이며 특정 제품·서비스의 추천이 아닙니다.