티스토리 뷰
목차
너무 놀랬습니다. 전문 개발자도 아닌 법제처 사무관이 대통령 지시 한 달 만에 AI 법령비서를 직접 만들어냈다는 소식을 처음 접했을 때, 저는 "그게 가능해?" 싶었습니다. 법령과 판례 약 24만 건을 학습해 일상어로 질문하면 관련 법조문과 판례를 비교·분석해 답해주는 서비스, 직접 써볼 기회는 아직 없었지만 이 사례가 AI를 바라보는 제 시각을 꽤 많이 흔들어놓았습니다.
공무원이 직접 만든 AI, 현장 경험이 핵심이었다
저도 처음엔 AI 서비스는 대형 IT 기업이나 전문 연구진이 만드는 것이라고 막연히 생각했습니다. 그런데 이번 사례를 보면서 그 전제가 완전히 틀린 건 아니지만, 적어도 전부는 아니라는 걸 깨달았습니다.
법제처 법령정보총괄과의 이기승 사무관은 대학에서 컴퓨터공학을 전공하고 10여 년간 정부 정보화 업무를 담당해온 인물입니다. 행정안전부, 과학기술정보통신부 담당자들과 협력해 만든 이 서비스의 핵심은 기술력보다 '무엇이 필요한지 아는 사람'이 개발에 참여했다는 점입니다. 실제로 법령 업무를 해온 사람이 어떤 질문이 들어오는지, 어떤 정보가 빠지면 안 되는지를 처음부터 설계에 반영할 수 있었던 것입니다.
여기서 RAG(Retrieval-Augmented Generation) 방식을 짚고 넘어갈 필요가 있습니다. RAG란 AI가 질문을 받으면 미리 구축해놓은 특정 데이터베이스에서 관련 정보를 먼저 검색한 뒤 그것을 바탕으로 답변을 생성하는 방식입니다. 쉽게 말해 AI가 머릿속 지식만으로 답하는 게 아니라 정해진 자료집을 펼쳐서 찾아 답하는 구조입니다. 이 방식 덕분에 AI 법령비서는 법령입안심사기준 등 법제처의 전문 기준서 5종을 포함한 24만 건의 법령·행정규칙·대법원 판례·자치법규 데이터를 기반으로 답변합니다(출처: 법제처 공식 사이트).
"현장을 모르면 기술만 있어도 반쪽짜리 서비스가 나온다"는 말이 있는데, 이번 사례가 딱 그 반대를 증명한 셈입니다. 물론 이 사무관이 컴퓨터공학 전공자라는 점도 무시할 수 없습니다. 완전한 비전공자가 한 달 만에 이걸 해냈다고 보기는 어렵습니다. 다만 핵심은 기술과 현장 지식이 한 사람 혹은 한 팀 안에 함께 있었다는 것입니다.
- 학습 데이터: 법령·행정규칙·대법원 판례·자치법규 등 약 24만 건
- 전문 기준서: 법령입안심사기준 등 법제처 기준서 5종 포함
- 개발 주체: 법제처·행정안전부·과학기술정보통신부 담당자 협력
- 개발 기간: 국무회의 대통령 지시 후 약 한 달(2026년 6월 2일 지시)
환각 방지 설계, "모른다"고 말할 줄 아는 AI가 더 안전하다
AI를 꽤 자주 쓰는 입장에서 솔직히 말하면, 답변이 너무 자신 있어 보일 때 오히려 더 의심하게 됩니다. 제가 직접 써봤을 때도 AI가 없는 출처를 마치 실제인 것처럼 제시한 경험이 있어서, 법률이나 공공행정처럼 민감한 분야에 AI를 쓴다는 소식을 들으면 첫 반응이 "환각은 어떻게 처리했나?"였습니다.
이번 AI 법령비서 개발팀이 가장 공을 들인 부분도 바로 그 지점입니다. 여기서 환각(Hallucination)이란 AI가 실제로 존재하지 않는 법조문이나 판례를 사실처럼 꾸며내는 현상을 말합니다. AI 언어 모델이 그럴듯한 문장을 생성하는 과정에서 데이터에 없는 내용을 창작해버리는 것으로, 일반 글쓰기에서는 크게 문제가 안 될 수 있지만 법령 해석에서는 치명적입니다.
개발팀은 두 가지 방식으로 이 문제를 다뤘습니다. 첫째, AI가 반드시 정부가 제공한 법령 데이터베이스 안에서 근거를 찾은 뒤에만 답변하도록 시스템을 설계했습니다. 둘째, 질문이 모호할 경우 AI가 임의로 추론하는 대신 사용자에게 구체적인 사실관계를 되묻도록 만들었습니다. 지시문을 수십 차례 수정·보완했다고 하는데, 저도 프롬프트 엔지니어링(Prompt Engineering)을 조금 건드려본 경험이 있어서 그 수고로움이 어느 정도인지 짐작이 됩니다. 프롬프트 엔지니어링이란 AI에게 질문이나 지시를 어떻게 입력하느냐를 조정해 원하는 품질의 답변을 끌어내는 기술입니다.
법률 분야에서는 "모른다"고 말하는 AI가 훨씬 안전하다고 생각하는 분들도 많습니다. 저도 그 의견에 동의합니다. 다만 한 가지 덧붙이자면, 환각을 줄였다는 것이 환각이 없다는 의미는 아닙니다. 데이터 범위를 제한하고 근거 기반 답변을 설계하면 오류 빈도를 크게 낮출 수 있지만, 완전한 정확성을 보장하지는 않습니다. 특히 법령 개정이 잦거나 판례 해석이 엇갈리는 사안에서는 최신성 문제도 함께 고려해야 합니다(출처: 국가법령정보센터).
법령 검색의 한계를 넘어, AI가 실제로 쓸모 있으려면
법령 관련 자료를 직접 찾아본 적이 있는 분이라면 공감하실 겁니다. 저도 한 번 특정 계약 조항이 법적으로 문제가 없는지 확인하려고 국가법령정보센터를 뒤졌던 적이 있는데, 어떤 단어로 검색해야 하는지조차 막막했습니다. 찾은 법조문 하나가 다른 법률과 어떻게 연결되는지 파악하는 것은 더 어려웠고, 결국 법률 사무소에 문의하는 수밖에 없었습니다.
기존 법령 검색 시스템이 필요한 법조문을 찾아주는 수준이었다면, AI 법령비서는 관련 법령과 판례를 비교·분석해 1차 참고 의견까지 제시하는 방식입니다. 공무원 입장에서는 반복적인 검색과 자료 정리에 쓰던 시간을 줄이고, 더 중요한 판단과 해석에 집중할 수 있게 됩니다. 이 부분은 AI가 사람을 대체하는 것이 아니라 보조한다는 원래의 취지에 가장 잘 맞는 활용 방식이라고 생각합니다.
AI가 관련 법령·판례를 분석한다고 해서 법적 판단 자체를 대신하는 것은 아닙니다. 개발팀도 이 점을 명시했고, 답변은 정책 결정과 법 집행 전 참고하는 중간 검토 자료로만 활용된다고 선을 그었습니다. 법령 해석이 같은 조문에서도 사건의 사실관계에 따라 달라지는 경우가 많다는 걸 생각하면, 이 구분은 단순한 면책 문구가 아니라 실제로 중요한 설계 원칙입니다.
"한 달 만에 만들었다"는 점만 강조되면 AI 개발이 지나치게 쉬운 일처럼 보일 수 있다는 우려도 있는데, 저는 그 시각이 이해됩니다. 시범 서비스 출시와 장기적으로 안정적으로 운영되는 시스템은 전혀 다른 문제입니다. 정부는 시범 기간 중 발견한 오류와 공무원 의견을 반영하고, 연말까지 판례·자치법규 데이터를 보강해 2027년 1월 정식 서비스를 목표로 하고 있습니다. 정식 출시 후에도 데이터 최신성 유지, 변경 법률 반영, 보안 관리 같은 운영 과제가 계속 따라옵니다.
자주 묻는 질문
Q. AI 법령비서는 일반 국민도 사용할 수 있나요?
A. 현재는 공무원 대상 시범 서비스 단계입니다. 정부는 시범 기간 중 오류를 보완하고 데이터를 보강해 2027년 1월 정식 서비스를 목표로 하고 있으며, 일반 국민 개방 여부는 아직 공식 발표된 내용이 없습니다. 다만 법령과 판례를 쉽게 검색하고 싶은 일반인에게도 충분히 유용한 서비스가 될 가능성이 있다고 봅니다.
Q. AI가 틀린 법령을 알려줬을 때 책임은 누가 지나요?
A. 이 서비스는 정책 결정과 법 집행 전 참고하는 중간 검토 자료로만 활용됩니다. 최종 법적 판단의 책임은 해당 업무를 담당하는 공무원에게 있습니다. AI 법령비서의 답변을 그대로 최종 결론으로 쓰는 구조가 아니라는 점이 핵심입니다. 다만 오류가 발생했을 때 누가 검증하고 어떤 절차로 수정하는지 운영 체계를 명확히 하는 것이 장기적으로 중요하다고 생각합니다.
Q. 환각 방지 설계를 했다고 하는데, 그럼 오류가 없는 건가요?
A. 아닙니다. 환각 방지 설계는 오류 빈도를 낮추는 방법이지 오류를 완전히 없애는 방법이 아닙니다. RAG 방식으로 데이터 범위를 제한하고 근거 기반 답변을 유도했지만, 법령이 개정되거나 판례가 새로 나올 경우 데이터가 업데이트되지 않으면 틀린 정보를 줄 수 있습니다. 사용자가 AI의 답변과 함께 제시된 출처 법조문을 직접 확인하는 습관이 필요합니다.
Q. 법령 검색 시스템이 이미 있는데 AI 법령비서가 뭐가 다른가요?
A. 기존 법령 검색 시스템은 특정 키워드를 알아야 관련 조문을 찾을 수 있는 구조입니다. AI 법령비서는 일상 언어로 질문하면 관련 법령과 판례를 비교·분석해 1차 참고 의견까지 제시합니다. 어떤 단어로 검색해야 할지조차 모르는 상황에서 특히 유용하고, 여러 법률이 교차하는 복잡한 사안을 한 번에 정리해준다는 점이 차별점입니다.
결론
이번 AI 법령비서 사례에서 제가 가장 크게 느낀 것은, AI를 잘 쓰려면 기술만큼 업무 이해가 중요하다는 점입니다. 앞으로는 AI를 직접 개발하는 능력 못지않게 내가 잘 아는 분야에 AI를 어떻게 적용할지 고민하는 능력이 점점 중요해질 것 같습니다. 그 관점에서 이번 사례는 꽤 의미 있는 선례라고 봅니다.
다만 AI의 답변을 그대로 믿는 순간 또 다른 문제가 생길 수 있다는 점은 늘 염두에 두어야 합니다. 빠른 1차 검토 도구로 활용하되 최종 판단은 사람이 책임지는 구조, 그리고 오류가 생겼을 때 검증할 수 있는 운영 체계가 함께 갖춰질 때 이 서비스가 실제로 쓸모 있는 공공 인프라가 될 수 있다고 생각합니다. 정식 서비스 출시 전 시범 기간 동안 얼마나 꼼꼼하게 보완하느냐가 관건입니다.