나. 인공지능기본법상 인공지능 이용 사업자의 의무
2025년 1월 21일 공포된 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제20676호, 이하 ‘인공지능기본법’)이 2026년 1월 22일부터 시행되고 있습니다. 인공지능기본법 제2조 제4호는 ‘고영향 인공지능’의 적용 영역으로 에너지 · 먹는 물 · 보건의료 · 원자력 · 생체인식 · 채용 · 대출 심사 · 교통 · 공공서비스 · 학생 평가 등 10개 영역을 열거하고 있습니다. 인공지능을 이용한 안전관리 자체가 명시돼 있지는 않으나, 위 각목에서 명시된 영역에서 활용되는 AI 기반 안전관리시스템은 검 · 인증(제30조), 안전성 · 신뢰성 확보 조치(제34조) 등의 대상인 고영향 인공지능에 해당할 수 있습니다.
인공지능기본법 제2조 제7호는 의무 주체인 ‘인공지능 사업자’를 ①인공지능개발사업자(가목)와 ②인공지능 이용 사업자(나목, ‘가목의 사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능 서비스를 제공하는 자’)로 구분합니다. 문언상 인공지능이용사업자는 인공지능제품 또는 인공지능서비스를 ‘제공하는 자’이므로, 외부 솔루션 공급업체로부터 AI 안전관리 시스템을 도입하여 자신의 사업장 안전관리에 활용하는 데 그치는 사업주는 원칙적으로 ‘이용자’(같은 조 제8호)에 해당하여 위 책무의 직접적인 수범자가 아니라고 해석될 가능성이 있습니다. 그러나 사업주가 구축 · 운영하는 안전관리 플랫폼을 협력업체, 관계회사 등 제3자에게 제공하는 경우, 인공지능의 구체적 사양과 기능을 지정하여 시스템 개발을 위탁하는 경우 등에는 사업주도 인공지능이용사업자 내지 인공지능개발사업자로 평가될 수 있으므로, 외부 공급업체의 책임이라는 이유만으로 관련 규율로부터 자유롭다고 단정하기는 어렵습니다.
나아가 인공지능기본법 제34조 제1항은 고영향 인공지능과 관련한 인공지능 사업자의 책무로, ①위험관리 방안 수립 · 운영, ②설명 방안 수립 · 시행, ③이용자 보호 방안 수립 · 운영, ④사람의 관리 · 감독, ⑤안전성 · 신뢰성 확보 조치 문서의 작성 · 보관 등의 책무를 부과하고 있습니다. 과학기술정보통신부가 발표한 ‘고영향 인공지능 사업자 책무 가이드라인’에서는 위 ④의 ‘사람의 관리 · 감독’ 의무를 Human-in-the-loop(인공지능이 의사결정을 수행하지 않으며, 사람이 수행하는 의사결정에 보조적인 용도로 사용), Human-over-the-loop(인공지능이 의사결정을 수행하나 사람이 해당 결과를 모니터링하고 최종 결정에 개입), Human-out-of-the-loop(인공지능이 독립적으로 의사결정)의 세 단계로 분류하면서, 개발사업자는 사람이 인공지능의 작동과 결과 도출을 식별하고 개입할 수 있도록 설계해야 하고, 이용 사업자는 예외 상황 등 발생 시 사람이 해당 문제를 진단하고 조치할 수 있는 권한과 도구를 갖출 것을 요구하고 있습니다.
다. EU AI Act상 인적 감독 의무
유럽연합(EU)은 최근 AI 기술에 관한 포괄적인 규정인 ‘인공지능에 관한 조화규칙[Regulation (EU) 2024/1689, 이하 ‘EU AI Act’]’을 2024년 6월 13일 제정했고, 이는 2024년 8월부터 발효됐습니다(고위험 AI에 대한 의무 조항은 2027년 12월부터 시행).
EU AI Act 부속서(Annex) III 제2항은 핵심 디지털 기반 시설의 관리 및 운용, 도로교통 또는 물, 가스, 열 · 전기의 공급에서 안전 구성요소로 사용할 인공지능 시스템을 고위험 AI로 분류합니다. 일반 제조업 · 건설업 사업장의 안전관리시스템이 동 조항에 직접 포섭된다고 보기는 어려우나, 전력 · 가스 · 수도 등 핵심 인프라 운영 사업장의 안전관리 AI는 적용 대상이 될 수 있습니다.
또한 부속서 III 제4항 ⒝호는 개인의 행동 또는 개인 특성이나 특징을 기반으로 업무를 할당하거나 이러한 관계에서 사람의 성과 및 행동을 모니터하고 평가하기 위해 사용할 인공지능 시스템을 고용 · 근로자 관리 영역의 고위험 AI로 별도 분류하고 있어, 작업자의 행동 · 생체 정보 등을 실시간 모니터링 · 분석하는 형태의 안전관리 AI도 이 항목에 포섭될 가능성을 완전히 배제하기는 어렵습니다.
EU AI Act 제14조는 고위험 AI에 대한 ‘Human Over-sight(인적 감독)’ 의무를 규정하면서, 제2항에서 AI에 대한 사람의 감독 목적이 ‘건강, 안전 또는 기본권에 대한 위험을 방지 · 최소화하는 것’에 있음을 명시하고 있습니다. 특히 같은 조 제4항은 인적 감독 의무를 수행하는 사람이 행할 수 있어야 하는 사항으로 ⒜AI 시스템의 능력과 한계에 대한 적절한 이해와 운용 모니터링, ⒝자동화 편향(Automation Bias)에 대한 인식, ⒞산출물의 정확한 해석, ⒟AI 시스템을 사용하지 아니하거나 그 산출물을 무시 · 전환할 권한, ⒠‘정지’ 버튼 또는 유사한 절차를 통한 안전한 중지 권한을 열거하고 있습니다. 이와 같은 의무는 안전보건관리체계 내에서 AI 시스템을 운용하는 안전보건관리책임자 등의 경우 참고할 만한 기준이 될 수 있을 것입니다.
4. 실무상 유의점
가. AI 시스템 도입과 안전보건확보의무 이행 여부
AI 안전관리시스템의 도입 사실만으로 관련 안전보건확보의무를 이행한 것으로 평가하기는 어려울 것입니다. 중대재해처벌법 시행령 제4조 각 호의 체계 구축 및 이행에 관한 의무는 AI 시스템의 도입과 별개로 독자적으로 평가되며, AI 시스템은 그 의무 이행의 보조 수단임을 명확히 인식할 필요가 있습니다.
오히려 다음과 같은 경우에는 AI 시스템 도입에도 불구하고 책임 가중 사유로 작용할 수 있다는 점에 유의해야 할 것입니다. ①AI 시스템 도입을 명목으로 인적 안전관리 인력을 축소 · 재배치한 경우, ②AI 시스템 도입 예산만 편성되고 안전관리자 · 관리감독자 교육 예산이 감소한 경우, ③AI의 경보, 알람에 대한 인적 대응 매뉴얼이 부재한 경우, ④AI 시스템 도입 후 사업장의 안전 · 보건 목표와 경영방침이 그에 부합하도록 정비되지 않은 경우 등이 그러합니다.
나. AI 시스템의 오작동과 책임 분배
AI 안전관리시스템은 본질적으로 통계적 모델에 기초하므로 오탐지(False Positive)와 미탐지(False Negative) 등 오작동을 완전히 제거할 수 없습니다. 특히 야간 · 악천후 · 조명 불량 등 환경 조건이 열악한 경우 또는 학습 데이터에 없던 새로운 위험 패턴이 발생하는 경우 시스템의 정확도가 급격히 저하될 수 있습니다.
AI 시스템의 오작동으로 중대재해가 발생한 경우 책임 분배는 다음과 같이 나눠 볼 수 있습니다. 먼저, AI 시스템의 한계가 도입 단계에서 충분히 평가되고 안전보건관리규정에 명시됐으며 그에 부합하는 인적 감독, 점검 시스템이 마련돼 있는 경우라면, AI의 미탐지가 곧바로 경영책임자의 책임으로 귀속된다고 보기는 어려울 것입니다. 반대로 AI 시스템의 한계 등 평가 없이 인적 감독을 축소한 경우 또는 확인된 AI 시스템의 한계 영역에 대한 인적 대응 절차가 부재한 경우라면, AI의 미탐지로 인한 사고는 시스템적 결함의 결과로 평가돼 경영책임자에게 책임이 귀속될 가능성을 배제하기 어렵습니다.
다. 외부 위탁과 면책의 한계
수원고등법원 2025노1502 판결은 산업안전보건법상 위험성평가를 외부 컨설팅 기관에 위탁해 실시한 사안에 관해, 위험성평가를 위탁 실시했다는 사정만으로 관련 업무 절차를 마련할 사업주의 의무까지 면제되지는 않는다고 판시했습니다. AI 안전관리시스템은 대부분 외부 솔루션 공급업체로부터 도입되며, 시스템의 운영 · 유지보수도 외부 업체가 위탁받아 수행하는 경우가 많습니다. AI 안전관리시스템의 운영에 관한 외부 위탁 시에도 유사한 법리가 적용될 수 있을 것입니다.
특히, ①AI 시스템이 구체적으로 어떠한 사업장 내 유해 · 위험 요소를 감지하도록 설정할 것인지에 관한 의사결정, ②AI 시스템의 결과 탐지 시 인적 대응 절차의 마련, ③AI 시스템의 한계 또는 사각지대에 대한 감독 및 평가는 경영책임자의 의무로 판단될 가능성이 높습니다.
라. AI 작동에 대한 인적 감독의 필요성
AI 안전관리시스템의 핵심 가치는 사고 발생 전 위험 신호를 안전보건관리체계 내로 전달하는 데 있습니다. 그러나 AI 시스템이 관련 위험 요인을 도출하더라도 그에 대한 인적 대응이 부재하거나 형해화돼 있다면 시스템 도입의 효과는 무력화됩니다. 따라서 AI 시스템 도입 단계에서 ①AI 경보의 위험도별 등급과 등급별 대응 절차, ②각 등급별 대응 주체(현장 작업자 · 관리감독자 · 안전관리자 · 경영책임자 등), ③대응 기준, ④대응 결과의 기록 · 보고 절차 등을 사전에 명문화할 것이 요구됩니다.
안전관리자 · 관리감독자 등 안전보건관리체계 내 핵심 인력에 대한 AI 시스템의 작동 원리, 한계, 오탐지 · 미탐지 가능성, 환경 조건별 성능 변화 등 정기 교육을 통해 AI 시스템에 관한 비판적 검토 역량을 제고할 필요도 있습니다. 특히 EU AI Act 제14조 제4항이 요구하는 인적 감독의 5가지 기준을 AI 안전관리시스템 관련 직무 기준에 반영하는 방안도 고려할 수 있는데, 특히 ⒟AI 시스템을 사용하지 아니하거나 그 산출물을 무시 · 전환할 권한과 ⒠안전한 중지 권한에 대해서는 그 행사에 대한 합리적인 기준 마련도 함께 이루어져야 할 것입니다.
5. 마치며
AI 안전관리시스템이 안전보건관리체계 구축 · 이행에 기여할 수 있는 유효한 수단임을 부정하기는 어렵습니다. 그러나 AI 시스템 도입은 새로운 차원의 의무 이행을 요구하고 있습니다. 인공지능기본법 제34조 제1항의 사업자의 책무, 과학기술정보통신부 가이드라인이 제시한 사람의 관리 · 감독 의무, EU AI Act 제14조의 ‘인적 감독(Human Oversight)’ 의무는 공통적으로, AI 시스템의 작동 과정에 사람이 개입하고 책임을 부담할 것을 요구하고 있기 때문입니다. 향후 AI 안전관리시스템을 통해 이루어진 안전보건관리체계 구축 · 이행에 관한 유관기관의 판단 사례, 인공지능기본법 시행 이후 관련 시스템 운용 사례 축적에 따라 관련 논의가 보다 정교화될 수 있을 것으로 예상됩니다.
✻ 이 글은 월간 노동법률 2026년 6월호에 게재된 글을 수정 보완한 것입니다.