에이전틱 커머스의 리스크와 규제 이슈: 프라이버시·환각·사기

개인정보는 누가, 어디까지 책임지는가

AI 에이전트가 구매를 대신 처리하려면 사용자의 구매 이력, 위치 정보, 연락처 같은 민감한 데이터를 다뤄야 합니다. 이 데이터가 유럽의 GDPR이나 한국의 개인정보보호법 같은 규제 대상이라는 점은 분명합니다. 문제는 "AI가 스스로 판단해서 구매를 진행했을 때 책임 소재가 누구에게 있는가"라는 질문에 아직 명확한 관할 기준이 없다는 것입니다. 판매자 입장에서 당장 할 수 있는 대응은, AI 플랫폼에 카탈로그를 제출할 때 개인정보 처리 관련 약관을 꼼꼼히 확인하고, 필요하다면 법률 자문을 거쳐 계약 조건을 점검하는 것입니다. 이 부분은 판매자가 단독으로 해결할 수 있는 영역이 아니므로, 규제가 명확해지기 전까지는 보수적으로 접근하는 편이 안전합니다.

실무에서 확인할 항목을 좁혀보면 세 가지입니다. 첫째, AI 플랫폼을 거쳐 우리에게 넘어오는 주문 정보에 어떤 개인정보가 포함되는지. 둘째, 그 정보를 우리가 어떤 근거로 보관하고 마케팅에 활용할 수 있는지. 셋째, 고객이 삭제나 열람을 요구했을 때 플랫폼과 우리 중 누가 응답 주체인지. 8강에서 구매 직후 CRM을 즉시 가동하라고 했지만, 그 발송의 근거가 되는 수신 동의를 어디서 어떻게 확보했는지가 정리되지 않으면 그 자체가 위반이 될 수 있습니다. CRM 설계와 개인정보 처리 근거 정리는 같이 진행해야 하는 작업입니다.

AI가 지어내는 정보, 반품으로 돌아온다

AI는 확실한 정보가 없을 때 침묵하는 대신 그럴듯한 답을 만들어내는 경향이 있습니다. 이걸 환각(hallucination)이라고 부르는데, 쇼핑 맥락에서는 상품의 소재나 사이즈, 사용법 같은 정보를 부정확하게 설명하는 형태로 나타날 수 있습니다. 이 문제가 위험한 이유는 소비자가 "AI가 알려준 정보니까 정확할 것"이라고 신뢰하는 상태에서 실제 상품을 받아보고 다르다는 걸 알게 되면, 반품이나 환불 요구뿐 아니라 브랜드 신뢰 자체가 흔들리기 때문입니다. 5강에서 다룬 구조화 데이터를 정확하고 촘촘하게 채워두는 것이, AI가 추측할 여지를 줄이는 사실상 가장 실질적인 예방책입니다.

여기서 눈여겨볼 점은 환각이 '없는 정보'를 채우려 할 때 생긴다는 것입니다. 즉 우리가 비워둔 필드가 곧 AI가 지어낼 자리입니다. 소재, 원산지, 사이즈 실측, 세탁 방법처럼 문의가 자주 들어오는 항목일수록 상세페이지 이미지 안에만 두지 말고 텍스트와 스키마 필드로 함께 남겨두는 편이 안전합니다. 이미 발생한 반품 사유를 역으로 훑어보면 어떤 정보가 비어 있는지 목록이 나옵니다. 반품 사유 상위 항목과 비어 있는 스키마 필드를 나란히 놓고 비교하는 작업은 오늘 바로 할 수 있는 점검입니다.

의도 표류, 결제 자동화의 새로운 위험

지금까지의 결제 보안은 "사람이 버튼을 누른 순간부터 책임이 발생한다"는 전제로 만들어졌습니다. 에이전틱 환경에서는 AI가 사용자의 의도를 지속적으로 추론하면서 행동하기 때문에, 처음 승인했던 범위를 벗어나 반복적으로 구매가 일어나는 '의도 표류(intent drift)' 상황이 생길 수 있습니다. 예를 들어 "생필품을 정기적으로 채워달라"는 요청이 예상보다 넓게 해석돼 불필요한 반복 구매로 이어지는 식입니다. 판매자 입장에서는 정기구독형 상품을 AI 연동으로 운영할 때 결제 승인 단계와 취소 절차를 명확히 안내하는 것이 분쟁을 줄이는 방법입니다.

분쟁이 실제로 발생했을 때를 대비한 준비도 필요합니다. 고객이 "나는 이걸 주문한 적 없다"고 주장하는 상황에서 우리가 확인할 수 있는 것은 주문 기록뿐이고, AI가 어떤 맥락으로 그 주문을 만들었는지는 우리 시스템에 남지 않습니다. 그래서 정기 결제나 자동 재주문 성격의 상품이라면 결제 직전 안내, 발송 전 확인 메시지, 취소 가능 기한처럼 고객이 멈출 수 있는 지점을 여러 곳에 만들어두는 편이 낫습니다. CS 응대 스크립트에도 이런 유형의 문의를 어떻게 처리할지 미리 정해두면, 담당자마다 답이 달라지는 문제를 막을 수 있습니다.

위조 판매자와 소비자의 착각

정교한 위조 판매자가 낮은 가격과 그럴듯한 데이터로 AI 에이전트의 결과를 조작할 가능성도 지적되고 있습니다. 문제는 소비자가 "AI가 이미 검증한 상품이니 믿어도 된다"고 착각하기 쉽다는 점입니다. 부정 판매자가 데이터만 정확하게 채워 넣으면 AI가 정상 판매자와 구분하기 어렵기 때문입니다. 정상적으로 운영하는 판매자 입장에서 이 위험을 직접 막을 방법은 없지만, 우리 브랜드의 정품 인증 정보나 공식 판매처 안내를 상세페이지와 SNS 채널에 명확히 남겨두는 것이 소비자가 위조 판매자와 우리를 구분하는 데 도움이 됩니다.

네 가지 위험을 대응 순서로 정리하면

지금까지 짚은 위험은 성격이 다릅니다. 개인정보 책임 소재와 위조 판매자 문제는 우리가 단독으로 해결할 수 없는 영역이라 계약 확인과 정보 공개로 대비하는 수준이고, 환각과 의도 표류는 우리 데이터와 안내 절차를 손보면 실제로 발생 확률이 줄어드는 영역입니다. 그래서 순서는 명확합니다. 통제 가능한 두 가지, 즉 구조화 데이터 정확성과 구매 전후 안내 절차를 먼저 정비하고, 통제 불가능한 두 가지는 약관 확인과 공식 판매처 고지로 대비선을 만들어두는 것입니다. 규제 논의가 정리되기 전까지는 이 정도가 판매자가 현실적으로 취할 수 있는 최선입니다.