AI가 추천해주는 상품, 어떻게 가능할까?

AI가 추천해주는 상품, 어떻게 가능할까? : 추천시스템의 작동원리

오늘도 쇼핑앱을 열자마자 ‘딱 내 취향’ 같은 상품이 눈에 띄었어요. 마치 내가 검색하기도 전에 마음을 읽은 것처럼요. 도대체 AI는 어떻게 이런 추천을 만들어낼까요? 데이터가 쌓이는 순간부터 모델이 작동하는 흐름, 그리고 보이지 않는 평가와 윤리의 기준까지—알고 나면 쇼핑의 무대 뒤편이 한눈에 보입니다. 21일차인 오늘은 ‘추천 시스템의 작동 원리’를 중심으로, 협업 필터링부터 최신 트랜스포머·그래프 신경망까지 핵심만 콕 집어 설명해 드릴게요.

1. 추천 시스템의 작동 원리 2. 데이터 수집과 전처리의 뼈대 3. 협업 필터링 vs 콘텐츠 기반 4. 딥러닝 시대의 추천: 트랜스포머와 GNN 5. 추천 품질 평가는 어떻게 할까? 6. 프라이버시·공정성·규제 체크리스트

 

추천 시스템의 작동 원리

“the current generation of recommendation methods are usually classified into three main categories: content-based, collaborative, and hybrid.”
— IEEE TKDE (Adomavicius & Tuzhilin), 2005

추천은 결국 “무엇을 좋아할지 예측”하는 문제예요. 시스템은 사용자의 행동(조회·장바구니·구매·평가)과 상품의 속성(카테고리·가격·텍스트·이미지)을 받아, 유사한 취향을 묶어 주거나 아이템 자체의 특성을 이해해 후보를 뽑고, 마지막에 랭킹 모델이 순서를 매깁니다. 고전적으로는 콘텐츠 기반, 협업 필터링, 그리고 두 방식을 섞은 하이브리드가 널리 쓰입니다 (Adomavicius & Tuzhilin). :contentReference[oaicite:0]{index=0}

대규모 서비스에서는 보통 후보생성 → 랭킹 → 재랭킹의 파이프라인으로 나뉘어요. 예를 들어 유튜브는 “깊은 후보 생성 모델과 별도의 깊은 랭킹 모델”이라는 2단계 구조를 공개했죠. 이 구조는 속도와 품질을 동시에 잡기 위한 산업계 표준처럼 자리 잡았습니다 (RecSys 2016). :contentReference[oaicite:1]{index=1}

데이터 수집과 전처리의 뼈대

 

좋은 추천은 데이터에서 시작돼요. 로그 스키마를 설계해 클릭·스크롤·체류시간 같은 이벤트를 수집하고, feature store에 정제·표준화해요. 스팸·봇·반품 등 잡음을 제거하고, 시간 누락·이상치를 다루며, 개인식별정보는 해싱·가명처리를 통해 안전하게 취급합니다. 마지막으로 오프라인 학습 세트/검증 세트로 분리하고, 온라인 환경에서는 실험군/대조군 트래픽을 나눠 성능을 추적하죠.

단계	핵심 작업 & 팁
수집	이벤트 스키마 정의(세션/유저/아이템 키), 지연·누락 대비 버퍼링, PII 분리
정제·전처리	이상치 제거, 결측치 보간, 카테고리 인코딩, 텍스트/이미지 임베딩 생성
피처 관리	피처 버저닝, 온라인/오프라인 스키마 동기화, 데이터 드리프트 모니터링
학습·검증	시간 순 분할, cold-start 시뮬레이션, 하이퍼파라미터 탐색
온라인 실험	A/B 테스트, 유의수준·검정력 설정, 쿠키/세션 고정

이렇게 준비된 데이터 위에 후보생성과 랭킹을 얹으면, 실전에서 빠르고 일관된 추천을 만들 수 있어요. 유튜브 사례처럼 대규모 추천은 보통 실시간 특징 계산과 배치를 병행합니다 (RecSys 2016). :contentReference[oaicite:2]{index=2}

협업 필터링 vs 콘텐츠 기반

 

두 축의 사고방식이 달라요. 협업 필터링은 “사람들의 행동 패턴이 비슷하면 취향도 비슷하다”는 가정, 콘텐츠 기반은 “아이템의 속성 유사성이 곧 선호 유사성”이라는 가정에서 출발합니다. 보통은 장단점을 보완하기 위해 하이브리드 구성이 널리 쓰입니다 (분류 체계의 원형은 Adomavicius & Tuzhilin). :contentReference[oaicite:3]{index=3}

• 협업 필터링: 사용자/아이템 임베딩을 학습해 이웃이나 내적 유사도로 추천. 콜드스타트에 약함.
• 콘텐츠 기반: 카탈로그 메타데이터·텍스트/이미지 임베딩으로 유사 아이템 추천. 과도한 편식 위험.
• 하이브리드: 협업 + 콘텐츠를 결합해 희소성·신규 아이템 문제를 완화.
• 실무 팁: 탐색(explore)과 활용(exploit)의 균형을 위해 다양성·신규성 가중치를 재랭킹 단계에 추가.

 

딥러닝 시대의 추천: 트랜스포머와 GNN

“We propose to model user behavior sequences with a bidirectional self-attention network through Cloze task.”
— ACM CIKM (BERT4Rec), 2019

 

최근 추천의 대세는 시퀀스(순서) 이해예요. 사람의 취향은 시간에 따라 흐르고, 바로 그 ‘흐름’을 학습하는 데 트랜스포머가 강합니다. BERT4Rec은 마스크된 아이템을 맞히는 방식으로 양방향 문맥을 배우고, 다음에 무엇을 볼지 더 정교하게 예측해요 (BERT4Rec). :contentReference[oaicite:4]{index=4}

소셜 그래프나 카테고리 관계가 중요한 서비스라면 그래프 신경망(GNN)이 유용해요. 사용자–아이템을 노드·엣지로 보고, 이웃의 신호를 전파(aggregation)해 임베딩을 업데이트하죠. 이렇게 얻은 표현은 후보생성과 재랭킹 모두에서 강력합니다. 최근 설문·서베이는 NDCG, Recall 같은 순위 지표와 함께 그래프 기반 추천의 성능을 폭넓게 비교하고 있어요. :contentReference[oaicite:5]{index=5}

추천 품질 평가는 어떻게 할까?

하나의 숫자만으로 좋은 추천을 정의할 수는 없어요. 최신 프레임워크는 다면적 평가를 권장합니다. 관련성(Precision@K, NDCG), 탐색성·다양성(Coverage, Diversity), 비즈니스 성과(CTR, 전환율), 온라인 실험(A/B 테스트의 통계적 유의성)까지 종합적으로 봐야 해요 (ACM FEVR, 2022). :contentReference[oaicite:6]{index=6}

평가 축	대표 지표 & 해설
오프라인 관련성	Precision@K, Recall@K, NDCG: 순서 민감도를 반영해 상위 노출에 가중치
탐색성·다양성	Coverage, Novelty, Serendipity: 과적합·편식 방지, 장기 만족도 향상
온라인 지표	CTR, CVR, 세션당 매출; 유의수준/검정력으로 효과 검증
설명가능성	노출 이유 설명, 사용자 신뢰·피드백 품질 개선

특히 신뢰할 수 있는 시스템을 지향한다면 공정성·커버리지 같은 보조 지표를 함께 추적해야 해요. 최신 ACM 서베이는 신뢰할 수 있는 추천을 위해 NDCG, Precision/Recall뿐 아니라 커버리지 등 균형지표를 병행할 것을 제안합니다. :contentReference[oaicite:7]{index=7}

프라이버시·공정성·규제 체크리스트

멋진 모델도 신뢰를 잃으면 의미가 없죠. 데이터 최소수집, 가명처리, 목적 외 사용 금지 같은 기본을 지키되, 바이어스 탐지·완화 절차를 운영에 포함하세요. HBR는 “편향 제거가 공정한 AI의 출발점일 뿐”이라고 강조합니다—비즈니스 전반의 설계·운영에서 공정성을 재검토해야 한다는 뜻이죠. :contentReference[oaicite:8]{index=8}

• 프라이버시: PII 분리·암호화, 데이터 보존 기간 설정, 접근통제·사용 이력 로깅
• 공정성: 집단 간 노출·전환 차이 모니터링, 디버깅용 반factual 시뮬레이션
• 투명성: “왜 이 상품이 떴는가”를 설명하는 노출 사유 UI, 거부·피드백 경로 제공
• 거버넌스: 모델 변경 시 사전 위험평가, A/B 실험의 윤리 리뷰, 롤백 플랜

공정성 이슈는 평판·매출에도 장기적 영향을 줘요. 편향이 이익을 잠식한다는 경고 역시 경영학 연구에서 반복 확인됩니다. 즉, 책임 있는 설계가 곧 지속 가능한 성장 전략입니다. :contentReference[oaicite:9]{index=9}

Q&A

Q1) 콜드스타트(신규 상품·신규 사용자)는 어떻게 다루나요?

A1) 콘텐츠 기반 특징(텍스트·이미지 임베딩)과 인기/트렌드 피쳐로 초기 노출을 확보하고, 탐색 비율을 높여 학습 데이터를 빠르게 축적합니다. 세그먼트별 베이스라인 추천을 함께 제공하면 안정적이에요.

Q2) 협업 필터링과 트랜스포머 중 무엇이 더 좋나요?

A2) 데이터와 목표에 달렸습니다. 상호작용 시퀀스가 풍부하고 맥락 변화가 빠르면 트랜스포머가 강하고, 아이템·사용자 풀이 크고 희소하면 협업 필터링이 효율적이에요. 실무에선 하이브리드로 결합합니다 (분류 체계는 IEEE/ACM 권고 참조).

Q3) 어떤 지표로 배포 여부를 결정하나요?

A3) 오프라인(NDCG/Recall) 개선이 확인되면 작은 트래픽으로 A/B 테스트를 열고, CTR·전환·다양성·공정성 지표를 모두 통과할 때 점진 배포합니다 (ACM FEVR의 다면 평가 원칙).

Q4) 과한 개인화로 ‘편식’이 심해지면요?

A4) 재랭킹에서 다양성·신규성 가중치를 주고, 탐색 슬롯을 고정 확보해 필터버블을 완화합니다. 주기적 리셋·탐색 캠페인도 효과적이에요.

Q5) 편향을 줄이려면 무엇부터 시작하죠?

A5) 데이터 표본의 대표성 점검 → 민감속성 프록시 탐지 → 지표 분해(집단별 노출·전환) → 완화 기법(재랭킹 제약, 균형 가중치) 순으로요. 경영 레벨의 의사결정·거버넌스가 함께 가야 효과가 납니다 (HBR).

마치며

쇼핑앱이 내 마음을 ‘알아챈’ 듯 느껴지는 이유, 이제 보이죠? 데이터를 수집·정제하고, 후보를 뽑아 랭킹하고, 실험으로 검증하는 공정이 촘촘하게 연결되어 있기 때문이에요. 고전 이론(콘텐츠·협업·하이브리드)에서 출발해, 시퀀스 이해를 강화한 트랜스포머와 그래프 신경망으로 진화했고, 평가는 NDCG·Recall 같은 관련성 지표를 넘어 다양성·공정성·비즈니스 임팩트까지 확장되었습니다. 여기에 프라이버시와 책임 있는 운영 원칙이 더해질 때, 추천은 단기 클릭을 넘어 장기 신뢰를 창출합니다. 다음에 “어, 이거 좋다!” 싶은 상품이 뜬다면—그 뒤에서 쉼 없이 달리는 데이터와 모델, 그리고 수많은 실험을 떠올려 보세요. 그 깨달음이 더 똑똑한 쇼핑 선택으로 이어질 거예요.

 

 

AI 추천은 콘텐츠·협업·하이브리드의 원리를 바탕으로, 대규모 파이프라인(후보생성→랭킹→재랭킹)과 트랜스포머·GNN 같은 현대 기법을 결합해 개인화 정확도와 다양성을 함께 높이며, 평가에서는 NDCG·Recall·CTR뿐 아니라 공정성과 프라이버시까지 종합적으로 최적화한다.