음식점 추천
신호리뷰 문장, 평점 편차, 방문 이력
리뷰 문장을 의미 단위(semantic_id)로 묶어 유저→식당 · 유사 식당 · 유사 유저 추천 3종을 구현하고, 리뷰어의 '평소 대비' 평점 편차와 Bayesian 랭킹 위에, 메뉴에서 시작해 로컬 가게로 좁혀 가는 서비스(Locals Only)를 운영 중입니다.
ML/AI Engineer · Data → LLM · Agent · Recommendation
정제되지 않은 데이터를LLM과 추천이 쓸 수 있게 만듭니다
광고 문구, 인사이트 스크린샷, 영상 메타데이터, 리뷰 한 문장처럼 그대로는 쓸 수 없는 데이터를 정제 파이프라인으로 구조화하고, 그 위에 LLM 판단 · 에이전트 도구 · 추천을 올려 실서비스로 운영해 온 4년차 ML/AI 엔지니어 김성록입니다. 다음은 이 방식을 취향 데이터 기반 추천으로 가져가려 합니다.
원천 데이터
정제 · 구조화
활용
일본어 광고 문구 · 법령 · 위반/정상 사례 성격별 분리 색인 · 하이브리드 RAG LLM 위반 판정 + 근거 · 대체 문구 인플루언서 인사이트 스크린샷 크롭 + OCR → 성과 지표 7개 제출값 자동 대조, 불일치만 사람이 YouTube 제목 · 설명 · 메타데이터 상품 카테고리 · 브랜드 매핑 상품에 맞는 광고 지면 추천 리뷰 2,110만 mention · 메뉴 187만 행 semantic_id · 대표메뉴 320개 유저→식당 · 음식 먼저 발견- 0.475 → 0.900
- 광고 위반 탐지 Recall (held-out 1,222건)
- −50%
- 광고 도달 예측 API 평균 응답 시간 (SingleONE)
- 187만 → 320
- 메뉴 행을 대표메뉴로 정제 (규칙 + 로컬 LLM)
- 5위 / 2,897명
- 토스 NEXT ML CHALLENGE · CTR 예측
Production · A1미디어그룹
실무에서 운영 중인 프로젝트
일본 광고 문구 법규 검수, 광고 플랫폼 백엔드, 사내 플랫폼을 맡고 있습니다. 회사 프로젝트는 공개 가능한 범위만 적었고, 각 페이지에 문제 정의 · 판단 근거 · 검증 · 한계와 다음 단계를 함께 적었습니다.
A1미디어그룹 · 운영 중
일본 광고 법규 검수 시스템
레거시 분류기를 앙상블 + RAG + LLM 의사결정 엔진으로 — 놓치는 위반 문구를 1/5로
- 위반 탐지 Recall
- 0.475 → 0.900
- macro-F1 (0.738 → 0.907)
- +16.9%p
- 놓치는 위반 문구 비율
- 52.5% → 10%
2025.02 – 현재
SingleONE 광고 플랫폼 백엔드
Mynavi baito 제휴 광고 플랫폼 — 도달 예측, 배치 검증, 배치 인프라를 1.5년간 오너십으로
- 도달 예측 API 평균 응답 시간
- −50%
- 병합 PR (276 / 1,661커밋, 약 17%)
- 83
- 도메인을 넓혀 온 오너십
- 1.5년
2026.07 – 진행 중
인플루언서 마케팅 플랫폼
1인 기획 · 개발 · 배포 — 흩어진 인플루언서 캠페인 운영을 하나의 사내 플랫폼으로
- 기획 · 회의 · 개발 · 배포 전 과정
- 1인
- OCR로 자동 대조하는 성과 지표
- 7개
- 자동 수집 플랫폼 (Instagram · YouTube)
- 2개
2026.07 – 진행 중
YouTube 게재위치 타깃팅
사내 해커톤 준우승 · 팀 리드 — 상품 카테고리로 YouTube 채널·영상을 골라 광고 지면을 추천
- 사내 해커톤 (6팀 중, 개발·싱글원본부 전원 참석)
- 준우승
- 수집한 뷰티 영상 Pool
- 15만
- 수집 키워드로 쓴 최하위 상품 카테고리
- 약 3,000개
2023.03 – 2023.12
Balance MakeUp · AI Snap
얼굴이라는 취향 신호로 만든 개인화 뷰티 서비스 — 대표의 한 줄 요청에서 출시까지
- 얼굴형 분류 · 비율 측정 항목
- 7 · 11
- AI Snap 기획 → 출시
- 80일
- 얼굴 랜드마크 기반 분석
- 468
Data first
서비스 품질의 차이는 모델 앞단의 데이터에서 납니다
LLM이든 에이전트든 추천 모델이든, 무엇을 입력으로 받느냐가 결과의 상한을 정합니다. 그래서 늘 정제되지 않은 데이터를 믿을 수 있고 다루기 쉬운 형태로 바꾸는 파이프라인부터 설계합니다. 실무와 개인 프로젝트에서 같은 패턴을 반복해 왔습니다.
-
원천일본어 광고 문구, 법령 · 가이드라인 · 위반/정상 사례
정제held-out 1,222건으로 평가 기준을 먼저 고정하고, 코퍼스를 성격별로 분리 색인해 semantic + BM25 하이브리드 검색
LLM위반 판정에 근거와 대체 문구를 붙이고, 라벨러 재검토 결과가 다시 학습 데이터로
-
원천크리에이터가 올린 형식 제각각의 인사이트 스크린샷
정제영역 크롭 + OCR로 성과 지표 7개를 추출해 제출값과 자동 대조
운영마케터가 스크린샷을 한 장씩 옮겨 적던 일을 불일치 건 확인으로
-
원천YouTube 영상 제목 · 설명 · 메타데이터
정제최하위 상품 카테고리 약 3,000개로 영상 Pool 15만 수집, 카테고리 · 브랜드 매핑과 경쟁사 탐지
추천상품에 맞는 채널 · 영상을 근거와 함께 광고 지면으로 추천
-
원천시세 · 재무 · 거시지표 · SEC 공시 등 6종 외부 소스
정제LLM이 바로 조회 · 조합할 수 있는 57개 tool 스키마로 정리
에이전트거시 → 섹터 → 종목 Top-down 리서치를 에이전트가 직접 수행
-
원천가게마다 제각각 적힌 메뉴 187만 행
정제규칙 + 로컬 LLM으로 대표메뉴 320개에 매핑 (51.6% → 73.6%), 큐레이션 어드민으로 사람이 교정
추천위치마다 '이 동네에서 잘하는 음식' 타일 → 로컬 가게
-
쩝쩝LAB 리서치연구 모임
원천리뷰 2,110만 mention
정제문장 임베딩 → UMAP + HDBSCAN으로 의미 단위(semantic_id) 군집, 노이즈 96% → 48%
추천유저→식당 · 유사 식당 · 유사 유저 추천 3종
-
Hint개인
원천카카오톡 대화 · 설문 응답
정제결 타입 4축 · 생활 속성 · 선(boundary) 3개 층으로 분리
매칭대화가 통할 사람부터 연결 (Phase 1 개발 중)
Next · Taste → Recommendation
다음으로 깊게 파고 싶은 곳: 취향 데이터 기반 추천
회사 밖에서는 같은 방식을 취향 데이터에 적용해 왔습니다. 음식점 · 여행지 · 사람 — 대상은 달라도 문제는 같습니다. 흩어진 취향 신호를 어떻게 믿을 수 있는 표현으로 바꾸고, 그걸로 무엇을 먼저 보여줄 것인가.
2024.10 – 진행 중
쩝쩝LAB 리서치
리뷰 문장을 '의미 단위'로 묶어 만든 음식점 추천 — 유저→식당 · 유사 식당 · 유사 유저
- 정제한 리뷰 mention
- 2,110만
- 군집 노이즈 (UMAP 도입 후)
- 96% → 48%
- semantic_id 기반 추천 구현
- 3종
2022 – 운영 중
Locals Only
"오늘 뭐 먹지?"에서 출발해 그 동네 로컬이 실제로 가는 가게로 좁혀 가는, 음식 먼저 맛집 발견 서비스 — 메뉴 파이프라인 · 위치별 음식 타일 · 큐레이션 어드민까지 1인 개발
- 가게 (서울 · 경기 · 제주 · 강원)
- 14.7만
- 메뉴 행 → 노출 중인 대표메뉴 카드
- 187만 → 320
- 대표메뉴 매핑 정확도 (규칙 → 규칙+LLM)
- 51.6% → 73.6%
2026.08 – 진행 중
Hint
스와이프가 아니라 대화의 '결'로 사람을 잇는 관계 매칭 플랫폼
- 결 타입 (관계 성향)
- 4축
- 결 타입 · 생활 속성 · 선(boundary)
- 3개 층
- 설계 결정 기록 (ADR)
- 13개+
여행지 · 로컬 발견
신호권역별 로컬 리뷰, 낯선 장소에서의 탐색 맥락
서울·수도권뿐 아니라 동해권(고성·속초·양양·강릉)·제주·가평, 오사카·도쿄까지 권역별로 데이터를 모았습니다. '토박이 모드'와 '여행자 모드'를 나눠 설계하고, 한국어·영어·일본어로 서비스해 외국인 여행자도 로컬 맛집을 메뉴부터 찾을 수 있게 했습니다.
사람 추천 · 매칭
신호대화 맥락, 설문 응답, 생활 속성과 '선(boundary)'
카카오톡 대화와 설문에서 관계 성향을 읽어 '결 타입'으로 매칭하는 플랫폼을 설계 중입니다. 측정(설문 문항 형식·묵종 편향)부터 매칭 단위, 안전장치까지 단계적으로 쌓고 있습니다.
More
그 밖의 프로젝트
2026.04 – 운영 중
trade-bridge
LLM이 실시간 금융 데이터를 직접 조회·조합하게 만든 57개 tool MCP 서버 — 1인 개발 · 배포
- MCP tool (+1 resource)
- 57개
- 외부 데이터 소스
- 6종
- 실사용 검증 전까지 Always Free 인프라
- 무료 티어
진행 중 · 파일럿 테스트
간호 인수인계(SBAR) AI 튜터
정답을 알려주지 않는 튜터 — 평가와 응답을 구조적으로 분리한 소크라테스식 LLM 튜터링 시뮬레이터
- 평가자 → 상태머신 → 튜터
- 3단계
- 도메인 전문가와 협업
- 2인
- Cloud Run 인스턴스 (비용 최적화)
- 0~3
2026 – 비공개 베타
Dear J
프로젝트 백로그와 '오늘 할 일'을 잇는 일정관리 앱 — 방치를 막는 행동 유도 설계
- 연속 미루면 회고에서 강제 노출
- 3회
- 검증된 로직 유지 · 재구현
- Flutter → React
랭킹 · CTR
토스 NEXT ML CHALLENGE
대규모 정형 로그 기반 광고 클릭 예측. Private 리더보드 5위 / 2,897명 (3인 팀).
How I work
방향만 받아도, 끝까지 가져갑니다
대표가 대략적인 BM과 방향을 말하면, 리서치 · PoC · 검증 · 피드백 · 테스트를 거쳐 운영까지 마무리해 왔습니다. 모든 단계에 실제 사례가 있습니다.
-
01
방향을 문제로 바꾼다
대표가 '관상 서비스'를 원했을 때, 먼저 가능 범위를 조사한 뒤 같은 기술(FaceMesh)로 더 빨리 가치를 낼 수 있는 '얼굴 비율 기반 메이크업 추천'을 대안으로 제안해 진행했습니다.
귀신 피하려다가 호랑이 만나다 → -
02
리서치로 구조를 추정한다
"하루빨리 AI 프로필 같은 걸" 이라는 요청에 경쟁 서비스(SNOW·Meitu·Carat)를 뜯어보고 '생성이 아니라 얼굴 교체'라는 구현 가설을 세워 80일 만에 AI Snap을 출시했습니다.
80일 안에 AI 서비스 배포하기 → -
03
필요한 지식은 가진 사람에게 받아온다
메이크업 전문가, 간호교육학 박사과정 연구자, 현업 주식 트레이더, CTO 기술고문, 라벨러까지 — 도메인 판단이 필요한 지점마다 직접 찾아가 요구사항을 받아 아키텍처 원칙으로 번역했습니다.
-
04
단계를 나눠 PoC부터 쌓는다
실측 분포(리뷰어 63%가 리뷰 1건)를 근거로 '학습 없는 근사검색 → 생성형 시퀀스 추천 → 랭킹 결합'의 Phase A/B/C를 나누고, 광고 검수는 ML 단독부터 LLM 위임까지 4개 운영 모드로 쪼개 위험을 통제했습니다.
-
05
검증되지 않은 건 검증되지 않았다고 쓴다
held-out 벤치마크, 실트래픽 Shadow 비교, 시점 컷오프로 리키지 차단. dry-run에서 체이닝 현상을 발견하면 전체 반영을 보류합니다. 모든 프로젝트 페이지에 '한계와 다음 단계'를 함께 적었습니다.
-
06
사람의 판단이 다시 데이터로 돌아오게 만든다
광고 검수의 '최종검토 에이전트 → 라벨러 재검토 → 재학습 → 재배포' 루프, Locals Only의 큐레이션 어드민처럼 모델이 틀린 곳을 사람이 고치고, 그 수정이 재발행에도 지켜지는 구조로 마무리합니다.
Experience
경력
A1미디어그룹 (ELINHA)
2022.10 – 현재ML/AI Engineer
일본 대상 K-뷰티 플랫폼 Checco에서 컴퓨터비전 기반 개인화 서비스로 시작해, 모회사 광고대행사에서 광고 문구 법규 검수 ML 시스템과 광고 플랫폼 백엔드를 맡고 있습니다.
- 일본 광고 약기법·경품표시법 위반 검수 시스템 개발 리드 — 앙상블 + RAG + LLM 의사결정 엔진, 지속 개선 루프
- SingleONE 광고 플랫폼(Mynavi baito 제휴) 백엔드 오너 — 도달 예측, 배치 업로드 검증, 배치 인프라
- {"사내 해커톤 팀 리드(준우승) — SingleONE YouTube 게재위치 타깃팅"=>"상품 카테고리 기반 영상 Pool 수집, 카테고리·브랜드 매핑, A/B 테스트 설계"}
- 인플루언서 마케팅 플랫폼 1인 기획·개발·배포 — 캠페인·모집·성과 제출 통합, 크롭 + OCR 성과 자동 대조, Instagram·YouTube 수집과 소싱 (2026.07–)
- 인플루언서 캠페인 성과 플랫폼 — 퍼널·전환 지표 설계, Batch ETL, PM (2025.05–08)
- 커머스 광고 성과 분석 인프라 — 시장 지표 수집 파이프라인과 성과 대시보드, ML용 피처 스키마 정의
- AI Snap(80일 출시) · Balance MakeUp — 얼굴 분석 기반 개인화 뷰티 서비스 (2023)
쩝쩝LAB (모두의연구소 추천시스템 연구 모임)
2024.10 – 2026.04모임장 · 기술 리드
12명이 함께 추천 논문 리뷰와 구현을 반복한 모임을 개설·운영. 데이터 파이프라인과 추천 아키텍처는 단독 설계.
상세 포트폴리오 요청
회사 프로젝트는 사내 정책상 공개 가능한 범위만 적었습니다. 아키텍처 다이어그램, 실험 기록, 상세 수치가 담긴 포트폴리오는 메일 주시면 보내드립니다.
메일로 요청하기 →수상 · 경진대회
- 사내 해커톤 준우승 — YouTube 게재위치 타깃팅 (팀 리드)2026 · 6개 팀 중 · 5인 팀
- 토스 NEXT ML CHALLENGE — 광고 클릭 예측(CTR) Private 5위2025 · 참가 2,897명 · 3인 팀
- Gemma 파인튜닝톤 장려상2024
- 수묵화 데이터셋 활용 공모전 장려상2023
- 오픈소스 개발자대회 동상 (KT DS상)2022
- 빅데이터 경진대회 '사회보장 유레카' 우수상2022
논문
- No country for old workers? Exploring cross-cultural perceptions of the senior workforceEducational Gerontology · 2026.02 · 공저영화 리뷰 246,632문장을 권역별로 나눠 키워드 네트워크(Louvain) 분석 — 스크래핑, 방법론 설계, 분석, 시각화 담당