블로그

RAG 평가는 색인·검색·생성 3단계가 답

단계별 지표와 CI 게이트로 품질 변동을 고정한다

RAG를 배포만 하고 평가를 빼면 품질이 어디로 움직이는지 모른다. 색인→검색→생성 각각에 표준 지표를 묶고 CI에 게이트를 건다. 이것이 2025년 현장 표준이다.

읽기 →

AX 챔피언은 교육이 아니라 확산 엔진

사람·권한·루프·보상으로 사용률을 움직인다

챔피언을 ‘교육 담당자’에 가두면 현장은 변하지 않는다. 선발·권한·운영 루프·보상을 갖춘 ‘확산 엔진’으로 설계해야 실제 사용률과 워크플로 재설계가 움직인다. 필요한 구조와 데이터 포인트를 정리했다.

읽기 →

LLM 에이전트 메모리는 컨텍스트로 끝나지 않는다

2-tier 메모리와 Context Engineering이 필수다

컨텍스트 윈도우는 200K, 10M+까지 커졌다. 그러나 지연과 잊힘은 남는다. 실전 에이전트는 core/archival 2-tier 메모리와 Context Engineering으로 설계해야 한다.

읽기 →

MLOps의 한계, AgentOps로 넘어가라

모델 배포와 에이전트 배포는 완전히 다르다

모델은 입력에 답을 내지만, 에이전트는 목표에 도달하기 위해 실행 중 경로를 만든다. 이 차이는 운영을 갈아엎는다. Control Plane, Reasoning Observability, Permission Boundary 없이 프로덕션은 무너진다.

읽기 →

AI 시대, 주니어를 얇은 시니어로 만들지 말자

멘토링·훈련·평가 체계를 즉시 재설계하라

AI는 주니어를 대체하지 않는다. 문제는 학습 회로가 줄어들며 ‘얇은 시니어’를 양산하는 것이다. 멘토링·훈련·온보딩·평가를 재설계해 설명 가능한 엔지니어로 성장시키자.

읽기 →

HITL 에스컬레이션, 임계값은 부족하다

복합 신호와 리스크 차등이 트리거를 완성한다

“신뢰도 85% 미만이면 사람”으로는 운영이 무너진다. 과신 편향, 맥락 요인, 리스크 차등, 에스컬레이션 비율 제어를 묶은 복합 트리거가 필요하다. 목표는 10~15%만 사람 개입이다.

읽기 →

MCP 표준이 바꾼 도구 통합의 경제학

N×M에서 N+M으로, 선택의 기본값이 바뀌었다

에이전트에 도구를 붙이는 방식은 2025년을 기점으로 재편됐다. MCP로 N×M 통합 비용이 구조적으로 줄었고, 커스텀 통합은 예외 처리로 남긴다. OpenAI의 공식 지원으로 표준 위에서 설계하는 편이 이득이다.

읽기 →

AI ROI 계산의 함정, 단위로 본다

부서 예산이 아닌 단위 업무당 원가로 결정

부서 단위 ROI는 지표를 흐린다. 거래·문서·의사결정 같은 단위 업무로 내려가 원가 변화를 계산해야 재무 보드가 움직인다. 송장 1건당 40–65% 절감, 안정화 후 60–90일 내 ROI 전환 같은 수치가 운영 승인을 만든다. 데이터 준비가 전체 시간·비용의 60–80%를 차지한다는 사실도 TCO에 반영해야 한다.

읽기 →

생성형 AI 거버넌스는 3층이다

정책·운영·배포를 리스크 단계로 묶어라

거버넌스를 법무 체크리스트로 몰아넣으면 현장이 멈춘다. 3층 구조(정책·운영·배포)에 리스크 단계별 차등 통제를 얹어야 속도와 안전을 동시에 확보한다. EU AI Act와 NIST 기준을 내부 규칙으로 번역하라.

읽기 →

AI 파이프라인은 데이터 계약 없인 무너진다

스키마 드리프트를 원천에서 차단하라

PoC는 돌지만 6개월 뒤 모델이 흔들리는 이유는 대부분 상류 스키마다. 데이터 계약은 스키마·의미·SLA를 API처럼 고정하고, Shift Left로 배포 전에 위반을 막는다. 관건은 기술이 아니라 조직 채택이다.

읽기 →

AX 교육, 툴 수업이면 실패한다

성인 학습 6원칙으로 업무를 다시 설계

대부분의 AX 교육이 정착되지 않는 이유는 간단하다. 성인은 도구가 아니라 자기 업무 성과를 배우기 때문이다. Andragogy 6원칙에 맞춘 사전→실습→후속 점검 구조로 워크숍을 재설계하라.

읽기 →

88% 도입, 23% 스케일의 역설

대부분은 아직 가치 실현 전 단계다

해외 리포트는 ‘도입’이 보편화됐지만 ‘스케일’은 소수라고 못 박는다. 88% 도입, 23% 스케일의 간극은 PoC 습관과 운영 부재에서 생긴다. KPI 연결, MLOps, 70% 법칙, 데이터 품질이 돌파구다.

읽기 →