AX Ops 방법론
AX Ops 방법론 카테고리의 글 모음.
-
신뢰는 런타임에서 재야 한다
에이전트 평가는 운영 중 제동까지 이어져야 한다
ARS·RGC·ACR·PAAS는 에이전트를 사후 채점하는 장식 지표가 아니다. 운영 중 판단·근거·출처·정책 준수를 측정하고, 자동 실행 권한을 조절하는 제어 신호다.
읽기 → -
에이전트는 게이트를 통과해야 한다
평가는 보고서가 아니라 배포 조건이다
에이전트 평가는 출시 전 발표자료가 아니라 배포 파이프라인의 차단 장치다. 프롬프트, 모델, tool, memory가 바뀌면 CI/CD에서 같은 기준으로 막아야 한다.
읽기 → -
MCP는 연결보다 경계다
내부 도구 래핑은 권한 절단부터 시작한다
MCP 서버는 내부 API를 AI에 붙이는 얇은 어댑터가 아니다. 도구 정의, 권한, 전송 방식, 관측 체계를 함께 설계해야 운영에서 사고가 나지 않는다.
읽기 → -
에이전트는 네 지표로 산다
trace보다 운영 지표가 먼저다
프로덕션 에이전트 observability는 로그 수집이 아니다. 업무 완료, 도구 실행, 컨텍스트 품질, 실행 예산을 한 흐름으로 잡아야 운영 판단이 선다.
읽기 → -
AgentOps는 MLOps 이후다
모델 관리에서 행동 관리로 전환한다
AgentOps는 MLOps 도구를 하나 더 붙이는 일이 아니다. 모델 산출물 관리에서 에이전트 행동, 도구 호출, 사람 개입, 실패 복구를 운영하는 체계로 넘어가는 일이다.
읽기 → -
킥오프 첫 2주에 12문항을 고정하라
AI 프로젝트의 성패는 2주차 결정이 좌우한다
AI 프로젝트는 킥오프 2주에 무엇을 고정했는지로 결과가 갈린다. 비즈니스·데이터·기술·거버넌스 4축에서 12문항을 합의하고 문서화하라. 운영 KPI(uptime 99.9%, p95 800ms)와 RACI·의사소통·데이터 소유권·계약 조항까지 이때 잠그면 이후는 실행이다.
읽기 → -
RAG 평가는 색인·검색·생성 3단계가 답
단계별 지표와 CI 게이트로 품질 변동을 고정한다
RAG를 배포만 하고 평가를 빼면 품질이 어디로 움직이는지 모른다. 색인→검색→생성 각각에 표준 지표를 묶고 CI에 게이트를 건다. 이것이 2025년 현장 표준이다.
읽기 → -
MLOps의 한계, AgentOps로 넘어가라
모델 배포와 에이전트 배포는 완전히 다르다
모델은 입력에 답을 내지만, 에이전트는 목표에 도달하기 위해 실행 중 경로를 만든다. 이 차이는 운영을 갈아엎는다. Control Plane, Reasoning Observability, Permission Boundary 없이 프로덕션은 무너진다.
읽기 → -
AI 파이프라인은 데이터 계약 없인 무너진다
스키마 드리프트를 원천에서 차단하라
PoC는 돌지만 6개월 뒤 모델이 흔들리는 이유는 대부분 상류 스키마다. 데이터 계약은 스키마·의미·SLA를 API처럼 고정하고, Shift Left로 배포 전에 위반을 막는다. 관건은 기술이 아니라 조직 채택이다.
읽기 →