Istio 트래픽 미러링과 지연 주입으로 카오스 테스트
새 버전을 프로덕션에 올리기 직전, “실제 트래픽에서는 어떻게 동작할까”라는 질문에 명쾌하게 답할 수 있는 팀은 많지 않습니다. 스테이징을 통과한 코드가 실 사용자 요청 패턴, 특정 헤더…
서버·CI/CD·AI 개발 최적화 실전 노트 — 파이프라인, 인프라, 모델 서빙까지 현장에서 검증한 방법만 기록합니다.
새 버전을 프로덕션에 올리기 직전, “실제 트래픽에서는 어떻게 동작할까”라는 질문에 명쾌하게 답할 수 있는 팀은 많지 않습니다. 스테이징을 통과한 코드가 실 사용자 요청 패턴, 특정 헤더…
LLM 애플리케이션을 프로덕션에 올리면, 전통적인 웹 관측성 도구만으로는 설명되지 않는 공백이 생깁니다. HTTP 상태 코드는 200인데 사용자는 “답이 틀렸다”고 하고, 지연은 평균적으로 괜찮은데 특정 요청만 30초씩…
기능 브랜치에서 UI를 고쳤는데 리뷰어가 그 변화를 확인하려고 브랜치를 체크아웃해 로컬에 띄워봐야 한다면 리뷰의 마찰이 크게 늘어난다. 코드 diff만 보고 “버튼 정렬이 실제로 어떻게 보이는지”, “이…
리드 레플리카는 읽기 부하를 분산하는 가장 손쉬운 확장 수단이지만, 동시에 서비스 데이터 정합성을 가장 흔하게 무너뜨리는 원인이기도 합니다. 방금 작성한 글이 목록에서 사라지거나 결제 직후 잔액이…
단일 에이전트로 처리하던 작업이 커지면, 하나의 프롬프트 안에 도구 수십 개와 상충하는 지시가 뒤섞이기 시작합니다. 컨텍스트가 길어질수록 모델은 앞쪽 지시를 잊고, 도구 선택은 흔들리며, 디버깅은 “어디서…
쿠버네티스에 애플리케이션을 배포하다 보면 매니페스트가 순식간에 수십 개로 불어난다. Deployment, Service, ConfigMap, Ingress, HPA가 환경마다 조금씩 다르고, 이미지 태그 하나 바꾸려고 여러 파일을 손대다 보면 “지금…
동시 접속 수만 건을 처리하는 서버를 운영하다 보면, 애플리케이션 코드는 최적화가 끝났는데도 처리량이 어느 지점에서 벽에 부딪히는 경험을 하게 됩니다. CPU도 메모리도 여유가 있는데 새 연결이…
기능 브랜치에서 UI를 고쳤는데 리뷰어가 그 변화를 확인하려고 브랜치를 체크아웃해 로컬에 띄워봐야 한다면 리뷰의 마찰이 크게 늘어난다. 코드 diff만 보고 “버튼 정렬이 실제로 어떻게 보이는지”, “이…
쿠버네티스에 애플리케이션을 배포하다 보면 매니페스트가 순식간에 수십 개로 불어난다. Deployment, Service, ConfigMap, Ingress, HPA가 환경마다 조금씩 다르고, 이미지 태그 하나 바꾸려고 여러 파일을 손대다 보면 “지금…
대부분의 CI 도구는 쿠버네티스 바깥에 살면서 클러스터를 원격으로 조종한다. Jenkins 마스터, GitLab 러너, GitHub Actions 워커가 kubectl apply나 헬름 명령을 던지는 구조다. 익숙하지만, 파이프라인의 상태·권한·확장이 전부…
LLM 애플리케이션을 프로덕션에 올리면, 전통적인 웹 관측성 도구만으로는 설명되지 않는 공백이 생깁니다. HTTP 상태 코드는 200인데 사용자는 “답이 틀렸다”고 하고, 지연은 평균적으로 괜찮은데 특정 요청만 30초씩…
단일 에이전트로 처리하던 작업이 커지면, 하나의 프롬프트 안에 도구 수십 개와 상충하는 지시가 뒤섞이기 시작합니다. 컨텍스트가 길어질수록 모델은 앞쪽 지시를 잊고, 도구 선택은 흔들리며, 디버깅은 “어디서…
LLM을 실제 파이프라인에 연결하는 순간 가장 먼저 부딪히는 벽은 “모델의 답이 문장”이라는 사실입니다. 다운스트림 코드가 필요한 건 if resp["risk"] == "high"처럼 바로 분기할 수 있는 필드입니다.…
새 버전을 프로덕션에 올리기 직전, “실제 트래픽에서는 어떻게 동작할까”라는 질문에 명쾌하게 답할 수 있는 팀은 많지 않습니다. 스테이징을 통과한 코드가 실 사용자 요청 패턴, 특정 헤더…
리드 레플리카는 읽기 부하를 분산하는 가장 손쉬운 확장 수단이지만, 동시에 서비스 데이터 정합성을 가장 흔하게 무너뜨리는 원인이기도 합니다. 방금 작성한 글이 목록에서 사라지거나 결제 직후 잔액이…
동시 접속 수만 건을 처리하는 서버를 운영하다 보면, 애플리케이션 코드는 최적화가 끝났는데도 처리량이 어느 지점에서 벽에 부딪히는 경험을 하게 됩니다. CPU도 메모리도 여유가 있는데 새 연결이…