전체 글

·Machine Learning
왜 데이터 전달이 문제인가KFP의 각 컴포넌트는 격리된 환경, 즉 별도의 Kubernetes 파드에서 실행됩니다. 앞 컴포넌트의 메모리에 있는 데이터를 뒤 컴포넌트가 볼 수 없으므로, 데이터를 주고받는 메커니즘이 반드시 필요합니다. 책은 이 부분을 KFP 입문자뿐 아니라 경험자도 자주 혼란스러워하는 지점으로 꼽습니다.또 하나의 제약은 파드의 메모리 한도입니다. 큰 데이터를 RAM에 올리다 한도를 넘으면 파드가 OOMKilled 오류로 강제 종료됩니다. 그래서 책의 일관된 권장 사항은 "가능하면 데이터를 파일·디렉터리에 저장하고, 원시 값 대신 그 경로를 넘기라"입니다. 핵심 개념용어한 줄 정의개념 설명이 글에서의 역할KFP (Kubeflow Pipelines)Kubernetes 위에서 ML 워크플로를 파..
·Machine Learning
실습 세줄 요약드리프트 결과를 Prometheus 지표로 내보내고, 시스템 지표와 한 화면(Grafana)에서 확인오탐을 걸러 낸 알림 규칙 + 운영/ML 담당별 알림 라우팅드리프트 알림 → 재학습 Job 자동 실행 (Production 승격은 사람이)용어 설명용어한 줄 정의개념 설명역할데이터 드리프트 (Data Drift)입력 분포가 학습 때와 달라지는 현상분포가 바뀌면 성능이 떨어질 수 있지만, 정답 없이 입력만 보는 지표라 성능 저하의 증거는 아닙니다. 성능 자체는 정답이 있어야 잴 수 있습니다.알림 대상. 등급을 warning으로 두는 근거윈도 (Micro-batch Window)드리프트를 판단할 때 묶어서 보는 최근 요청 N건분포는 여러 건이 모여야 생기므로 1건으로는 판단할 수 없습니다. 최근..
·Machine Learning
용어 설명용어한 줄 정의개념 설명역할실험 추적 (Experiment Tracking)학습 과정의 파라미터·지표·결과물을 기록하는 것학습 데이터, 하이퍼파라미터, 정확도 등을 실행 단위로 저장합니다. 재현성, 모델 선택, 성능 비교를 위해 필요합니다. Git 커밋이나 파일 저장과 달리 추적 서버가 실험을 구조화해서 보관합니다.MLflow에 EDA 플롯과 모델 3종의 지표를 기록합니다.실행 (Run)실험 또는 훈련 절차의 단일 실행 단위각 실행은 고유한 run ID를 가지며 지표, 하이퍼파라미터, 아티팩트를 함께 묶습니다. 실행들은 하나의 실험(Experiment) 아래에 쌓입니다.EDA 실행 1개, 모델 학습 실행 3개를 income-classifier 실험 아래 만듭니다.아티팩트 (Artifact)실행에..
·Machine Learning
개요CloudNet MLOps 스터디 1주차 학습 내용과 별도로 부트캠프에서 배운 개념을 함께 엮어 정리했습니다.핵심 개념용어한 줄 정의개념 설명이 글에서의 역할가중치 (Weight)입력에 곱해지는, 학습으로 얻는 계수선형 모델 y = w₁·x₁ + w₂·x₂ + b의 w가 가중치입니다. 학습은 오차가 줄도록 이 값을 계속 고치는 과정이며, 모델 파일의 핵심 내용이 바로 이 숫자들입니다. 학습 전에 사람이 정하는 하이퍼파라미터와는 다릅니다.머신러닝 기초의 출발점경사하강법 (Gradient Descent)손실의 기울기 반대 방향으로 가중치를 반복 갱신하는 최적화 방법모든 가중치 조합을 다 평가할 수 없기 때문에, 현재 위치의 기울기를 보고 손실이 줄어드는 쪽으로 조금씩 이동합니다. 이동 폭은 learnin..
Vault HA클러스터 배포kind create cluster --name myk8s --image kindest/node:v1.32.8 --config - Vault HA mode1대의 Acitve와 나머지 StandbyWorkflow : Secrets , Policy , Authentication SecretsVault는 여러 가지 유형의 비밀을 관리할 수 있으며, 각 비밀 유형은 비밀 엔진이라는 독립된 구성 요소에 의해 볼트에서 관리비밀 엔진은 데이터를 저장, 생성 또는 암호화하는 구성 요소비밀 엔진은 데이터를 제공하고, 해당 데이터에 대해 조치를 취하며, 결과를 반환일부 비밀 엔진은 암호화된 Redis/Memcached와 같이 데이터를 저장하고 읽음다른 비밀 엔진은 다른 서비스에 연결하여 주문형..
·Cloud/CICD
k8s 클러스터 배포kind create cluster --name myk8s --image kindest/node:v1.32.8 --config - Vault 설치## helm repo setuphelm repo add hashicorp https://helm.releases.hashicorp.comhelm repo updatehelm search repo hashicorp/vault## ns 생성k create ns vault## values 파일 작성cat vault-values.yamlglobal: enabled: true tlsDisable: trueserver: standalone: enabled: true config: | ui = true listene..
·Cloud/CICD
Vault 설명1. 왜 시크릿 관리 & Vault가 필요해졌나?예전처럼 소수의 시스템 + 정적인 인프라일 때는 DB 계정 몇 개만 잘 관리하면 됐음.현재 클라우드 + MSA + DevOps 환경:마이크로서비스 수십/수백 개컨테이너가 수시로 생겼다가 사라짐AWS / Azure / GCP / SaaS / 각종 API 연동결과관리 대상 시크릿 개수가 폭증시크릿이 Git, 설정 파일, 환경변수, 개발자 PC 등에 막 흩어짐2. 아키텍처 진화 vs 시크릿 관리 현실메인프레임 / 모놀리식시스템이 중앙집중, 변경 적고 단순.시크릿 개수도 적고, 어디에 있는지도 명확.3-Tier / 클라이언트-서버Web / App / DB 분리.관리해야 할 시크릿은 늘었지만, 인프라는 여전히 정적.클라우드 / MSA / DevOps ..
·Cloud/CICD
Cluster Management실습 환경 배포## kind cluster 배포kind create cluster --name mgmt --image kindest/node:v1.32.8 --config - argocd-values.yamlglobal: domain: argocd.example.comserver: ingress: enabled: true ingressClassName: nginx annotations: nginx.ingress.kubernetes.io/force-ssl-redirect: "true" nginx.ingress.kubernetes.io/ssl-passthrough: "true" tls: trueEOF## argocd 설치helm r..
·Cloud/CICD
사전 환경 설정Kind K8s ClusterIngress-nginx 설치ArgoCD 설치 cert-manager 없이 OpenSSL로 self-signed 인증서 생성 및 Secrets 생성Argo CD 서버는 TLS 인증서를 argocd-server-tls Secret 에서 직접 로드server.ingress.tls=true + nginx.ingress.kubernetes.io/ssl-passthrough=true설정으로 Ingress는 TLS를 종료하지 않고 그대로 Pod에게 전달따라서 브라우저 → Ingress → Argo CD Server 까지 end-to-end HTTPS가 유지됨 ## Argo CD가 자신의 TLS를 쓰도록 argocd 네임스페이스에 tls 타입 시크릿 생성kubectl cre..
·Cloud/CICD
GitOps 란?깃옵스라는 용어는 플럭스라는 깃옵스 도구를 만든 웨이브웍스 직원들이 처음 사용했다.깃옵스의 정의는 다양하다. 풀 리퀘스트를 통한 운영으로 정의하기도 하고, 개발 관행(버전 제어, 협업, 규정 준수, CICD)을 인프라 자동화에 적용하는 것으로 정의하기도 한다.가장 중요한 정의는 CNCF의 Application Delivery TAG에 속한 그룹인 깃옵스 워킹 그룹에서 정의한 것이다.이 그룹은 깃옵스에 대해 특정 벤더에 종속되지 않고 원칙에 입각한 정의를 구축할 목적으로 다양한 회사 사람들로 구성돼 있다.Declarative 선언적 구성엔지니어가 원하는 의도와 완료된 상태를 명시하지만, 이를 위해 실행하기 위한 구체적인 행동을 명시하지 않는다.예를 들어 “컨테이너 3개를 만들어라”와 같이 ..
ssungz
임썽 블로그