본문 바로가기

MLOps2

MLOps 란? MLOps가 언제 필요할까? Data scientist의 문제상황들 모델을 운영하고 프로덕션에 사용할때 직면하는 문제들이 몇몇 있다. 1. 많은 모델을 훈련하고 tracking하는데, 여러 버전, 여러 하이퍼파라미터, metric을 추적하고 재현하는데 어려움이 있다. 2. 새로운 데이터가 들어오면 모델을 재학습해야한다. 3. 모델을 운영(학습)하는데 생기는 issue에 대해 엔지니어가 필요하다. 시간과 모델의 품질의 관리 및 배포를 자동화 할 수 있으며, 이를 DevOps라고 한다. DevOps를 machine learning에도 적용할 수 있다. 머신러닝의 lifecycle 머신러닝 모델을 개발하고 상용화하는 단계에서의 목표는 자원, 데이터, 코드, 시간, 품질을 효율적으로 관리하는 것과 비즈니스적 목.. 2022. 3. 18.
MLflow 본 글은 가짜연구소 MLflow 세미나를 바탕으로 작성되었으며, https://github.com/vhrehfdl/MLflow_tutorial를 참고하였습니다. MLflow mlflow는 End-to-End machine laerning lifecycle을 관리하는 오픈소스 플랫폼이다. MLflow의 기능 Tracking : 파라미터와 결과를 비교하기 위해 실험 결과를 저장 Projects : 머신러닝 코드를 재사용하고 재현 가능한 형태로 포장 Models : 다양한 ML 라이브러리에서 모델을 관리하고 배포, Serving, 추론 MLflow 의 필요성 최적의 모델을 찾기위해 수 많은 실험들을 진행하게 되는데, 그 때마다 accuracy, loss, parameter등을 일일이 기록하기 힘들다. 또한 그.. 2022. 3. 8.