22 hours agoFlyte MLOps Pipeline 특징 정리Kubeflow, Airflow와 비교해보는 Flyte 특징 분석과 Use Case 소개 Flyte 를 업무적으로 도입하면서 자료가 많이 없는 상황임에도 여전히 우리 팀은 고군분투하고 있다. 국내에는 Flyte 도입에 대한 자료가 없다고 보면 되서 (첫번째 Flyte 포스팅에 이 부분에 대한 내용을 잘 설명해 놓았 …Mlops9 min read
6 days ago기업의 성공을 이끄는 Developer Relations 리뷰성장하는 회사 속에서 개발 커뮤니티 발전의 필요성 “한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.” 2022년의 절반이 지나가는 6월, 이번에 선정된 책은 상대적으로 코드를 볼 일이 없다 보니 빠르게 읽고 리뷰를 남길 수 있게 되었다. 안그래도 페이스북 커뮤니티에서 출간되기 전부터 “ …Devrel5 min read
Jun 18ML Pipeline에 Flyte 도입하기ML 오픈 소스의 망망대해 항해하며, ML Pipeline 구성해 나가기 현재 3명으로 구성된 회사의 MLOps 팀은 (CTO님을 포함하면 4명)매일 크고 작은 일들을 해결하고, 배포하는 과정을 수행하고 있다. 가장 최근에는 ML 리서치 엔지니어 분들을 위해 Jupyterhub를 쿠버네티스에 배포해서 운영에 관련한 …Flyte10 min read
Jun 11IaC(Infrastructure as a Code)인 Pulumi로 k8s 인프라 관리하기서비스가 커질 수록 빛을 보는 IaC, Pulumi 적용하기 Qraft Technologies의 MLops 쪽 현업 근무를 해보면서, 취준생일 때는 경험해 볼 수 없는 스택과 근무환경을 배우고, 직접 적용해 볼 수 있다는 것은 큰 축복이다. 무엇보다 함께 근무하는 사람들과 소통이 잘 된다는 것, 함께 하나씩 눈 앞 …Pulumi5 min read
Jun 2nvidia-ml-py를 사용해서 kubernetes에 배포되어 있는 인스턴스에서 MIG 메모리 사용량 체크하기MLOps 업무를 하면서 반드시 마주치게 되는 인스턴스 권한 관리와 GPU 메모리 사용량 체크 코드 작업하기 MLOps 엔지니어로서 일을 하면서, 최근에는 nvidia gpu를 어떻게하면 ML Researcher 분들에게 GPU를 쪼개서 전달할지에 대해 많은 고민을 하고, 문제를 해결해 최근에는 사내 ML IDE로 …Nvidia9 min read
May 26쉽게 배우는 AWS AI 서비스 도서 리뷰서비스의 관점에서 접근해야하는 AI를 이해하자. 5월에도 시작한 꾸준한 도서 리뷰 “한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.” 머신러닝 파워드 애플리케이션 이후, 또 훌륭한 책을 발견하게 되어 2회째 읽고 있다. 쉽게 배우는 AWS AI 서비스라는 책인데, 기존에 클라우드 서비스를 이용 …AWS Lambda4 min read
May 8k8s 서비스 품질 관리 (QoS) 도입으로 Pod 리소스 관리하기k8s에서 개별 pod가 너무 많은 컴퓨팅 자원 가져가는 것 사전에 방지하기 구글에서 2015년쯤 쿠버네티스라는 것을 세상에 공개하면서 요새 데브 옵스 운영에 쿠버네티스라는 소프트웨어를 많이 사용하는 것 같다. 스타트업, 대기업 관계 없이 보편적으로 많이 도입하고 있는데, 현재 일하고 있는 곳에서도 k8s(쿠버네티스 …K 8 S5 min read
Apr 27윈도우 설치 운영체제에 디스크 파티션하여 우분투 20.04 LTS 설치하기생각보다 손이 많이 가는 디스크 파티션, 그리고 인텔 11세대 칩의 미인식으로 그래픽 드라이버 설정을 통한 더블 모니터 세팅하기 윈도우 컴퓨터에 디스크를 파티션하여 우분투를 설치해야하는 일이 발생했다. 전부터 한 번 해봐야지,,, 하고 막연하게 생각만 하고 있다가 드디어 이번에 해보게 되었는데 생각보다 설정하는 과정이 …Linux8 min read
Apr 20유연한 소프트웨어를 만드는 설계 원칙 도서 리뷰한빛 미디어 4월 도서 리뷰 “한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.” 2, 3월에 이어 감사하게도 한빛 미디어의 4월 리뷰어로 선정되어, 이번에는 “유연한 소프트웨어를 만드는 설계 원칙”이라는 도서를 리뷰할 수 있는 기회를 얻게 되었다. 책 이름만 들어보면, 다음 책들과 엇 …Scheme6 min read
Apr 19대규모 서비스를 지탱하는 기술 과제 첫번째 파트 구현하기정수형 압축 프로그래밍으로 데이터 크기를 줄이고 I/O 고속화하기 국내에서는 개발자 바이블로 많이 알려져 있는 대규모 서비스를 지탱하는 기술이라는 책을 읽고 있다. 몇 년 전까지만 해도 절판되서, 중고로 책 사려면 원가보다 몇 배는 더 주고 구매해야하는 귀한 책이었는데, 책이 재출간되면서 바로 구매하게 되었다. 개인적으로 …Python5 min read
