커리어의 발전 방향성, 창업, 그리고 2024년 계획
개인적으로도, 업무적으로도 하고싶은 말이 정말 많은 2023년 회고 글을 작성하게 되었다.
2022년에 크래프트 테크놀로지스라는 스타트업에 입사해서 일을 시작한 게 엊그제 같은데, 곧 경력 2년차를 앞두게 되었다.
지금 근무하고 있는 회사는 여러 방면에서 격변의 시기를 보내고 있다.
회사에서 하고 있는 일에만 집중해도 하루가 너무 빠르게 가는데, 회사의 내외부적 환경을 고려하면서 일을 하자니 쉽지 않다.
올해는 스타트업에게 있어 “투자”란 무엇인지에 대해 정말 많은 생각을 해주게 하는 해이고, 기업이 “제품"과 “매출"을 중심으로 자리 잡아야 투자자로부터 부트스트래핑을 시도하기 위해 투자를 받는 과정이 얼마나 중요한 것인지 다시 한 번 몸소 체험하게 된다.
회고 글을 쓰다가 12월 28일 부터 3일동안 심한 몸살과 감기가 오는 바람에 아무것도 못하고 병원에서 주사 맞고, 약 먹고 누워 있다가 다시 한 번 글을 가다듬고 포스팅하게 된다.
인프라, MLOps, 커리어의 방향성
솔직하게 현재 내 업무 비중을 보면 인프라 9 / MLOps 1 정도 비중으로 업무를 수행하고 있다.
솔직히 이 부분에 대해서는 현재 우리 팀 전원이 애로사항이 많다.
전원이 MLOps를 하러 입사했는데, 2023년 업무는 거의 인프라 고도화에 치중이 되어 있었고, 무척 많은 일들과 모니터링, 그리고 GPU 노드들에 대한 트러블 슈팅 및 작업 관리를 했는데 정작 해야하는 MLOps는 많이 못하고 인프라 일을 거의 대부분 했기 때문에 매번 관련 부분 건의를 올리지만, 개선되지 못하고 있다.
개인적으로 어떤 기업을 근무한다고 했을 때, 3가지 중 2가지 이상이 만족이 되지 않으면 그 회사를 계속 다녀야하는지 고민을 해볼 필요가 있다고 생각한다. 다만, 우선순위는 회사에 따라 다를 수 있다.
첫번째로 업무 적합도 여부다.
회사에서 구인으로 올린 일과 실제 회사에서 할당받은 일이 100%는 아니어도 80% 이상 적합해야된다고 생각한다.
개발하러 왔는데, 인사 업무를 수행하라고 한다면 적합도가 무척 떨어지지 않는가?
두번째로 업무가 재밌는지 여부다.
업무 적합도가 높더라도 함께 일하는 팀 또는 회사 분위기가 좋지 않다면 어떤 구성원도 회사에 더 다니고 싶지 않을 것이다.
세번째로 원하는 연봉을 받기 어려울 때다.
업무 난이도와 양에 비례하는 연봉을 제공하지 않는다면, 마찬가지로 회사에 지속적으로 근무하기 무척 어려울 것이다.
지금 회사 기준으로 올해는 앞의 2가지가 무척 만족이 안되었고, 이 부분은 지속적으로 인사팀에 얘기하고 있다.
인프라와 관련해서는 분명 너무나 많은 일들을 수행했지만, 굵직하게 3개 정도를 꼽을 수 있을 것 같다.
본격적으로 All-Flash NAS를 스토리지 서버로 붙여서 ML 쪽 연산 속도 개선을 할 수 있게 되었으며 — 비교 대상이 너무 초라해서 미안하지만 HDD 16개 박힌 NFS 서버를 그 동안 사용해왔다. 100G 내부망 사용시, 연산 속도가 최소 30배 이상 빨라진 것 같다 —, In-Memory DB로 Redis Master를 K8s 클러스터에 배포해서 전사적으로 사용하는 메모리 서버를 운영하기 시작했다.
또한, Workflow Pipeline으로 사용해왔던 Flyte를 Deprecated하고 Argo Workflow 를 도입하게 되면서, 각 팀 별로 관리하는 데이터 파이프라인 및 포트폴리오 리밸런싱, 그리고 ML 트레이닝 작업을 이관하고 있다.
비용 관련 이슈로 많은 AWS 배포 작업들이 on-premise 로 이관되면서, 관련 지원 작업과 무수히 많은 트러블 슈팅들을 하게 되었다.
그리고 MLOps 쪽 비중이 적긴 했지만, GPU 관련 업무와 LLM 관련 작업 지원을 위한 인프라 세팅하는 업무를 수행하게 되었다.
NCCL이라는 Nvidia Driver를 도커 이미지에 세팅해서 실행하는 작업이었는데, LLM 같은 큰 AI 모델을 학습하는데 있어서 A100 카드 1 ~ 2장 정도로는 방대한 모델 학습을 빠른 시간 안에 해결할 수 없는 이슈를 해결하기 위해 서로 다른 노드에 있는 같은 모델의 GPU 카드들을 (다른 모델의 GPU 카드들 끼리는 통신이 안된다) 묶어 사용할 수 있게 지원한다.
그리고 모델 서빙 및 모니터링을 위해 자료 리서치와 데이터독 PoC를 진행 중에 있다.
때마침 Bento ML 관리자들이 한국 사용자들의 피드백을 받기 위해 한국에 왔었고, OpenLLM & vLLM 등에 대한 많은 조언과 레퍼런스를 듣고 왔다.
2024년에는 온전히 MLOps 업무에 집중하고 싶은데, 안타깝게도 회사 내부 사정상 인프라 업무 강도가 더 높아질 가능성이 매우 농후해서, 24년 상반기 주말에는 서빙 관련 토이 프로젝트들을 쭉 진행해 볼 예정이다.
Re:Invent, 그리고 AI
현재 회사의 AWS 파트너사로 있는 메가존 클라우드의 초청으로 라스베가스의 AWS 행사를 방문하게 되었다.
이제는 AI 서비스를 석박사급 인력이 없어도 개발할 수 있을 것이 명확해졌다는 점, 이로 인해 AI를 탑재한 제품을 출시하는 기간과 BM 검증 등을 더 빨리 적은 비용으로 할 수 있을 것이란 생각이 스쳐 지나갔다.
올해 너무 바빠서 여행을 한 번도 못 갔는데, 보고 배우러간 라스베가스에서 메가존이 보내준 그랜드 캐니언 여행이 2023년 계속 이리저리 부딪히고 다니던 업무 피로를 싹 날려주는 느낌이었다.
공기가 이토록 상쾌한 것인 줄 몰랐다.
생애 첫 집 구매와 제테크
23년이 시작하면서, 생애 최초로 내 명의로 부모님이나 가족 도움 없이 집을 구매하게 되었다.
2020년에 베트남에 있을 때부터 정부 정책이나 동향을 잘 보고 있었기 때문에 좀 좋은 가격에 고향에 집을 살 수 있게 되었다.
미디어에서 얘기하는 만큼 집을 구매하는 일이 어려운 일은 아니었고, 샀을 때보다 집값이 살짝 올랐고, 실거주 목적이라 무척 흡족하다.
다만, 집을 사거나 OOO원 모으기, 연봉 OOO원 받기 등이 인생의 목표가 될 수 없고, 장기적으로 일은 왜하는지, 돈을 왜 모으는지에 대한 근본적인 질문과 답이 필요한 시점이라고 생각한다.
그리고 연말에 유튜브 구독하고 있던 월가아재라는 채널에서 투자와 관련한 분석 플랫폼을 제공하는 “Project Valley”에 선발되어서 조금씩 기능을 뜯어보고 있다.
엔지니어 측면에서도 흥미진진한 게 많아서 이것저것 뜯어보고 있는데 나중에 후기를 꼭 남겨야겠다.
개발 업무와 투자 일의 근본적인 공통점은 뭔가 생산해내는 업종이라는 점이다.
개발이 사람들이 필요한 서비스를 생산해낸다면, 투자는 세상이 필요로하는 일을 생산한다.
좀 더 명확하게 AI 쪽에서 하고 싶은 일이 무엇인지 조금 감이 잡힐 것 같은데, 기업 분석을 함께하면서 이미지를 구체화시켜야겠다.
우아한 스터디
올해 11월부터 선발되어서 2달 동안 “데이터 중심 애플리케이션 설계”라는 책을 우아한 스터디에서 진행하게 되었다.
참고로 나 빼고 네이버, 카카오, 쿠팡, 배민, 구글이었고, 1월부터 스터디를 또 다시 함께 하자고 해서 또 다른 책으로 진행할 예정이다.
책 진짜 어렵고, 구성원 모두 데이터 엔지니어 또는 데이터 쪽을 다루는 백엔드 엔지니어이다 보니 많이 힘들었지만 워낙 배운 것도 많아서 얻은 게 정말 많다.
2023 총평
지금 내 업무 비중처럼 올해 많은 시도를 한 것 중 실패가 9 / 성공이 1 정도 된것 같다.
하지만, 성공한 소수의 몇 가지가 2023년을 이끌었다고 본다.
나이가 몇 살인지가 중요한 게 아니라 앞으로도 뭐가 됐든 계속 시도하는 것이 중요하다고 본다.
상황이야 힘들 수는 있지만, 내가 욕먹는 사람이 되더라도, 욕하는 사람이 되지는 말자.
Ryan
