고대하고 고대하던 4번째 밑시딥4와 강화학습
“한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.”
알게 모르게 벌써 3년째 한빛 미디어 도서 리뷰 서평단으로 선발되어 2024년에도 한빛 미디어 책과 함께하게 되었다.
그리고 올해 첫 책이 아니나 다를까! “밑바닥부터 시작하는 딥러닝4”다!
딱 두 달 전에 밑시딥1~3권을 구매해서 조금씩 읽고 있는데, 마치 운명처럼 밑시딥 4권이 내 손안에 들어왔다.
밑바닥부터 시작하는 딥러닝 4권은 “강화학습”이라는 주제에 대해서 다룬다.
강화학습은 현재 근무하고 있는 회사에서도 활발하게 사용하고 있고, 책의 목차에서도 언급하지만 “강화 학습이 ‘범용 인공지능(AGI)’를 실현할 수 있는 핵심 기술 혹은 적어도 이에 근접할 수 있는 기술”이라고 언급하고 있다.
솔직히 예전에 구글 부트캠프 뛰면서 딥러닝에 대해 기초라도 배울 수 있었지만, 강화학습은 이번이 처음이다.
무엇보다 밑시딥 시리즈의 학습하는데 있어서 장점이자 단점에 대해 말하자면, 책 이름 그대로 밑바닥에서부터 만들어간다는 점인 것 같다.
지금 시리즈의 첫 권부터 보는 과정에서 프레임워크를 만드는 과정을 몸소 배울 수 있고, 구조적으로 딥러닝 프레임워크의 구조에 대해 생각해 볼 수 있는 시간을 가질 수 있다.
4권도 앞의 권들의 학습 방법에 충실하고, 수식과 코드, 그리고 설명을 뒷받침하는 시각 자료들로 구성되어 있다.
학습하면서 강화 학습의 장벽을 낮출 수 있던 요소들 중 하나는 소프트웨어 엔지니어링 기법이 중간 중간 언급된다는 것이다.
예를 들면, 강화학습 과정에서 상태와 패턴 수가 많아지면 연산이 커지는 부분을 우려해서 동적 프로그래밍을 적용해서 같은 연산을 2번 하는 것을 피하는 등의 내용이다.
개발할 때 큰 연산을 잘게 쪼개는 행위 (예를 들면 샤딩이나 분할 정복 같은)는 종종 이용되는 알고리즘인데, 딥러닝과 강화 학습으로 넘어와도 동일한 패턴이 반복된다고 생각한다.
아무래도 전공자가 아니다보니 책을 읽는 속도는 조금 많이 더디지만, 여전히 MLOps 엔지니어로 근무하고 있고 이 길을 갈 것이기 때문에 커리어를 걸어가면서 강화학습은 이해를 못하고 넘어가기에는 너무나 큰 넘어야할 장벽이라 생각한다.
30년간 인생 살면서 얻은 교훈은 “포기하지 않으면 반드시 보상이 있다”는 것이다. 강화학습도 보상을 기준으로 학습하는데, 나란들 다르겠는가?
아무쪼록 AI 관련 학습하면서 개발 뿐만 아니라 여러 방면으로 학습을 해볼 수 있는 계기가 되었다.
Ryan
