한빛출판네트워크

인공지능, 머신러닝, 딥러닝, 데이터 사이언티스트... 인공지능 서비스를 구현하기 위해 머신러닝과 딥러닝 기술에 관심을 갖다보면 다양한 용어들을 접하게 되고, 관련 직군에 대해서도 궁금증이 생겨납니다.  데이터 및 머신러닝과 관련해서도 다양한 직군과 역할이 있습니다. 

 

머신러닝과 관련된 직군부터 협업 시의 워크플로우까지 살펴보며, 그에 관한 궁금증을 해소해 보려고 합니다. 관련 분야에서 종사하고 있다면 커리어패스나 협업 체계를 이해하는 데도 도움이 되리라 생각합니다. 

 

만약 관련 분야로 취업이나 이직을 준비하고 있다면, 명확한 기술 스택이나 성장을 위해 머신러닝 분야의 다양한 직군을 살펴보고, 각각의 영역들에서 어떻게 협업이 이뤄지는지 그 프로세스를 살펴보는 것도 도움이 될 것입니다. 

머신러닝의 직군

기업의 조직에는 데이터, 머신러닝과 관련된 다양한 직군이 있습니다. <머신러닝 디자인 패턴>이라는 도서에서 자주 참조하는 몇 가지 일반적인 직군을 정의해 보면 다음과 같습니다. 

데이터 과학자

데이터 과학자(data scientist)는 데이터셋 수집, 해석, 처리를 수행하는 직군입니다. 데이터 과학자는 데이터에 대한 통계적, 탐색적 분석을 수행합니다. 머신러닝과 관련해서는 데이터 수집, 특징 가공, 모델 구축 등의 작업을 할 수 있습니다. 데이터 과학자는 보통 파이썬 또는 R로 작업하며 일반적으로 조직의 머신러닝 모델을 가장 먼저 구축합니다.

데이터 엔지니어

데이터 엔지니어(data engineer)는 조직의 데이터를 위한 인프라와 워크플로를 관리합니다. 이들은 회사가 데이터를 수집하고, 데이터 파이프라인을 구축하고, 데이터를 저장하고 전송하는 방법을 관리하는 데 도움을 줍니다. 데이터 엔지니어는 데이터를 중심으로 인프라와 파이프라인을 구현합니다.

머신러닝 엔지니어

머신러닝 엔지니어(machine learning engineer)는 ML 모델에 대해 데이터 엔지니어와 유사한 작업을 수행합니다. 이들은 데이터 과학자가 개발한 모델을 가져와서 해당 모델의 학습, 배포와 관련된 인프라와 운영을 관리합니다. ML 엔지니어는 모델을 업데이트하고, 모델 버전을 관리하고, 최종 사용자에게 예측 서빙을 처리하는 프로덕션 시스템을 구축합니다.

연구 과학자

연구 과학자(research scientist)는 주로 ML 분야를 발전시키기 위해 새로운 알고리즘을 찾고 개발하는 역할을 합니다. 그 연구 분야에는 모델 아키텍처, 자연어 처리, 컴퓨터 비전, 하이퍼파라미터 튜닝, 모델 해석과 같은 머신러닝 내의 다양한 하위 분야가 포함됩니다. 연구 과학자는 다른 직군과는 달리 프로덕션 ML 시스템을 구축하는 대신, ML에 대한 새로운 접근 방식을 프로토타이핑하고 평가하는 데 대부분의 시간을 보냅니다.

데이터 분석가

데이터 분석가(data analyst)는 데이터를 분석하고 통찰한 내용을 뽑아낸 다음, 조직 내의 다른 팀에 이를 공유합니다. SQL, 스프레드시트에서 작업하고 비즈니스 인텔리전스 도구를 사용하여 데이터를 시각화하여 결과를 공유합니다. 제품 팀과 긴밀히 협력하며, 통찰력이 어떻게 비즈니스 문제를 해결하고 가치를 창출하는 데 도움을 주는지 잘 알고 있습니다. 보통 기존 데이터의 추세를 식별하고 그로부터 통찰한 결과를 만들어내는 데 집중하지만, 해당 데이터를 사용하여 향후 예측을 만들고 통찰 결과 생성을 자동화하거나 확장하는 데에도 관심을 갖습니다. 머신러닝이 대중화됨에 따라, 데이터 분석가가 자신의 역량을 기른다면 데이터 과학자로 성장할 수 있습니다. 

ML 개발자

개발자(developer)는 최종 사용자가 ML 모델에 접근할 수 있는 프로덕션 시스템 구축을 담당합니다. 또한 웹 또는 앱을 통해 사용자 친화적인 형식으로 모델에 쿼리를 날리고 예측을 반환받기 위한 API를 설계합니다. 이러한 API가 쿼리, 예측을 주고받는 모델은 클라우드에서 호스팅되는 모델일 수도 있고 온디바이스로 내장된 모델일 수도 있습니다. 개발자는 ML 엔지니어가 구현한 모델 서빙 인프라를 활용하여 모델 사용자에게 예측을 표시하기 위한 애플리케이션과 사용자 인터페이스를 구축합니다.

회사의 데이터 과학 팀이 작고 팀의 민첩성이 높을수록, 같은 사람이 여러 역할을 수행할 가능성이 높습니다. 그러한 상황에 있는 이라면, 위의 직군에서 자신의 업무를 부분적으로 발견했을 수도 있겠습니다. 

보통은 데이터 엔지니어로서 머신러닝 프로젝트를 시작하고 데이터 수집을 위한 데이터 파이프라인을 구축합니다. 그런 다음 데이터 과학자 역할로 전환해 ML 모델을 구축합니다. 최종적으로는 ML 엔지니어로서 모델을 프로덕션으로 옮깁니다. 대규모 조직에서도 머신러닝 프로젝트는 동일한 단계를 거치지만, 각 단계에 서로 다른 팀이 참여하게 됩니다.

다음 그림은 조직의 머신러닝 모델 개발 프로세스에서 이러한 다양한 직군이 어떻게 함께 협업하는지를 보여줍니다.

 [다양한 직군의 협업으로 이뤄지는 머신러닝 모델 개발 프로세스]

데이터 및 머신러닝과 관련해 다양한 직군과 역할이 있으며, 각 직군은 데이터 수집부터 모델 제공 및 최종 사용자 인터페이스에 이르기까지 ML 워크플로에서 협업합니다. 예를 들어 데이터 엔지니어는 데이터 수집 및 데이터 검증 작업을 하고 데이터 과학자와 긴밀하게 협력합니다.

이 글은 <머신러닝 디자인 패턴> 도서 내용 일부를 발췌 편집하여 작성되었습니다. 머신러닝 디자인 패턴에 대한 보다 자세한 정보는 하기 책에서 만나볼 수 있습니다. 

 『머신러닝 디자인 패턴』