"머신러닝 개발자에게 넘버원 클라우드는 아마존이 아니라 구글일 수 있다"

학습 차원에서 틈틈히 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인주시면 반영토록 하겠습니다. 머신러닝 플랫폼 개발사인 코어텍스가 미디엄 블로그에 AWS에서 먼저 기술을 제공한 전략이 오판이었을 가능성에 대해 언급한 글을 정리한 것입니다.

머신러닝을 실전에 배치하는 플랫폼인 코텍스를 개발하기 시작했을때 우리는 그것이 어떤 클라우드 계정에서도 셀프 호스팅되는 서비스로 돌리기를 원했다는것을 알았다. 소규모 엔지니어링 팀으로서 우리는 싱글 클라우드 서비스에 초점을 맞춰야 한다는 것을 알았다. 우리는 AWS를 선택했다.

우리의 사고 프로세스는 간단했다. 가장 많은 사용자들을 가진 AWS 제공 업체와 시작하는 것이었다. 우리는 가장 흥미로운 머신러닝 유스케이스는 대기업에 해당한다고 가정했다. 이들은 대부분 AWS를 사용하고 있다. 우리는 또한 우리의 결정은 엘라스틱, 데이터블릭스, 콕크로치랩스(Cockroach Labs)같은 다른 인프라 회사들에 의해 검증됐다고 느꼈다. 이들은 그들의 제품을 위해 다른 클라우드 보다 AWS를 우선시했다.

오픈소스 프로젝트로 진행한지 1년 가량 후에 우리는 진지하게 우리의 결정에 질문을 던지기 시작했다. 클라우드 인프라의 초기 시장은 AWS에 의해 지배됐다. 그러나 이 같은 합의는 바뀌기 시작하고 있다.

우리의 넘버원 기능 요구사항은 GCP 지원이다.

소셜 미디어는 바람이 어디로 불고 있는지 힌트를 주지만, 커뮤니티 피드백은 우리의 가장 중요한 정보 소스다. 우리는 애저, 온프레미스, 쿠버네티스 클러스터, 로컬 머신들에 배치하는 것에 대한 질문을 받았다. 그리고 가장 일반적인 질문은 GCP 지원에 대한 것이었다.

GCP 사용자들을 외면하는 고통은 우리로 하여금 AWS와 시작하는 것이 옳은 판단이었는지 질문을 던지게 했다. 엄밀하게 말해 우리가 GCP를 먼지 지원하기로 결정했다면 얼마나 많은 사용자들을 확보했을지는 알 수 없다.

질문은 왜 그렇게 많은 사람들이 다른 클라우드들 보다 GCP를 사용하고 싶어하는가?이다.

GCP는 머신러닝 엔지니어들에게 매력적이다.

GCP는 머신러닝 커뮤니티들을 위해 진정으로 가치 있는 몇몇 오퍼링들을 갖고 있다.

  • 구글 코랩은 무료다. 어디에든 있는 것으로 보인다. 우리 스스로 그것을 광범위하게 사용하고 있다.
  • GCP는 사용자들이 TPU에서 딥러닝 워크로드를 돌릴 수 있게 해준다.
  • 판을 통제하는 구글 쿠퍼네티스 엔진(GKE)은  무료다. 반면 AWS의 EKS는 시간당 0.2달러다.

이것은 AWS가 그들 자체의 우위를 제공하지 않는다는 것이 아니다. EKS는 가치있는 컴포넌트다. 우리 스택에서  스스로 쿠버네티스를 관리하는 과제들의 많은 것들을 추출한다. 그러나 구글 서비스의 낮은 비용은 비용에 예민한 사용자들에게 소호력을 발휘한다. GCP의 300달러 무료 크레딧을 고려하면 특히 그렇다.

이것은 우리가 코어텍스 초기 디자인들을 보여줬던 자금이 풍부한 머신러닝 팀들에게는 중요한 문제는 아니다. 그러나 프로젝트를 오픈소스로 전환한 후에, 우리는 학생들과 개인 개발자들이 그것을 적용하는 것을 보고 즐겁게 놀랐다. 불행하게도, 그들은 AWS 요금과 싸우고 있었다.

클라우드 불가지론되기

구글의 클라우드 오퍼링,  머신런닝을 돌리는 구글의 내부 경험은 많은 머신러닝 종사자들이 AWS 보다 GCP를 적용하도록 하고 있다.

이점에서 우리의 최고 추측은 전세계적으로 가장 인기 있는 클라우드임을 고려하면 AWS는 여전히 머신러닝을 실제로 돌리는 지배적인 플랫폼이다. 그러나, 전체적으로 넘버1이라는 것이 분명하게 AWS가 머신러닝 종사자들 사이에서 가장 인기 있는 선택이라는 것을 의미하는 건 아니다.  우리 커뮤니티의 GCP에 대한 관심은 클라우드 불가지론에 대한 작업을 시작하는데 필요로 했던 추진력이다.

우리는 이 경험에서 배우고 플랫폼의 단순성과 안정성을 해치지 않고 멀티 클라우드를 지원할 수 있는 역량을 이해하기를 원한다. 잘된다면 애저는 다음이 될 것이다.

테크잇 뉴스레터를 전해드립니다!

오피니언 기반 테크 블로그 'TechIt'
테크 비즈니스를 보는 다양한 통찰들을 이메일로 간편하게 받아 볼 수 있습니다.

About the author

endgame
endgame

테크 블로거 / 공유할만한 글로벌 테크 소식들 틈틈히 전달하겠습니다

No more pages to load


TechIT

테크 비즈니스를 보는 다양한 통찰 '테크잇'

독자 여러분들께서 좋은 의견이나 문의 사항이 있으시면 아래 양식에 따라 문의 주시기 바랍니다.

Contact