써티웨어(대표 고병도)와 호튼웍스코리아(대표 백지훈)가 아시아 지역 최초로 서울에 호튼웍스 데이터 랩(Hortornworks Data Lab)을 개설했다. 이번 랩 개설은 국내 빅데이터 도입 확대에 맞물려 전문 인력 수요와 빅데이터 도입 사전 검증을 위한 시설에 대한 기업의 요구 증가에 대응하기 위한 목적으로 추진됐다.
써티웨어는 비즈니스 인텔리전스와 엔터프라이즈 데이터웨어하우스 분야의 실력자로 통신, 공공, 대기업 고객에게 오랜 기간 데이터 플랫폼 구축과 운영 서비스를 제공해왔다. 써티웨어는 지난 5월 호튼웍스와 골드 파트너 계약을 맺고 기존 고객 기반을 출발점삼아 빅데이터 제안을 활발히 해왔다. 이 가운데 빅데이터에 대한 시장의 실질적인 수요를 확인했다.
써티웨어 고병도 대표는 “데이터가 경영 전략의 중심에 자리 잡으면서 빅데이터 도입을 검토하는 기업이 빠르게 늘고 있다”며 “실제로 통신, 금융, 제조 등 여러 업종에서 빅데이터를 통한 비즈니스 전환 효과를 확인하기 위해 아파치 하둡과 나이파이(NiFi) 관련 사전 검증(PoC) 프로젝트 요청이 쇄도하고 있다”고 말했다.
써티웨어는 여러 번 사전 검증 프로젝트를 진행하면서 빅데이터 인력에 대한 잠재적 수요도 엿봤다.
고병도 대표는 “빅데이터 도입을 고려하는 기업 대부분 전문 인력으로 전담팀을 꾸리고 싶어 한다”며 “하지만 막상 시장에서 기업의 눈높이에 맞는 인력을 찾지 못한다. 이런 이유로 내부 인력을 재교육해 빅데이터 전문가로 육성하는 것에 관심이 많다”고 말했다.
써티웨어는 기업들이 다양한 빅데이터 활용 시나리오를 실제 하둡 클러스터 환경에서 검증해 볼 수 있도록 호튼웍스 데이터 랩의 문호를 개방할 예정이다. 더불어 기업 내에 전문 인력이 없다는 것이 빅데이터 도입의 걸림돌이 되지 않도록 호튼웍스 자격증 관련 실무자 교육의 구심점으로 랩을 활용한다는 방침이다.
호튼웍스 아태지역 기술 이사 제프 마크햄(Jeff Markham)은 “빅데이터 전문 인력 품귀 현상은 어디서나 마찬가지다”며 “호튼웍스 기술 지원 서비스를 구독하는 전 세계 1000개 이상의 기업은 전문 인력 수급을 위한 방법으로 내부 인력의 호튼웍스 자격증 취득을 권하고 있다. 호튼웍스 자격증은 100% 오픈소스 표준 빅데이터 기술에 대한 실력을 평가한다”며 “특정 업체에 종속적인 플랫폼 사용법이나 기술이 아니라 어디서도 통하는 보편적인 빅데이터 지식을 교육하기 때문에 미국의 경우 빅 데이터 실무자들이 선호하는 자격증으로 자리 잡았다. 실제로 CompTIA 조사 결과 호튼웍스 자격증의 가치가 높다고 응답한 IT 전문가의 비중이 64%에 달했다”고 말했다.
써티웨어는 빅데이터 인력 수급 불균형에 대한 사회적 인식이 확산되고 있지만 유행에 편승하지 않는 다는 방침이다. 써티웨어는 호튼웍스 자격증이 국내 기업의 빅 데이터 도입과 운영 방식에 잘 맞는다고 보고 있다.
대학과 사설 교육 기관을 통한 빅 데이터 전문가 육성 과정에는 업종마다 다른 비즈니스 요구를 해결할 능력을 키울 수 있는 커리큘럼을 넣을 수 없다. 기업이 원하는 인재는 해당 산업에 대한 이해를 바탕으로 새로운 통찰력을 끌어낼 수 있는 분석가와 개발자이다. 이런 유형의 인재는 외부가 아니라 내부에서 키우는 것이 더 빠르고 효과가 높다.
써티웨어는 지금까지 국내에서 접하지 못했던 차별화 전략으로 기업의 빅데이터 전문가 수요에 발맞춰 갈 계획이다. 써티웨어는 주요 교육 대상을 기업에서 데이터 관련 업무를 맡고 있는 전문가로 삼고, 이들이 실제 빅 데이터 클러스터 환경에서 직접 실습(Hands-on)을 할 수 있도록 도울 예정이다. 이번에 써티웨어가 설립한 호튼웍스 데이터 랩은 현재 대부분의 교육 기관이 가상머신을 활용한 간이 체험 위주의 학습을 하는 것과 달리 실제로 물리적인 클러스터를 교육생에게 제공할 수 있다.
따라서 실제 클러스터를 눈 앞에 두고 하둡 플랫폼을 설치하고, 실시간 분석 등 다양한 서비스를 배포하고, 각종 분석 애플리케이션을 개발하고, 최신 기계 학습 알고리즘을 적용하고, 모든 환경을 단일 관점에서 관리하는 것을 배울 수 있다. 써티웨어는 주요 교육 대상이 현직 데이터 전문가인 점을 고려해 전문가 눈높이에 맞춰 그들이 평소 접하는 실제 운영 환경에 버금가는 교육 여건을 제공하는 것으로 차별화를 꾀한다는 것을 교육 서비스 전략의 핵심으로 내세우고 있다.
호튼웍스코리아는 써티웨어를 시작으로 국내 빅데이터 전문 인력 양성에 팔을 걷어 붙일 계획이다.
호튼웍스코리아 백지훈 지사장은 “비즈니스를 이해하는 것은 기업에서 근무하는 빅데이터 분석가와 개발자의 기본 소양으로, 이들을 재교육하는 것이 현실적이란 것에 이견을 달 기업은 없다. 빅데이터 전문가가 있더라도 6개월 마다 최신 기술과 기능이 등장하는 오픈소스 커뮤니티의 혁신 속도를 따라잡으려면 지속적인 재교육이 필요하다”며 “일례로 스파크(Spark)의 경우 버전이 올라갈 때마다 전 세계 산업 현장에서 검증된 기계 학습 알고리즘이 추가된다. 이런 기술 발전의 혜택을 바로 누리려면 지속해서 전문가를 재교육해야 한다”고 밝혔다.
이어 그는 “호튼웍스코리아는 기업 데이터 관련 실무자를 대상으로 한 교육 서비스를 제공한다. 국내 기업 고객의 교육 수요 증가에 발맞춰 실습 중심 교육을 제공할 수 있는 써티웨어를 시작으로 8개 국내 리셀러를 통해 온라인 교육 서비스인 호튼웍스 유니버시티도 제공할 것”이라고 덧붙였다.
한편 써티웨어는 호튼웍스 데이터 랩의 문호를 빅데이터 관련 스타트업과 커뮤니티에 개방할 방침이다. 이를 통해 세계적인 빅데이터 스타트업으로 이름을 날리고 있는 NF랩스 같은 기업이 더 많이 탄생할 수 있는 요람을 제공할 계획이다.
참고로 NF랩스가 주도하는 제플린(Zeppline) 프로젝트는 가장 인기 있는 오픈소스 프로젝트 중 하나로 호튼웍스 HDP(Hortonworks Data Platform) 2.5에 정식 포함됐고, 아마존 웹 서비스(AWS)나 구글 등에서도 사실상의 표준으로 제안하고 있다. 이 밖에도 써티웨어는 온라인에서는 활발히 교류하지만, 오프라인에서 마땅히 만나 이런저런 기술적 논의도 하고, 새로운 아이디어로 실제 클러스터에 올려 볼 기회가 없는 빅 데이터 관련 커뮤니티의 오프라인 활동의 구심점으로 호튼웍스 데이터 랩을 활용할 것이다.
