통합 검색어 입력폼

2018년 빅데이터 기술 7대 전망

조회수 2017. 12. 22. 11:20 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

‘새로운 석유’에 비유되는 빅데이터. 2018년 빅데이터 기술은 어떻게 발전할까요?

맵알 테크놀로지스(이하 ‘맵알’)의 테드 더닝 애플리케이션 아키텍트가 발표한 2018년 7가지 주요 빅데이터 기술 전망을 소개합니다.

1. 머신러닝, 기술 트렌드에서 ‘실제 업무에 적용하는 기술’로 전환

이제 머신러닝은 점점 비즈니스에서 범용적으로 활용될 전망이다. 인공지능(AI)에 대한 관심뿐 아니라 머신러닝에 대한 관심이 더욱 높아져, 머신러닝의 접근 범위 또한 광범위해지고 있다.

가장 성공적인 시스템은 기업이 툴이 아닌 문제점에 집중했을 때 나타날 가능성이 있다. 기업이 실질적인 목표를 갖고 필요한 데이터에 접근할 수 있도록 확장하고, 머신러닝 결과를 실제 업무에 적용할 수 있는 현실적인 계획을 수립하는 게 중요하다. 이를 위해서는 머신러닝에 알맞은 질문을 할 수 있어야 한다.

2. 머신러닝 성공의 90%는 (알고리즘 또는 모델이 아닌) 실행계획

데이터를 효과적으로 관리하는 것은 성공적으로 머신러닝을 사용하는 데 매우 중요하다. 데이터 관리는 머신러닝 모델 개발에 입력 데이터를 활용하는 것부터 운영에 필요한 지속적인 유지·보수까지 완전한 생애주기를 위한 기반이 된다. 효과적인 아키텍처와 전략적인 계획 수립을 통해 여러 머신러닝 툴을 기반으로 하는 다양한 시스템으로 애플리케이션보다는 플랫폼 수준에서 모든 것을 관리할 수 있게 될 것이다. 즉 매번 새로운 프로젝트를 위해 새로운 실행 계획을 구상할 필요가 없어진다. 이처럼 효율적인 머신러닝 실행 계획에 대한 중요성이 점점 높아지고 있다. 또 조직 전체에 스트림 기반 아키텍처와 글로벌 데이터 패브릭에 대한 요구사항이 증가할 것이다.

3. 신속한 쿠버네티스 도입을 통해 멀티 클라우드 환경 구축을 위한 기반 마련

쿠버네티스의 도입 속도는 점점 가속하고 있다. 쿠버네티스가 성공할 것이란 전망은 이미 전망이 아닌 시장 현황이다.

아직 많은 기업이 쿠버네티스를 클라우드 내에서 관리하고 오케스트레이션 하는 툴로 인식하고 있다. 하지만 향후 1년 이내에 쿠버네티스는 프라이빗과 퍼블릭을 포함하는 모든 클라우드 환경에서 컴퓨팅을 관리 및 오케스트레이션하고자 하는 기업들에 의해 점점 더 많이 사용될 것이다. 온프레미스 컴퓨팅은 컨테이너 및 오케스트레이션 방식으로 빠르게 변화하고 있다.

4. 기업의 핵심 요소가 되는 빅데이터 시스템 – 글로벌 데이터 패브릭 구현

과거에는 빅데이터와 개발된 프로젝트를 분리했다. 하지만 이제 빅데이터는 기업의 주요 자산이 됐다. 기업이 비즈니스를 데이터 중심으로 접근하고 있다. 이런 변화는 데이터 규모, 스토리지, 운영 및 분석 접근 등을 포함하는 빅데이터 시스템이 기업의 핵심 요소가 될 수 있도록 지원한다.

5. 데이터 흐름을 데이터 패브릭으로 결합

2018년에는 더 많은 기업이 컴퓨팅을 단순히 데이터베이스에 위치한 데이터가 아닌 데이터 흐름으로 인식하게 된다.

데이터 흐름은 비즈니스의 주요 이벤트를 수집하고 비즈니스 구조를 복제한다. 통합된 데이터 패브릭은 대규모 흐름 기반 시스템을 개발하는 데 기반이 된다. 특정 패브릭은 여러 맥락에서 활용할 수 있도록 다양한 종류의 컴퓨팅을 지원한다. 데이터베이스는 점점 데이터 흐름의 협력자 및 보완 역할을 하게 된다. 2018년 새로운 트렌드는 쿠버네티스와 같은 툴을 사용해 멀티 클라우드 컴퓨팅에 사용하지 않는 데이터와 사용 중인 데이터를 모두 제공하는 데이터 패브릭을 구현하는 것이다.

6. 민첩성을 높이기 위한 조직 차원의 접근인 데이터옵스

데이터과학자 및 개발자를 포함하는 전통적인 데브옵스 팀이 데이터옵스 팀으로 변화한다. 이는 부서 간에 역할 구분을 넘어서는 협력을 통한 목표 달성 가속화, 가치 실현 시간 단축, 높은 민첩성 등을 제공한다. 데이터옵스 형식으로 업무를 관리함으로써 변화하는 환경에 대응하고 적시에 필요한 조치를 취할 수 있는 역량을 제공할 수 있게 된다. 이를 통해 유연성 및 효율성을 확보할 수 있다.

7. 사물인터넷 엣지의 확장

2018년에는 최대로 확장 가능한 데이터 패브릭으로 사물인터넷(IoT) 기기와 가장 가까운 위치에서 엣지와 바로 연결되거나 데이터 패브릭이 기기에 탑재돼 있을 것이다.

테드 더닝 맵알 애플리케이션 아키텍트는 “2018년 기술 전망은 데이터 관련 도전과제들을 해결하기 위한 실질적인 접근과 그동안 맵알이 기업의 비즈니스 혁신을 이룰 수 있도록 지원하며 얻은 인사이트를 기반으로 발표했다”라며 “맵알의 데이터 패브릭은 고객이 혁신을 이룰 수 있도록 지원함과 동시에 기존 시스템 비용을 절감시킨다”라고 전했다.

이 콘텐츠에 대해 어떻게 생각하시나요?