하루 1mm 개발 노트 하루 1mm 개발 노트

날이 갈수록 AI가 화두가 되어가고 있습니다. 그리고 그 안을 들여다보면 데이터의 중요성을 알 수 있습니다. 개인적인 생각으로는 머지않아 인공지능 기술은 더이상 특정 기업의 전유물이 아닐 것 입니다. 우리가 날씨 API를 사용하는 것처럼, 라이브러리를 사용하는 것처럼 많은 딥러닝 모델 및 API가 생겨있을 것 입니다. 때문에 모델을 더 잘 만드는 것보다 양질의 데이터를 보유하고 있는것이 가장 중요한 일이라고 생각됩니다. 데이터만 가지고 있다면 잘 만들어진 모델에 재학습을 한다면 각각의 서비스에 더 최적화된 인공지능을 보유할 수 있을 것 입니다. 오늘은 빅데이터 처리의 강력한 기술인 Spark에 대해 간략히 맛보겠습니다. 탄생 이유 기존의 MapReduce가 빅데이터 분석을 쉽게 만들어주긴 하였지만 몇몇 ..