하루 1mm 개발 노트 하루 1mm 개발 노트

30분마다 넘어오는 크롤링 데이터를 가공하여 웹서비스를 제공하는 프로젝트에 들어가게 되었습니다. 저는 다음과 같은 고민을 하였습니다. 1. 하루에 수십 번씩 쏟아지는 많은 양의 데이터를 어떻게 전달할 것인가? 2. 병목 현상으로 처리 실패 및 데이터 유실이 발생하지 않을까? 그 고민 중 kafka를 알게 되었고 아래와 같은 이유로 kafka를 선택하게 되었습니다. 벤치마크를 통한 성능의 우위. 메시지의 순서가 보장이 필요 없음. 다른 MQ들과는 달리 읽어도 메시지가 사라지지 않아 데이터 유실이 걱정 없음. 또한 사라지지 않기 때문에 추후 다른 서비스에서 분석을 위해 메시지를 같이 수신할 수 있음. 때문에 kafka의 도입을 계획하며 kafka를 맛보면 정리한 글입니다. 이 글은 아래와 같은 순서로 진행이..