허허의 오늘은 뭐 먹지?

블라인드에 이런 질문이 올라왔다. 메시지큐를 쓰다가 메시지가 중간에 소실되는 건 어쩔 수 없을텐데, 어떻게 감지/조치하는지? 괜찮은 답변들이 많아서 정리해보면... 검사하는 로직 넣어서 실패하면 한번 더 보내게 하지 않나? 아니면 될때까지.. 일정이상 fail나면 skip 및 로그 처리 모든걸 다 감지는 못해서 심각한 장애가 일으킬 수 있거나 필수 데이터가 빠져있으면 job으로 배치 돌려서 그때그때 해결하거나, saga pattern으로 최소한의 필수 데이터를 고려해서 정합성을 맞춤 클라이언트 입장에서 전송이 실패하면 어디 쌓아놓았다가 나중에 쏴야죠. 카프카 클라이언트에 버퍼가 있는 경우도 있고, 좀 크게 잡으려면 일단 파일에 쓰고 이걸 파일비트나 fluentd로 쏘게하면 디스크 용량만큼 버퍼로 쓸 수 ..