같은 뉴스가 30번 들어올 때, 효과적인 중복 제거 3단계
외부 뉴스 소스 수십 개를 수집하는 파이프라인을 만들면서 수집보다 더 골치 아픈 문제가 따로 있었다. 같은 사건이 매체마다 제목만 살짝 바꿔서 들어온다. 연준이 금리를 올리면 그 한 사건이 30개 매체에서 30개의 제목으로 쏟아진다. “연준, 기준금리 0.25%p 인상”, “Fed 25bp 금리 인상 단행”, “미 연준 금리 또 올렸다”… 사람 눈엔 같은 사건이지만 문자열로는 전부 다르다. 이걸 … 더 읽기