AI와 데이터를 제품에 통합하기

품질을 어떻게 확인할까

AI 응답의 품질을 확인할 기준이 없으면 기능은 방치됩니다. 대표 질문 세트를 만들고 주기적으로 결과를 점검합니다. 잘못된 응답이 나왔을 때 누가 어떻게 대응하는지도 정합니다. 이 절차가 있어야 기능이 오래 유지됩니다.

점검은 한 번에 몰아서 하지 않습니다. 기능을 처음 넣을 때 만든 질문 세트를 그대로 두고, 데이터가 바뀌거나 모델을 교체할 때마다 같은 질문으로 다시 확인합니다. 결과는 숫자 하나로 요약하기보다, 어떤 유형의 질문에서 약해졌는지 함께 남깁니다.

1. 1

   대표 질문 세트 만들기

   실제 사용자가 물을 만한 질문을 모으고, 기대하는 답의 형태를 함께 적어 둡니다.

2. 2

   주기적으로 결과 확인하기

   데이터가 바뀌거나 모델을 교체할 때마다 같은 질문으로 다시 돌려 봅니다.

3. 3

   검수 담당 정하기

   결과를 최종 확인하는 사람을 정합니다. 담당자가 없으면 기능은 조용히 방치됩니다.

4. 4

   잘못된 응답 대응 절차

   사용자가 신고하는 경로와, 담당자가 수정·차단까지 처리하는 순서를 미리 정해 둡니다.