Background 운영하고 있는 학습 관리 서비스에서 티처, 조교는 학생이 제출한 과제에 댓글을 달 수 있다. 최근 과제의 "반려", "보류"라는 새로운 상태 변경 기능이 추가됨에 따라 기존 과제에 작성한 "댓글"의 데이터 처리 및, 과제 상태에 따른 댓글 작성 가능 여부에 대한 정책이 필요한 상황
그래서 우선 댓글 작성 기능의 정책을 세우기 전, 어떤 댓글들이 작성되고 있는지, 어떻게 작성되고 있는지 파악이 필요했다. 하나 하나 수작업하거나 스프레드시트 필터를 활용해서 대강 확인해볼까 생각했지만 텍스트 마이닝, 라벨링 ChatGPT를 활용하여 할 수 있다는 것이 생각나서 해보기로 결정!
스프레드시트를 활용한 ChatGPT 프롬프트 설계
ChatGPT를 활용할 것이었기 떄문에 프롬프트 설계하는 과정이 필요했다. 오빠두엑셀 유튜브 영상의 프롬프트를 보고 서비스에 성격에 맞게 변환하여 프롬프트를 만들었다.
여기서 엄청난 인사이트는 프롬프트를 설계할 때 스프레드시트를 활용하여 구성하는 것!
SUBSTITTUE 함수를 활용
위에 표를 만들고, SUBSTITUE 함수를 활용하여 대치시켜서 프롬프트를 구성했다. 변경사항이 생길 때마다 하나하나 수정하지 않아도 되어서 좋았음!
프롬프트를 한 번에 쓰기에는 좀 어려웠고, 데이터를 계속 넣어보면서 제외해야하는 키워드를 추가하기로 결정했다. 아무래도 선생님 스타일마다 다르겠지만 댓글 자체가 정성적인 데이터여서 그런 것 같다.
칭찬, 학습 방식 개선, 소통, 지적, 제안 .. 등등으로 카테고리를 정했고 댓글에 따른 "대표 키워드"를 통해 분석을 완료했다.
데이터 분석
원래는 각 대표 키워드를 선택하면 해당 댓글이 뜨도록 "대표 키워드"별 시각화 보고서를 만들어 보려고 했으나 정성적이기도 하고, 멤버 개별에게 쓴 데이터이다보니 크게 의미가 없을 것 같아서 패스했다.
해당 과정을 통해 어떤 댓글이 쓰였는지 알게되었고, 이를 대표 키워드로 분석하니 사용자별로 상이하다.. 라는 결과를 알 수 있었다.
해당 태스크는 "과제 댓글 정책 정의"라는 목적을 위함이었고,
과제가 반려된 경우 댓글 방식을 활용하여 티처와 멤버가 소통해야하는가? 반려된 과제의 경우 이의제기 하는 방식이 "댓글"로 소통하는 것이 맞는가?
- 왜 꼭 댓글이어야하지? -제출된 과제를 반려한 후 취소처리할 가능성이 있을까? -과제 반려 자체에 이의를 제기할 수 있는 것을 댓글창으로 두는 것이 맞을까? 오히려 이의 제기 자체를 어렵게 만들어야하는 것은 아닐까? -반려된 과제에 댓글창을 만든다면 조교와 티처가 확인하기 편할까?
그래서 프롬프트를 한번 더 설계하여 반려될 가능성이 있는 과제와 반려 사유를 리스트업했다.
과제 제출이 반려될 가능성이 있는 과제 찾기 프롬프트 제출한 과제에 달린 댓글에 작성된 댓글을 표로 정리하였습니다. 작성된 과제 댓글을 보고 과제 제출이 반려되어 재제출이 필요할 가능성이 있는 과제의 순번을 표로 정리하고, 그 이유를 간단하게 한 줄로 작성해주세요.
과제가 반려될 가능성이 있는 사유 분석 완료! 사유를 보니 절대적으로 과제의 재제출이 필요한 경우가 대다수였다.
그래서 따로 추가적인 과제 반려에 대한 이의제기를 하는 플로우까지 필요할까? 란 생각이 들었고, 현재 프로젝트 일정이나 리소스를 고려했을 때 이의제기 플로우는 진행하지 않는 것으로 결정! (반려되면 .. 무조건 다시 과제를 제출하는 것으로 결정했으며,
대신 반려를 취소할 수 있게 기능을 기획했디)
대신 반려된 과제에 대해서 사유 불충분으로 인해 질문이 있는 경우 기존 만드어 둔 1:1 메시지 전송 기능으로 메시지를 보낼 수 있도록 UX 플로우를 짜면 좋을 것 같다.
추가로 조교, 티처가 휴먼 에러로 과제를 잘못 반려하는 상황도 있을 것이니 반려 취소 플로우와 임의로 제출 완료 처리를 할 수 있게 하는 것도 포함해야겠다는 생각이 들었다.
인사이트!
스프레드시트에 있는 데이터 약 1000개 가까이 되는 데이터를 보면서 솔직히 좀 막막하고 뇌피셜로 진행할까..도 잠시 고민했는데 역시 꼼꼼하게 데이터 정리, 분석해보기를 잘한듯 ChatGPT와 스프레드시트 활용하여 업무 효율성을 높인 것 같아서 즐거웠다.
정성적인 데이터 중에서도 사용자별로 상이하다면 카테고리 구분이 어려울 수 있다는 생각이 들었고 이 부분을 해결하기 위해선 프롬프트를 한번 더 디벨롭하는 과정이 필요할 것 같다.
현재는 모든 수학 과목의 단원들을 카테고리했는데, 수학 과목의 단원이 들어간다면 "단원" 등으로 카테고라이징 한다던지? 이런 방법을 활용하면 좋을듯
추가로 학습 관리 일지 데이터라던지 기존에 학생들이 작성한 공부 일지와 같은 정성적인 데이터도 이 방법을 활용해 분석해보면 좋을 것 같다는 생각이 들었음. 또 텍스트 마이닝을 통해 긍정,부정을 평가해보는 방식도 재밌을 것 같다는 생각이 든다.
