후보 01 | GPT학습도우미
GPT 기반 스마트 학습 도우미
GPT 기반 자막 인식·질문·요약 등 통합 학습 도우미 프로그램

최근 코로나로 인한 비대면 학습과 온라인 강의의 확산으로 학습 자료의 방대함이 학습자들에게 부담으로 작용하고 있다. 특히, 동영상 강의의 경우 긴 자막을 읽고 이해하는 데 많은 시간이 소요되며, 이를 바탕으로 질문을 생성하거나 중요한 내용을 요약하는 과정이 비효율적이다. 본 프로젝트는 이러한 문제를 해결하기 위해 ChatGPT AI를 활용하여 자막 인식, 질문 생성, 요약, 파일 분석 기능을 통합한 학습 도우미 프로그램을 개발한다. 이 프로그램은 학습자들이 자료를 효율적으로 분석하고, 핵심 내용을 빠르게 파악하며, 이해도를 높이는 데 초점을 맞추고 있다. 또한, 학습 중 발생하는 다양한 질문을 자동으로 생성하거나 첨부된 파일을 통해 해당 강의 영상에 대한 설명에 보충 설명을 하는 등의 방식으로 도움을 주기도 한다. 이를 통해 학습자가 보다 효율적이고 집중적으로 학습할 수 있는 환경을 제공하는 것을 목표로 하고 있다.

프롬프트 구성

프로그램에는 여러가지 기능이 존재한다. 먼저 파일을 첨부하여 그 파일에 대한 설명을 요구하는 기능이 있다. 이를 통해 사용자는 본인이 듣고 있는 강좌의 강의내용을 첨부하여 설명을 받을 수 있다. 또한 특정 키를 누르면 화면 영역 지정 기능이 켜지게 된다. 이 기능을 통해 사용자는 자막이 있는 부분의 영역을 지정하고 이 프로그램이 해당 부분에서 나오는 자막들을 기록한다. 녹화 정지 키를 누르게 되면 자막 기록은 중단되며 녹화 시간동안 저장된 자막들을 챗지피티에 전송하여 요약을 요청하게 된다. 또한 강의자료와 강의영상 자막을 보낸 뒤에 시험 생성 버튼을 누르게 되면 강의와 관련된 시험 문제들을 제작해주기도 한다. 추가적으로 열기/닫기라는 문구가 써져있는 작은 사각형 위젯이 화면에 뜨는데 이것을 통해 쉽게 프로그램을 껐다 켰다할 수 있어 프로그램을 쓰지 않을 때에는 불편함이 없도록 하고 필요하게 된다면 바로 꺼내서 쓸 수 있도록 하였다. 또한 맨 밑에는 추가 질문 칸을 넣어 작성자가 따로 궁금한 부분에 대한 질문을 더 넣을 수 있도록 하였다.

활용 방식

위의 프롬프트 구성에서 언급하였던 기능들은 사실 기존 ChatGPT 사이트에서도 다 지원되는 기능들이다. 하지만 이 공모작의 목적은 학습만을 위한 전용 프로그램을 만드는 것이기에 학습 전반에 활용이 가능하다. 예를 들면 한 대학생이 “신호와 시스템”이라는 강의를 듣고 있다고 가정을 한다. 강의 영상과 pdf파일은 주어진 상태라고 한다면 pdf파일을 첨부하고 그 뒤에 녹화 기능을 통해 강의 영상의 자막 부분을 녹화하여 기록하고 그것을 질문해 요약을 부탁하게 된다면, pdf 파일만을 첨부했을 때보다 더 자세하고 정확한 설명을 제공받을 수 있다. 직접 들은 강의와 강의자료, 그리고 이 설명까지 더해지게 된다면 학습 능력이 압도적으로 상승하게 된다. 또한 성취도 파악을 위해 버튼 하나만 누르면 시험 생성도 가능하기에 성취도 파악도 가능하다. 매번 ChatGPT에 들어가서 로그인하고, 매번 하던 대화를 찾아들어가서 계속 파일을 첨부하고, 질문하고 이러한 과정이 필요없어지게 된다. 또한 강의 영상의 자막을 기록하여 질문하는 기능은 현재 ChatGPT가 지원하고 있지 않은 부분이기도 하기에 설명 자체의 질이 더 높아지게 된다. 참고로 영상에서 보이게 될 이 학습 도움 프로그램은 모두 ChatGPT를 이용한 것이고 또한 코드 설계 자체도 모두 ChatGPT를 이용하였다.

시행착오

ChatGPT를 활용하는 공모작인만큼 프로젝트 자체도 ChatGPT를 이용하였다. 하지만 아무리 코드를 잘 설계해줘도 원하는 기능을 완벽히 구현하는 것은 어려웠다. 그래서 계속해서 내가 원하는 기능이 무엇인 지를 설명하는 과정을 적게는 2~3번, 많게는 10번까지도 반복하였다. 예를 들면 열기/닫기 버튼 같은 경우 누를 때마다 프로그램이 꺼졌다, 켜졌다 해야 하는데 계속해서 켜지기만 하고 다시 꺼지지는 않았다. 알고보니 ChatGPT는 계속해서 여는 부분에 대해서만 이해하고 있었기에 열기 기능만 구현해두었던 것이다. 이것은 간단한 기능이기에 이 2번 안에 해결하였지만 자막 녹화, 파일 첨부, 시험 생성 등은 10번까지 재질문을 해야 하기도 했다.

보안/개선 방법

일단 사실 제일 아쉬운 것은 이 프로그램의 디자인이다. ChatGPT는 코드를 설계하는 것에 있어서는 아주 도움되지만 디자인과 같은 예술적인 측면에서는 이해도가 부족하다. 특히 그림을 생성하는 것이 아닌 아예 프로그램의 디자인을 직접 해야 하기에 더더욱 부족하였다. 만약 이러한 프로그램을 직접 출시하게 된다면 디자이너의 도움을 받는 방법 등을 통해 개선할 수 있다. 다른 개선 방향이 있다면 기능의 추가가 있다. 제일 먼저 생각했던 것은 수업을 녹음하고, 그 녹음된 음성을 통해 설명을 받는 것이었다. 하지만 이것은 현실적으로 잡음, 추임새, 혹은 잡담 등의 여러 이유로 힘들었다. MATLAB을 이용하여 필터링을 거쳐 잡음을 줄이고 또한 원하는 음성 부분을 자르는 기능을 추가하게 된다면 실현성이 있을 것이며 훨씬 더 좋은 품질의 설명을 받아낼 수 있을 것이다.

이 프로그램을 3일 정도 직접 써보았다. 그 결과 공부에 있어서 구체적인 향상 정도를 표현하기는 어려웠지만 적어도 한 강의에 대한 요약 속도는 기존 ChatGPT 사이트에 들어가서 할 때보다 20% 이상 빨라졌다(프로그램을 쓰기 전에 5일 정도는 기존처럼 사이트에 들어가 질문을 하고 공부를 하는 방식을 진행했다. 각 실험은 모두 비슷한 분량이지만 서로 다른 챕터에 대한 강의를 두고 진행하였다). 똑같은 AI를 사용하지만 이러한 차이가 발생한 이유는 이 프로그램이 학습만을 위한 프로그램이라는 것이 컸다. 기존 사이트에서는 여러가지 기능을 제공하지만 사실 학습에 있어서 필요한 기능은 전부 프로그램 안에 있었기에 프로그램으로 하는 것이 훨씬 빨랐다. 또한 자막 기록 기능의 영향이 매우 컸다. 이것은 ChatGPT에는 없던 기능이기에 원래라면 직접 강의를 듣고 들은 내용들을 직접 ChatGPT에게 설명해줘야 요약을 받을 수 있었는데 이 프로그램에서는 그런 불필요한 과정이 생략되기에 압도적으로 시간이 단축되었다.

아무래도 현재 대학생인지라 주위에 대학생은 널리고 널렸기에, 동기와 후배들에게 프로그램을 보내고 사용을 해보고 후기를 알려달라고 하였다. 나는 직접 설계를 한 당사자이기에 처음부터 프로그램 활용이 능숙했지만 대부분은 적응을 하기 힘들어하여 첫 날은 심지어 프로그램 갑자기 왜 꺼지냐며 화내는 후배도 있었다. 하지만 이틀차부터 적응이 된 뒤로는 대부분 만족스럽다는 평가를 주었고, 3일차에는 앞으로 공부할 때에는 이 프로그램을 쓰는게 좋을 것 같다라는 반응도 나왔다. 특히, 자막을 기록하고 그에 대해 설명을 해주는 기능이 제일 평가가 좋았다. 여기서 재미있는 부분은 나는 수업을 들으면서 녹화를 켜두는 방식을 생각했지만 생각보다 많은 인원이 요즘 게임의 ‘자동사냥’ 기능처럼 녹화 기능을 틀어두고 쉬고 있었다. 이를 통해 수업을 듣지 않아도 자막이 다 기록되고 ChatGPT가 설명까지 해주니 너무 편하다는 반응이 나온 것이다. 만든지 2주일이 지난 지금 아직까지 쓰고 있는 후배들도 있다.

이 공모작에 사용된 프로그램 #ChatGPT
ChatGPT 실력을 나도 키워보고 싶다면?