조현권 작가님 글 - LLM으로 프롬프트 엔지니어링 시작하기
LLM으로 '프롬프트 엔지니어링' 시작하기
| 알파고 출시 후 시작된 인공지능 바람
2016년 알파고 대국 이후 IT 업계 분위기의 분위기는 크게 바뀝니다.
기업은 새롭게 시작된 AI 레이스에서 뒤처지지 않기 위해 본격적으로 투자를 늘려가기 시작했습니다. 고성능 GPU, 서버를 구입하고 AI와 관련된 고급 인력을 채용했죠. IT 업계에서 일하는 사람도 마찬가지로 바뀌기 시작했습니다. 인공지능을 잘 모르던 사람들은 강의를 들으며 개인적으로 공부를 했고 이제 막 직장 생활을 시작한 신입 사원들은 인공지능과 관련된 분야로 커리어를 시작하길 희망했습니다.
저 또한 변화와 무관하지 않았습니다. 인공지능과 관련된 업무가 생기기 시작했고 모르는 부분은 퇴근 후 개인 컴퓨터로 실습해 보며 채워야 했습니다. 변화의 바람은 기업뿐만 아니라 개인에게도 크고 작은 영향을 미쳤습니다.
그 당시를 돌이켜보면 기업과 개인 모두 변화의 흐름에 올라타지는 못하더라도 뒤처지지는 않겠다는 마인드였던 것 같습니다. 하지만 기업과 개인 모두 노력만큼 투자의 성과가 나타나지 않았던 것 같습니다. 당시에는 인공지능 개발에 진입장벽이 높았습니다. 큰 기업이 아닌 이상, 대부분의 기업과 개인들은 학습시키기 위한 고성능 하드웨어 장비를 갖추기 쉽지 않았고 학습 모델을 만드는 데 필요한 데이터도 부족했죠. 데이터가 있더라도 정확성을 보장하기 어려웠고 학습에 사용할 수 있도록 별도의 가공을 거쳐야 하는 문제도 있었습니다. 그래서 비교적 최근까지 인공지능은 충분한 데이터를 보유하고, 고성능 하드웨어 비용을 감당할 수 있는 몇몇 소수 대기업만 사용하던 기술이었습니다.
| Chat GPT 인공지능 개발의 특이점
그런데 Chat GPT 가 나오면서 판도가 바뀌게 됩니다.
LLM 모델을 베이스로 한 Chat GPT는 이미 인터넷상의 웹 데이터, 과학 논문 및 기술문서, 뉴스 미디어를 통해 여러 가지 데이터 학습을 이미 완료한 인공지능 모델입니다. 특정 분야에 대해서만 학습된 과거의 인공지능과 달리, 수십억 개의 매개변수로 훈련된 언어 모델이기 때문에 수학 문제도 대신 풀어주고 일본 여행 루트를 추천하기도 합니다. 고성능 장비를 갖추지 못했던 개인도, 데이터가 없었던 기업도 이제는 인공지능을 사용하는 데 무리가 없어졌습니다.
구글은 'Bard'를 출시했고 네이버는 '하이퍼 클로바'를 공개할 예정입니다. 그리고 다른 IT 대기업들도 잇달아 각자의 초거대 인공지능 모델을 출시하게 될 겁니다. 저는 인공지능 개발에 특이점이 왔다고 생각합니다.
과거에는 모두가 ‘어떻게 데이터를 이용해 학습 모델을 만들 것이냐’에 집중했었습니다. 그러나 이제 학습 모델을 만드는 일은 초거대 인공지능 모델을 만드는 회사의 AI 전문 연구자들이 대신하게 될 겁니다. 일반 개인과 대부분의 기업은 학습 모델을 만드는 대신 지금부터 ‘각 기업에서 제공하는 모델을 어떻게 쓸 것이냐’에 집중하게 됩니다. 즉, 여러 제품의 인공지능 모델을 이용해 최고의 아웃풋을 내는 것이죠.
여기서 핵심이 되는 기술은 '프롬프트 엔지니어링'입니다. 프롬프트 엔지니어링은 간단하게 말하자면, 컴퓨터에 일을 똑똑하게 시키는 능력입니다. Chat GPT는 모든 유저에게는 동일한 모델을 제공하지만 어떻게 질문을 하느냐에 따라서 답변을 다양하게 만들 수 있습니다.
| 프롬프트 엔지니어링을 활용해보기👇
ChatGPT에게 미국 LA 여행 코스를 질문해 볼까요?
가장 단순하게는 ChatGPT에게 “미국 LA 여행지를 추천해 줘”라고 물어볼 수 있습니다.
[ ChatGPT를 이용해 LA 여행지를 추천 받을 수 있습니다. ]
하지만 여행지가 조금 식상합니다.🧐
답변을 변형해서 사람들이 자주 가는 여행지를 제외하고 신선한 곳들만 추천해달라고 해봅시다.
질문을 조금만 바꾸니까 신선한 여행지를 추천받을 수 있게 됐습니다. 그런데 답변이 잔뜩 긴장한 부하 직원이 알려주는 것 같습니다. ✅프롬프트 엔지니어링을 활용하면 Chat GPT에게 특별한 Identity 를 부여할 수 있습니다. 저는 프롬프트 엔지니어링을 활용해서 말투가 다소 거칠고(?) 거만하지만 백만 구독자를 보유한 유튜버를 만들어봤습니다. 과연 답변이 어떻게 바뀌었을까요?
추천 장소도 바뀌긴 했지만, 무엇보다 어투가 바뀐 것이 눈에 띄네요. 답변이 반말로 바뀌었고, 왠지 자신감도 넘쳐 보이고, 마지막에 이모지까지 넣어서 딱딱한 느낌이 많이 줄었습니다. 친구가 알려주는 것과 비슷한 느낌이 들기도 합니다.🤗
프롬프트를 응용하면 새로운 정보를 알려줄 수 있습니다. 현재 Chat GPT는 21년 9월 이후의 데이터는 학습하지 못하는 한계가 있는데요, 저는 나무위키에 있는 개요 글과 프롬프트를 응용해서 올해 개봉된 크리스토퍼 놀란 감독의 신작 오펜하이머에 대한 정보를 추가해 보았습니다.
영화에 대한 정보만 추가했을 뿐인데 Chat GPT 가 갖고 있는 오펜하이머에 대한 정보까지 응용해서 훌륭하게 답변했습니다. 나무위키 정보란에 있는 글 몇 가지를 더 학습을 시켜보니 정말 정교하게 답변을 해내기 시작했습니다.
업무와 관련 있는 영역에서도 프롬프트 엔지니어링을 사용할 수 있습니다. 학교생활기록부를 작성하는 일을 Chat GPT에게 맡겨봅시다. 앞에서 사용한 것처럼 Chat GPT에게 가이드라인을 제시하고 몇 가지 키워드를 줬더니 3줄 이상 적절한 문장을 만들어 주기 시작했네요. 선생님들의 업무를 줄여줄 수 있을 것 같습니다. 😎😎
LLM 기반의 Chat GPT 모델은 우리가 다른 사람에게 알려주는 정보의 양만 있어도 쉽게 새로운 정보를 인공지능을 학습시킬 수 있습니다. 나무위키 자료만으로도 이 정도 퀄리티의 답변을 낼 수 있으니, 전문 문서를 학습시킨다면 훨씬 더 괜찮은 답변을 낼 수 있겠죠?
LLM은 데이터가 없어 어려움을 겪었던 일반 개인과 기업에는 정말 유용한 툴입니다.
| 대세가 될 프롬프트 엔지니어링
ChatGPT뿐만 아니라 바드, 하이퍼 클로바에서도 인공지능에서도 공통적으로 프롬프트 엔지니어링 기술이 필요합니다. 그러나 개별 기업들의 입맛에 맞게 커스터마이징했기 때문에 최적화 방식은 다릅니다. Chat GPT에 사용한 방식이 하이퍼 클로바에서는 적용되지 않을 수 있고 바드에서 사용하는 방식이 Chat GPT에서는 적합하지 않을 수 있습니다. 모든 인공지능 툴의 프롬프트 엔지니어링 최적화 방법을 기억하고 있다면 좋겠지만 이것은 마치 스프링, 장고, Nest.JS를 자유자재로 넘나드는 개발자가 되길 희망하는 것과 비슷합니다. 모두 다 잘하기는 쉽지 않죠.
이럴 때 가장 좋은 방법은 기반이 되는 기술을 익히는 것입니다. 웹 애플리케이션에 대한 기본 이해가 잡혀있는 개발자는 익숙하지 않은 프레임워크를 마주쳐도 짧은 러닝 커브만 극복하면 코드를 읽고 이해하는 데는 큰 어려움을 겪지 않습니다. 저는 앞으로 출시될 LLM 기반 서비스도 마찬가지라고 생각합니다. Chat GPT의 기반이 된 LLM에 대한 이해가 충분하다면 바드, 하이퍼 클로바에서 그리고 앞으로 출시될 다른 인공지능 서비스에서도 쉽게 프롬프트 엔지니어링을 적용할 수 있게 될 겁니다. 기본 뼈대는 크게 변하지 않을 거니까요.
🔥🔥패스트 캠퍼스에서는 LLM 모델을 학습하고, 앞으로 나올 수백 가지 서비스에 공통적으로 적용할 수 있는 프롬프트 엔지니어링을 배울 수 있는 강의가 있습니다. 단순히 Chat GPT를 잘 쓰는 방법이 아니라, 기반이 되는 지식을 습득해서 바드, 하이퍼 클로바 같은 다른 서비스에도 응용할 수 있는 프롬프트 엔지니어의 기초 지식을 채워보는 건 어떨까요? 앞으로 대세가 될 프롬프트 엔지니어링 시대에서 강력한 무기가 될 수 있다고 저는 생각합니다.
✨ 단순한 사용자에서 "창조적인 개발자"로 거듭나고 싶다면?📝
The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발
📌 내 서비스에 최적화된 답변이 어렵고 비용이 비싸다?
프롬프트 개발과 적절한 사전정보 주입을 통한 서비스에 최적화된 답변 제공
📌 일관성 있고 신뢰도 높은 답변은 불가능하다?
평가와 테스팅 과정을 통해 매번 일관성 있는 결과 출력
📌 내부 데이터가 유출될 위험이 있다?
민감한 정보를 제거하고 상황에 맞는 LLM API를 사용하도록 엔지니어링을 하거나 자체 LLM을 만들어 사용
지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면