컴퓨터비전

컴퓨터비전 분야에서 SOTA 모델이 필수불가결인 이유

딥러닝 분야의 경우 최신 기술/최신 연구 내용이 매우 중요한 분야입니다. 계속해서 새로운 알고리즘이 출시되고 있고, 내가 열심히 사용한 알고리즘보다 성능이 뛰어난 알고리즘이 나온다면 지금 짜고 있는 코드가 무용지물이 될 수 있죠.

그렇기 때문에 가장 정확도가 높은 모델로 내 알고리즘의 성능을 개선시키는 작업이 필요한데요. 이때문에 최근 컴퓨터비전 분야에서는 SOTA모델의 중요성이 강조되고 있습니다.

그래서 오늘은 SOTA모델이 무엇인지와 그 중요성에 대해 연구중이신 강사님과 이야기를 나눠보았습니다.

Q. 안녕하세요. 먼저 간단히 강사님 소개 부탁드립니다.

안녕하세요, 패스트캠퍼스 '실무 사례로 배우는 컴퓨터비전 논문 구현과 알고리즘 성능 최적화' 강의를 맡게 된 강사 안현웅입니다.

저는 대학원에서 영상정보처리를 전공하고 LG전자에 산학장학생으로 입사해서 인텔, Viework를 거쳐 현재는 SK Hynix에서 AI 관련 SW 연구 업무를 하고 있습니다. LG전자, Intel, Vieworks에서 Computer Vision과 Multimedia framework, middleware 개발, 등의 업무를 했고, SK Hynix에서 , PNM, ACiM과 같은 최신 AI 가속기 연구 개발에 참여했습니다.

Q. 강사님은 SK하이닉스, 인텔, LG전자, Vieworks 등 많은 기업에서 연구원으로 근무하시면서 컴퓨터 비전 분야 관련 연구 및 프로젝트를 다수 진행하신 것으로 알고 있는데요. 강사님이 주로 많이 연구하셨던 분야에 대해 상세히 설명 가능하실까요?

LG전자와 Intel에서는 Image와 video data에 대한 disply문제를 주로 다뤘습니다. 구체적으로 denoise, deblock, sharpning, image enhancement, decoding, scalling, post processing, 등 과제 내에서 multimedia Disply quality 향상을 위한 Multimedia framework을 담당하였습니다.

Vieworks에서는 의료영상 뷰어를 개발하였고, classfication과 화질 tunining위한 Deep learning을 적용하였습니다.

또한 SK Hynix에서는 가속기에 적용할 Deep learning 모델들을 분석, 구현, 적용하였고, 가속기에서 실행 가능한 모델을 개발할 수 있게 tensorflow, pytorch에 가속기 SW stack을 구현하여 적용하였습니다.

Q. 위에서 언급해주신 연구와 프로젝트를 진행하시면서 얻었던 인사이트나 러닝포인트를 공유해주실 수 있을까요?

모든 분야나 학문에는 흐름이 있는데, 특히 IT는 그 흐름과 변화가 빨라서 트렌드를 파악하고 트렌드 변화에 적응하고 따라가야 성공할 수 있는 분야라고 생각합니다. 기업에서 어떤 분야에 투자하는지 어떤 분야의 인력이 필요한지 파악하기 쉬운 방법 중 하나는 리쿠르트 시장에서 회사들이 어떤 분야를 많이 뽑는지 job description을 보면 그 흐름과 트렌드를 알 수 있습니다.

마찬가지로 학문에도 흐름과 트렌드가 있는데 흐름과 트렌드를 파악하기 위해서 어떤 분야에서 어떤 논문들이 많이 나오는지 살펴보는 것이 좋은 방법 중 하나입니다. 그 중 Deep learning 모델의 트렌드를 파악하기 좋은 방법이 SOTA 모델을 파악하는 것이라 생각합니다.


강사님께서 말씀해주신 것처럼 딥러닝 분야에서 연구 및 개발을 하시는 분이라면 빠르게 변하는 시장에 대처하기 위하여 SOTA 모델에 대한 지식은 꼭 필요할 것 같습니다.

Q. 구체적으로 SOTA 모델은 무엇이며, SOTA 모델이 어떻게 알고리즘의 성능을 향상시킬 수 있는지 자세히 설명해주실 수 있을까요?

SOTA 모델을 간단히 표현하면 각 분야에서 가장 높은 정확도를 기록한 모델입니다. 가장 높은 정확도를 기록했다는 것은 해당 분에에 가장 높은 성능을 가진 모델이라고 할 수 있으니, SOTA 모델을 적용하는 것만으로도 성능을 향상 시킬 수 있다는 것을 의미합니다.

Q. 그렇다면 현재 컴퓨터비전 분야에서 주목받고 있는, 혹은 주목해야할 SOTA 모델, 그리고 관련 논문에 대해서 자세히 설명해주실 수 있을까요?

예를 들어 ‘Swin Transformer’를 보면 기존의 Transformer 기반의 모델과 다르게 classification, detection, segmentation 등 모든 Computer Vision 분야에 활용될 수 있고, Transformer를 기반으로 하고 있어 정확도가 매우 높습니다. 다만 Transformer 기반으로 하고 있어 학습을 위한 DataSet이 충분이 많이 필요하다는 단점이 있습니다.

따라서 DataSet만 충분하다면 Swin Transformer를 활용하여 face recognition을 활용한 보안 장치, detecting과 segmentaion을 활용한 자율 주행이나 CCTV, 등 분야에서 활용할 수 있습니다.

Q. 소개해주신 SOTA 모델을 실적용해본다면 어떤 산업 분야에 어떠한 방식으로 활용될 수 있을까요?

제조업에서는 제품을 만들 때 불량에 대한 탐지를 사람이 직접 확인 하던 것을 AI를 이용하여 자동으로 탐지하여 제거하거나 수정하여 수율을 높이고, 편리성도 개선할 수 있습니다. 예를 들면 반도체 웨이퍼의 데이터 정보를 가지고 웨이퍼의 불량을 deep learning 모델로 찾아낼 수 있습니다.

이미 많은 제조업 자동화에 Deep learning을 적용하고 있고, 탐지 능력을 높이기 위해 지속적인 연구 개발을 하고 있습니다. Vision 모델을 적용한 드론을 이용하여 사람이 직접 확인하기 위험한 전봇대 꼭대기의 통신 장비나 나사 풀림을 확인하는 방법을 개발하고 있는 것도 하나의 활용 사례입니다. 이러한 적용 사례들의 성능을 높이는데 SOTA모델이 활용 될 수 있습니다.

회사의 연구 조직에서는 SOTA와 같은 최신 논문을 트레킹하고 분석하여 개발 방향성을 제시할 수 있고, 아직 검증되지 않는 최신 모델을 적용하여 검증하고 결과를 공유할 수 있습니다. 또한 트렌드에 맞춰 새로운 모델을 개발하거나 논문을 작성하여 기여하기도 합니다.

강사님의 말씀을 듣고나니까 SOTA 모델이 컴퓨터비전 분야에서 얼마나 중요한지 감이 오네요!

Q. 그렇다면 딥러닝 엔지니어들이 SOTA 모델을 주목하고 계속해서 학습해야 하는 이유를 정리해보면 어떤 것들이 있을까요?

Computer vision 분야는 AI 분야 중 사람의 능력을 넘어서는 분야입니다. 그만큼 신뢰도가 높다고 할 수 있어 활용 범위가 넓습니다. 하지만 여전히 더 높은 정확도를 가진 모델이 꾸준히 개발되고 있습니다. 최신 SOTA 모델에 관심을 가지고 적용한다는 것은 가장 높은 정확도를 가진 모델을 적용한다는 것이기 때문에 활용 범위가 넓은 분야에 가장 좋은 성능을 지닌 제품을 개발한다는 것과 같은 의미라고 할 수 있습니다.

따라서 실무에서 최신 SOTA 모델 관심을 갖는 것은 매우 중요한 일입니다. 특히 연구소는 남들 보다 먼저 최신 트렌드를 추적하고 적용하는 것이 주요 업무이므로, SOTA 모델 논문을 주목하고 지속적으로 학습하는 것이 필요합니다.

Q. 연계되는 질문으로 앞으로 컴퓨터비전 분야가 얼마나 더 발전할 것이라고 생각하시는지, 어떤 방향으로 발전할 것이라고 생각하시는지 궁금합니다.

모든 분야나 학문은 태동기-성장기-정체기-쇠퇴기를 거쳐갑니다. 정체기에 접어드는 시기는 더 이상 정확도를 향상 시킬 수 없는 단계에 들어서거나 더 이상의 정확도 넘어 설 수 없는 killer 모델이 등장해 더 이상의 개발이 무의미해질 때일 것입니다. 아직은 지속적으로 성능이 향상된 모델이 개발 되고 있어 성장기라고 할 수 있을 것입니다. 아직 얼마나 더 발전할 수 있을지 예측하는 것은 어려운 문제입니다.

다만 모델 개발의 방향성은 정확도를 높이기 위해 모델의 크기는 점점 더 커지고 DataSet도 점점 더 커진다고 할 수 있습니다. 과거부터 현재까지 Deep learning 모델을 보면 정확도 향상을 위해 계산량을 증가 시켰고 계산량 증가를 위해 모델 크기를 키워왔고 이에 맞춰 DataSet도 같이 커져왔음을 알 수 있습니다.

Q. 이 강의를 통해 경력별 AI 현업자들께서(주니어/시니어 엔지니어, 관리자 엔지니어 및 C-Level 현직자) 어떤 인사이트를 얻어갈 수 있을지 설명해주실 수 있을까요?

주니어 엔지니어에게는 모델을 더 깊게 살펴보고 이해함으로써 새로운 모델을 접하게 되었을 때 스스로 모델을 이해할 수 있는 능력을 갖출 수 있고, 시니어 엔지니어에겐 해당 논문 볼 때의 어려웠던 부분을 자세히 설명하고 있어 해당 논문을 파악하기 쉽다는 점과 다른 논문을 볼 때 이해도 또한 높일 수 있을 것입니다. C-level은 트렌드라고 할 수 있는 SOTA 모델들을 살펴봄으로써 vision deep learning 분야의 모델 개발 트렌드가 어떻게 되는지 파악하는데 도움이 될 것 입니다.

Q. 마지막으로 딥러닝 엔지니어로서 실무 역량을 쌓고자 하는 분들에게 해주실만한 조언이 있으실까요?

하나하나 쌓아간다는 생각으로 접근하면 어느날 갑자기 한단계 성장했음을 느낄 수 있을 것이니 조급해하지 않았으면 좋겠고, 프로그래밍 언어 자체와 프로그래밍 설계 구조를 이해하는 것도 기본이 되는 재료가 되는 부분이니 소홀하지 않았으면 좋겠습니다.

빠르게 변화하고 계속하여 최초/최신 연구 및 기술이 쏟아져나오는 딥러닝 분야에서 가장 정확도가 높은 최신의 SOTA 모델을 학습하고 논문을 구현하면서 실습해볼 수 있는 이번 강의가 딥러닝 분야에 몸을 담고 계신 모든 연구자, 실무자, 또 딥러닝에 관심이 있으신 분들께 도움이 될 것 같습니다. 특히 단순히 이론만 학습하는 것이 아니라 16개의 논문을 직접 구현해본다고 하니 모델을 체화시키면서 학습하실 수 있는 기회인 것 같습니다.

지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

딥러닝/인공지능 아티클 더 보러가기 👉