후보 03 | 스튜디오A
그들은 바닷속 고대의 존재를 깨우고 말았다.
압도적인 바닷속 고대의 존재들이 선사하는, 저항할 수 없는 공포를 느껴보세요.

괴물이 나오는 크리처물과, SF 외계 공포물을 제작하여, 이를 유튜브 및 기타 SNS에 업로드 하기 위해 생성형 AI를 사용하였음.
괴물이 나오거나, SF장르의 영상을 제작할 때 가장 큰 문제점은, 압도적인 CG의 작업량임. 이를 해결하기 위해 CG의 비싼 비용을 생성형 AI 툴로 대체하여, 괴수 공포물 영상의 제작비용과 시간을 대폭 감소시키는 것을 목적으로 하였음.
그럼에도 자연스러운 움직임과 장면 개연성을 잃지 않도록 하였음.

작업 과정은 다음과 같이 진행되었음.
1. 대략적인 스토리 기획
2. 이를 위한 매력적인 괴수의 이미지를 ‘Midjourney’ ai 를 통해 생성.
3. 나온 괴수의 이미지를 바탕으로 스토리 구체화 및 필요 장면들 생성.
4. 생성된 장면 이미지들을 ‘hailuo ai’ 에 프롬프트로 주어, 영상으로 변환
5. 'elevenlabs ai'를 통해 인물들의 대사 및 나레이션을 생성
6. 영상 편집 툴을 이용해 최종 편집하여 완성.

Midjourney prompt

Variation : Horror. People are waling into the sea.
Imagine : On the boat. I see a huge, horrible-looking tentacle coming out of the sea.
Imagine : The gigantic whirlpool on the ocean. watching it at fishing boat.
Upscale : Cosmic horror. very realistic movie. in night, I see the incredibly large eyes of a bizarre fish in the sea.
Variation : Cosmic horror. realistic horror. I see the increadibly large eyes of a bizarre fish in the sea.
Variation : Cosmic horror. At night, strange and huge fish corpses wash up on the beach.
Variation : Cosmic horror. Deep in the sea, the silhouette of anc enormous monster is visible.
Variation : This monster is hiding in the dark ocean. SO I CAN SEE ONLY THE SILHOUETTE.

Hailuo ai prompt

horror. people are walking into the deep sea.
The creature just stands and watches her slowly.
horror. A huge creature staring at a person struggling under the sea.
in night on the sand of beach, The dying creature breathe very slowly with its mouth open.
horror. I saw the tentacle on the boat.
The corpses of unknown creatures lie on the beach. and a man is looking at it.
The whirlpool and boat.

Midjourney 시행착오

상상한 이미지와 일치하는 결과를 얻기 생각보다 힘들었음. 특히나 현실에 존재하지 않는 마이너한 크리처를 생성해내야 했으므로, ai의 상상 속 크리처에 대한 학습량이 부족한 탓인지 자꾸 의도와 많이 벗어난 이미지들을 생성했음.
이를 해결하기 위해, 일단 절대적인 시도의 횟수를 크게 늘렸음. 또한, 프롬프트 1개당 이미지 4개를 주는 미드저니의 특성을 이용하여, 4개중 그나마 유사한 이미지를 스타일 참조로 등록 하여 다시 프롬프트로 입력하였음. 그렇게 다시 나온 결과 4개중 가장 유사한 것을 또다시 스타일 참조로 등록하는 방식으로, 각 시도마다 점점 더 상상한 이미지와 유사한 결과물이 나오도록 유도하였음.
이러한 시도를 거듭한 결과, 매 시도마다 점점 더 원하는 이미지에 가까운 결과물을 얻어내었음.

Hailou ai (영상 ai) 시행착오

우선, luma, gen3, kling 등 수많은 영상 생성 ai 중 hailou를 택한 것은, 현존하는 ai 중 가장 동적인 움직임을 묘사하는데 용이해보였음. 또한, gen3와 마찬가지로 무제한 요금제가 존재하여, 시행착오를 하는 것에 대한 부담이 적었음.
그러나 역시, 움직임을 원하는대로 묘사하는데는 많은 시도가 필요하였음. 좀더 원하는 의도대로 결과를 얻기 위해 다음과 같은 방법들을 시도하였음.
1. 움직이지 말아야 하는 것은 “시체”라고 묘사하였음. 이 경우, 해당 물체의 움직임 정도가 현격히 줄어들었음.
2. 입력 이미지에, 움직이는 물체의 경우 모션 블러를 추가하였음. 이 경우, ai가 모션 블러가 들어간 물체를 움직이는 중이라 판단, 움직이게 만들었음.
3. 때때로 ChatGPT에게 더 나은 프롬프트를 생성해달라고 요청하여 사용하였음. 그러나 그다지 효과가 있진 않았음.
4. 움직임의 속도(slowly, fastly, normaly 등)과 카메라 움직임(static, pan left, tilt up 등), 카메라 앵글 (drone view, FPV등)을 지정하였음.

일반적으로 CG 작업의 경우, 이미지 구상 후 직접 모델링을 하고, Unreal 엔진을 통해 움직임과 동작, 카메라 등을 모두 구현한 후, 이를 또 랜더링 하고, 녹화하는 과정까지 수없이 많은 시간과 노력이 소모됨. 실제로 1분짜리 애니메이션을 만드는데 1개월 가량이 소모될 정도.
그러나, ai를 통해 작업한 결과, 2~3분짜리 짧은 영화를 만드는데 대략 20시간 정도가 소모되어, 상당한 생산성 향상을 이루어냈음.

아직은 ai가 의도대로 움직이지 않거나, 인물이나 괴물, 장소 등의 일관성이 유지되지 않는 등 여러 문제와 한계점이 있지만,
그럼에도 드라마틱한 생산성 향상을 확인할 수 있었음.

· Midjourney 6.1 version
· Hailuo ai beta version
· Elevenlabs

이 공모작에 사용된 프로그램 #Midjourney
실력을 나도 키워보고 싶다면?