Firefly Video Model: 어도비 생태계에 통합되는 비디오 AI
영상 생성부터 편집까지 지원하는 AI 모델
AI 기술이 이미지를 넘어 영상 제작까지 확장되면서, 영상 콘텐츠의 제작 방식도 빠르게 변화하고 있습니다. Adobe는 이런 흐름에 맞춰 Firefly Video Model을 공개했습니다.
AI 기반 영상 생성 기술은 여러 기업이 도전하고 있는 분야지만, 이 모델은 영상 생성 뿐만 아니라 아니라 어도비 크리에이티브 소프트웨어와 통합되어 영상 편집의 효율성을 크게 높여주는 것이 특징입니다.
Prompt: Slow-motion fiery volcanic landscape, with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic, dramatic, and high-contrast.
Prompt: Stop motion 2d animation made of felt of an egg cooking in a frying pan in a sunlit beautiful kitchen on the stovetop.
Firefly Video Model은 텍스트 입력만으로 영상 클립을 자동 생성하고, 기존 영상을 자연스럽게 확장하며, 복잡한 시각 효과까지 쉽게 추가할 수 있도록 돕습니다.
- Text to Video: 텍스트 설명만 입력하면 관련 장면 혹은 B-roll 영상*을 생성합니다.
- Image to Video: 정지 이미지를 영상으로 변환하거나, 기존 영상에 이미지 기반 장면을 추가할 수 있습니다.
- Generative Extend: 특정 컷의 길이가 짧아 편집이 어려울 경우, 추가 프레임을 생성해 매끄러운 연결을 만들어 줍니다.
- VFX 생성: 액션 영화에서 흔히 볼 수 있는 폭발, 연기, 조명 효과를 추가하여, 별도의 3D 모델링이나 합성 작업 없이도 자연스러운 특수 효과를 구현할 수 있습니다.
주요 장면(A-roll)을 보완하는 보조 영상을 의미합니다. 예를 들어, 인터뷰 영상에서 말하는 사람(A-roll) 외에도 관련된 장면(예: 사무실 풍경, 제품 사용 장면 등)을 삽입해 이야기의 흐름을 자연스럽게 만들 때 사용됩니다.
VFX 생성 기능
그럼 Firefly Video Model이 기존 편집 워크플로우에 어떻게 적용될 수 있을까요?
- 음악과 영상 자동 싱크: 배경 음악의 패턴과 분위기를 분석해, 클립 길이를 조정하고 장면 전환을 자동으로 맞춰줍니다.
- 점프컷 보정* : 불필요한 영상 부분을 잘라냈을 때, 부드러운 전환 효과를 추가해 부자연스러운 점프컷을 보완합니다.
- 미촬영 장면 보완: 촬영 중 빠진 장면이나 부족한 장면이 있다면, 기존 영상과 일관된 스타일의 영상을 생성하여 이어줍니다.
- 오브젝트 자동 제거: 지나가는 사람이나 불필요한 배경 요소를 자동으로 제거 후 보정합니다.
같은 장면에서 시간이나 동작이 갑자기 뛰어넘는 편집 기법을 의미합니다. 예를 들어, 인터뷰 영상에서 불필요한 부분을 잘라냈을 때, 사람의 위치나 표정이 갑자기 바뀌는 경우 자연스럽지 않게 느껴집니다.
Firefly Video Model은 올해 말부터 베타 테스트가 진행되고, Adobe Premiere Pro를 비롯한 주요 편집 도구에 통합될 계획입니다. AI 기반 편집 기능이 점점 더 정교해지는 만큼, 크리에이터들의 작업 방식에도 상당한 변화가 예상되네요.
더 알아보기
Ashley Still
Sienna
SaaS 스타트업에서 일하고 있습니다. 쏟아지는 제품 속에서 주목할 만한 것들을 소개합니다.