Google : 슈퍼리얼 동영상 생성 AI인 'Lumiere'

생성형 AI의 발전은 시초를 다투며 발전하며 각 업체들마다 조금 더 앞선 기술들을 선보이고 있습니다.

오픈소스는 대단한 기회의 착상입니다.

큰회사인 구글이 일찌감치 이런 분야에 연구와 발표를 했었습니다. 구글이 발표하면 현재 상황에서 조금 더 진보한 결과물들을 보여주곤 했지요~

올해 2024년에도 번뜩이는 발표를 했습니다. 뤼미에르입니다.

아직 프로그램 공개를 하진 않았지만 구글은 2024년 1월 21일, 슈퍼리얼 동영상 생성 AI인 'Lumiere'를 발표했습니다. 텍스트나 이미지를 포함한 다양한 입력으로부터 동영상을 생성할 수 있는 기술입니다.

Lumiere는 싱글 패스를 통해서 동영상 전체를 한 번에 생성하는 'Space-Time U-Net' 아키텍처를 사용합니다.

이를 통해 기존의 동영상 생성 AI보다 빠르고 효율적으로 동영상을 생성할 수 있다고 합니다.

Lumiere는 다음과 같은 특징을 가지고 있답니다.

텍스트 기반 동영상 생성 :

텍스트 프롬프트로부터 동영상을 생성할 수 있습니다. 예를 들어, "해변에서 걷는 사람의 동영상을 생성하세요."라는 텍스트 프롬프트를 입력하면, 해변에서 걷는 사람의 동영상을 생성할 수 있습니다.

이미지 기반 동영상 생성 :

이미지와 그것에 부수하는 프롬프트를 사용하여, 그 이미지가 움직이는 동영상을 생성할 수 있습니다. 예를 들어, "고양이가 공을 가지고 노는 동영상을 생성하세요."라는 텍스트 프롬프트와 함께 고양이 이미지를 입력하면, 고양이가 공을 가지고 노는 동영상을 생성할 수 있습니다.

시공간 정보를 고려한 동영상 생성 :

동영상의 시간 정보를 고려하여, 움직임이 부자연스럽지 않은 동영상을 생성할 수 있습니다.
Lumiere는 아직 개발 초기 단계에 있지만, 다양한 분야에서 활용될 가능성이 있습니다.
동종의 많은 앱들이 그러하듯이 적용 분야가 점점 더 늘어 날겁니다.

분야별로는
영화 : 2D 영화를 3D로 변환하거나, 새로운 장면을 추가하는 데 사용할 수 있습니다.
게임 : 게임의 그래픽을 개선하거나, 새로운 스토리 라인을 추가하는 데 사용할 수 있습니다.
교육 : 교육용 콘텐츠를 생성하거나, 시뮬레이션을 만드는 데 사용할 수 있습니다.
광고 : 새로운 광고를 제작하거나, 제품의 시연 영상을 만드는 데 사용할 수 있습니다.
Lumiere의 개발은 슈퍼리얼 동영상 생성 기술의 발전에 크게 기여할 것으로 기대됩니다. 영상에 관계있는 분들이라면 아주 효율적으로 사용도 가능하다는 생각을 하실것 같습니다. 비용과 시간을 줄여주는 작업들 말이죠~

https://lumiere-video.github.io/
github에 실린 Google Reaearch 새소식입니다.

LUMIERE
A Space-Time Diffusion Model for Video Generation

비디오 합성의 핵심 과제인 사실적이고 다양하며 일관된 움직임을 표현하는 비디오 합성을 위해 고안된 텍스트-비디오 확산 모델인 뤼미에르(Lumiere)를 소개합니다.

이를 위해 유니티는 모델의 단일 패스를 통해 비디오의 전체 시간 길이를 한 번에 생성하는 시공간 U-Net 아키텍처를 도입했습니다. 이는 원거리 키프레임을 합성한 후 시간적 초해상도를 합성하는 기존 비디오 모델과 달리, 본질적으로 전체적인 시간적 일관성을 확보하기 어려운 접근 방식입니다. 공간적 및 (중요한) 시간적 다운샘플링과 업샘플링을 모두 배포하고 사전 학습된 텍스트-이미지 확산 모델을 활용함으로써, 이 모델은 여러 시공간 스케일로 처리하여 풀프레임 속도의 저해상도 비디오를 직접 생성하는 방법을 학습합니다.

최첨단 텍스트-투-비디오 생성 결과를 시연하고, 이미지-투-비디오, 비디오 인페인팅, 스타일화된 생성 등 다양한 콘텐츠 제작 작업과 비디오 편집 애플리케이션을 쉽게 지원하는 설계를 보여줍니다.

소개된 영상입니다.

뤼미에르가 나오는 대로 사용을 해보고 나름 느끼는 특징을 적어 보도록 하겠습니다.

@Exobrain