노래하는 사진들
Google의 Lyria 3의 가장 눈에 띄는 기능 중 하나는 이미지에서 음악을 작곡하는 기능입니다. 석양, 도시 거리, 가족 사진 등 사진을 업로드하면 AI가 보이는 것을 분석하고 분위기를 해석하여 시각적 콘텐츠와 일치하는 오리지널 곡을 생성합니다.
이것은 단순한 속임수가 아닙니다. 모델이 시각 정보를 처리하고 감정적 맥락을 이해하며 완전히 다른 양식인 가사, 보컬 및 악기가 포함된 음악을 출력하는 진정한 멀티모달 AI의 데모입니다.
이미지-투-뮤직 작동 방식
Lyria 3는 Google의 Gemini 플랫폼을 구동하는 것과 동일한 멀티모달 기능을 활용합니다. 이미지를 업로드하면 다음과 같은 과정이 진행됩니다.
- 시각 분석: 모델은 객체, 장면, 색상, 조명 및 전반적인 분위기를 식별합니다.
- 맥락 해석: 평화로운, 활기찬, 향수 어린, 축제 분위기 등 감정적 톤을 추론합니다.
- 음악 작곡: 시각 분석을 기반으로 장르, 템포, 악기 편성 및 보컬 스타일을 선택합니다.
- 가사 생성: 이미지에 보이는 요소를 참조하는 가사를 작성합니다.
- 커버 아트 생성: 트랙에 맞는 커버 아트를 생성합니다.
전체 프로세스는 몇 초 안에 완료됩니다.
실제 예시
휴가 사진 → 여행 노래
금문교에서 찍은 사진을 업로드하면 Lyria 3는 다음과 같은 결과를 생성할 수 있습니다.
- 장르: 경쾌한 인디 팝
- 가사: 짠 공기, 만, 꿈을 쫓는 것, 자유로운 느낌에 대한 언급
- 분위기: 낙관적, 모험적
- 악기: 어쿠스틱 기타, 가벼운 타악기, 하모니카 솔로
가사는 실제로 사진에 보이는 특정 위치와 분위기를 참조하여 각 세대가 개인적이고 맥락을 인식하도록 만듭니다.
아기 사진 → 자장가
잠자는 아이의 사진을 업로드하면 Lyria 3는 부드러운 보컬, 단순한 멜로디 및 편안한 가사가 포함된 부드러운 자장가를 생성합니다. 따라갈 수 있는 자막도 제공됩니다.
콘서트 사진 → 록 트랙
라이브 콘서트 사진은 드럼, 일렉트릭 기타 및 라이브 음악의 스릴에 대한 가사가 포함된 활기찬 록 트랙을 생성할 수 있습니다.
단계별: 이미지-투-뮤직 만들기
- gemini.google.com을 열고 음악 도구로 이동합니다.
- 파일 추가 버튼을 클릭하거나 이미지를 프롬프트 영역으로 직접 드래그합니다.
- Google 포토에 연결하여 라이브러리에서 선택할 수도 있습니다.
- 스타일을 안내하기 위해 선택적 텍스트 프롬프트를 추가합니다.
- "재즈 발라드로 만들어 주세요."
- "경쾌한 운동 트랙을 만들어 주세요."
- "부드러운 어쿠스틱 노래"
- 제출을 누르고 생성을 기다립니다.
- 결과를 재생, 다운로드 또는 공유합니다.
더 나은 이미지-투-뮤직 결과를 위한 팁
시각적으로 풍부한 사진 선택
명확한 피사체, 흥미로운 조명 또는 강한 감정적 콘텐츠가 있는 사진은 평범하거나 모호한 이미지보다 더 나은 결과를 생성합니다.
정확성을 위해 이미지 + 텍스트 결합
이미지는 감정적 기반을 설정하지만 텍스트 프롬프트를 추가하면 장르와 스타일을 조정할 수 있습니다.
업로드: 해변 일몰 사진 프롬프트: "느긋한 남성 보컬이 있는 레게 분위기"
이 조합은 이미지에서 분위기를 얻고 텍스트에서 음악적 방향을 얻을 수 있습니다.
예상치 못한 조합으로 실험
추상 미술, 건축 사진 또는 스크린샷을 업로드해 보세요. AI의 해석은 놀라울 정도로 창의적이며 종종 예상치 못한 음악적 선택으로 이어집니다.
개인적인 노래를 위해 인물 사진 사용
특별한 사람의 사진을 업로드하고 "생일 노래" 또는 "사랑 발라드"와 같이 프롬프트를 지정하면 AI가 시각적 맥락에 개인적으로 느껴지는 것을 만듭니다.
이미지-투-뮤직이 중요한 이유
이 기능은 Google이 오디오를 텍스트 및 비전과 함께 최우선 양식으로 취급하고 있음을 나타냅니다. Gemini 생태계에서 이러한 양식은 더 이상 사일로화되지 않고 서로 흐릅니다. 이미지가 노래가 됩니다. 텍스트 프롬프트가 전체 프로덕션이 됩니다. 비디오 클립에 일치하는 사운드트랙이 제공됩니다.
콘텐츠 제작자에게 이는 실용적인 워크플로를 엽니다.
- Instagram/TikTok 크리에이터: 사진을 업로드하고 즉시 일치하는 사운드트랙을 얻습니다.
- 팟캐스트 제작자: 브랜드 이미지에서 분위기에 맞는 인트로 음악을 생성합니다.
- 이벤트 기획자: 이벤트 사진에서 맞춤 음악을 만듭니다.
- 개인 프로젝트: 기억에 남는 사진을 친구 및 가족과 공유할 수 있는 노래로 바꿉니다.
기술적 기능
이미지-투-뮤직 기능은 텍스트-투-뮤직과 동일한 고품질 오디오 생성을 사용합니다.
- 48kHz 샘플링 속도, 16비트 PCM 스테레오
- 생성된 가사가 포함된 전체 보컬
- 전문가 수준의 악기 편성
- SynthID 워터마킹으로 속성 표시
- 30초 트랙 길이
시각적 해석과 음악적 출력 간의 일관성을 유지하는 모델의 능력은 Lyria 3의 가장 기술적으로 인상적인 업적 중 하나이며 멀티모달 AI가 향하는 방향을 엿볼 수 있습니다.