A.I.Warper (@AIWarper)
LTX 2.3이 오디오와 시작 프레임만으로도 자연스러운 영상 생성이 가능하다고 언급됐다. 후처리 한 번을 더하면 품질이 좋아지고, 여러 개를 연결하면 저비용 콘텐츠 제작 에이전트로 활용할 수 있다는 점이 흥미롭다.
A.I.Warper (@AIWarper)
LTX 2.3이 오디오와 시작 프레임만으로도 자연스러운 영상 생성이 가능하다고 언급됐다. 후처리 한 번을 더하면 품질이 좋아지고, 여러 개를 연결하면 저비용 콘텐츠 제작 에이전트로 활용할 수 있다는 점이 흥미롭다.
New breakthroughs unveiled at Davos push AI video to a new level: audio-to-video generation, agentic skill control, and vision-language models now open-source via Vercel’s LTX toolkit. Discover how consistency and customization are finally within reach. #AIVideo #AudioToVideo #OpenSourceAI #Davos
🔗 https://aidailypost.com/news/ai-video-hits-high-bar-new-tools-consistency-customization-davos
Angry Tom (@AngryTomtweets)
오디오를 업로드하거나 음성을 녹음하거나 LTX에서 소리를 생성하면 이를 자동으로 비디오로 변환해 보여주는 'Audio to Video' 기능을 소개하는 트윗. 오디오 → 비디오의 멀티모달 변환 워크플로우를 간단히 안내함.
Yoav HaCohen (@yoavhacohen)
ElevenLabs와 협력해 LTX Studio의 Audio-to-Video 모델을 ElevenLabs Creative Platform에서 출시한다고 발표했습니다. 오디오를 한 번의 흐름으로 비디오로 전환하는 멀티모달 생성 기능 도입으로 크리에이티브 플랫폼의 생성형 미디어 워크플로우가 강화될 것으로 보입니다.
https://x.com/yoavhacohen/status/2013873219023888633
#audiotovideo #multimodal #elevenlabs #ltxstudio #generativeai
Justine Moore (@venturetwins)
새로운 Audio-to-Video 기능은 사용자가 오디오를 생성하거나 업로드하면 이를 기반으로 영상을 만들어 줍니다. 오디오(생성형)를 사용할 경우 음성 합성은 ElevenLabs의 스피치 모델을 사용해 다양한 목소리 선택과 감정·톤 제어가 가능하다는 점을 강조합니다.
https://x.com/venturetwins/status/2013687988673262017
#audiotovideo #elevenlabs #speechsynthesis #voice #multimodal

@LTXStudio This is the new Audio-to-Video feature. If you decide to generate audio (like I did) - the speech model behind this is @elevenlabsio. That means there's a bunch of great voices to choose from AND you can control emotion and tone. Here's a quick demo of how it works ⬇️
Justine Moore (@venturetwins)
LTXStudio가 오디오를 업로드하거나 생성하면 해당 오디오에 맞춰 립싱크된 영상을 생성하는 audio-conditioned video 모델을 공개했습니다. 캐릭터 보이스의 일관성 유지와 AI 인플루언서, 캐릭터 기반 콘텐츠 제작에 큰 영향을 줄 수 있는 멀티모달 영상 생성 기능입니다.

We've got a new audio-conditioned video model 👀 @LTXStudio now lets you upload or generate audio, and then creates a lip-synced video. This is going to be HUGE for consistent character voices + AI influencers. I tested it w/ an animation of my pets. More on how to use it 👇
Free & Unlimited Lip-Sync Videos with Wan 2.2 S2V
#tutorial #huggingface #Wan2.2S2V #LoRA #imagetovideo #local #texttoimage #AIvideo #audiotovideo #prompt #Kling #speechtovideo #opensource #Hailuo #texttospeech #manipulation #Minimax #image #animation #model #howto #flux1kontext #unlimitedvideognerations #fluxkontext #uncensured #AI #localinstall #Wan2.2 #sora #freeAIto...
oh nice.
here's another trick with audio and ffmpeg:
IF you have an mp3/ogg/flac/opus file that has an EMBEDED COVER in ID3 tag, ffmpeg will be very smart with it - all i did here was:
ffmpeg -i levitation.flac -pix_fmt yuv420p levitation.mp4
if ffmpeg complains, try setting image size with -s parameter:
ffmpeg -i input.flac -pix_fmt yuv420p -s 640x640 output.mp4
#ffmpeg #audiotovideo #tricks #mastodon https://toot.si/media/sCxOCF92_uDFii4tQY0