AI music video по мотивам «Песни цыганки» из романа
«Монах» М. Г. Льюиса
Как превратить небольшой литературный фрагмент в самостоятельный музыкальный клип с помощью AI-инструментов.
С чего всё началось
Во время чтения готического романа Мэтью Грегори Льюиса «Монах» я наткнулась на небольшое стихотворение — «Песнь цыганки».
В тексте гадалка рассказывает о своих удивительных способностях: она умеет читать судьбу, знает прошлое и будущее, управляет луной и ветрами, может усыпить дракона, слетать на шабаш и, конечно же, продаёт всевозможные зелья на все случаи жизни.
Текст настолько напрашивался на музыкальное воплощение, что возникла идея: а что, если сделать из него настоящую песню и визуализировать?
Так начался этот проект.
И здесь важно уточнить: я не ставила перед собой задачу экранизировать роман или воссоздать его готическую атмосферу. История просто стала отправной точкой и источником идеи.
Идея
Главной героиней стала странствующая гадалка — яркая, уверенная в себе и совершенно не сомневающаяся в собственных сверхъестественных способностях.
Визуально я сознательно ушла от реалистичной экранизации и исторической реконструкции.
Мне хотелось ощущения мультфильма-мюзикла, где буквально каждая строчка песни может превратиться в отдельный визуальный аттракцион. Получилась история, в которой магия постоянно соседствует с ярмарочным юмором.
01. Музыка
Первым этапом стало превращение стихотворения в песню.
Я адаптировала литературный текст под музыкальную структуру и с помощью Suno создала музыкальный трек с вокалом.
При генерации я искала не мрачную готическую балладу, а более живое, ярмарочное и театральное звучание, такое, которое соответствует характеру самой героини.
После получения финального трека я разложила песню по таймлайну и определила, какое действие должно происходить в каждый музыкальный момент.
02. Создание персонажа
Следующим этапом стала разработка главной героини.
За основу я взяла описание гадалки из романа: «Вскоре толпа образовала круг, и в середине его Антония узрела женщину необыкновенного роста, которая вертелась в странной пляске, необыкновенным образом размахивая руками. Платье ее было сшито из разноцветных шелковых и полотняных лоскутов чрезвычайно пестро, но не без вкуса. На голове у нее было намотано подобие тюрбана, украшенного виноградными листьями и полевыми цветами. Она выглядела необыкновенно загорелой, и цвет ее кожи был оливково-смуглым. Глаза пылали таинственным огнем, а в руке она держала длинный черный жезл, которым порой чертила на земле разнообразные непонятные фигуры, а затем опять принималась кружиться между ними, словно охваченная безумием. Внезапно она прервала пляску, трижды с неописуемой быстротой повернулась на одной ноге, а затем после краткого молчания запела следующую балладу.»
Но литературное описание нужно было превратить в визуально устойчивого персонажа.
Поэтому я разработала её образ специально под формат 2D-анимационного фильма.
Героиня получила яркое лоскутное платье, необычный тюрбан с листьями и цветами и длинный чёрный посох с магическими символами. При этом мне было важно избежать образа «милой мультяшной ведьмочки». Она должна была быть харизматичной, хитрой, немного безумной и очень уверенной в себе. То есть человеком, который вполне способен сначала продать вам зелье любви, а потом убедительно объяснить, почему оно почему-то не сработало.
Варианты персонажа
Визуальная карта персонажа
03. Визуальный стиль
После создания персонажа я определила общий визуальный язык проекта.
Основное направление: яркий 2D animated film + мультфильм-мюзикл + сказочная магия + лёгкое безумие.
Я использовала стилизацию под рисованную анимацию с живописными текстурами и выразительной пластикой персонажей.
Целью было сделать визуальный ряд:
- ярким;
- декоративным;
- выразительным;
- немного театральным;
- динамичным;
- рассчитанным на вертикальный формат.
При этом каждая сцена должна была выглядеть частью одного мультфильма, а не случайной генерацией из отдельного промпта.
04. Сценарий
Поскольку песня состоит из последовательности коротких фраз, я построила клип практически построчно. Каждая реплика получила собственное визуальное действие.
Например:
«Позолотите ручку мне вы»
→ гадалка протягивает ладонь к зрителю.
«Мудрей меня нет на земле»
→ самоуверенно указывает на себя.
«По Книге Судеб я читаю»
→ открывает магическую книгу и т.д.
Так литературный текст превратился в последовательность визуальных гэгов и мини-сцен, объединённых одной героиней.
05. Сториборд и постановка сцен
После сценария я разработала структуру отдельных кадров и сцен.
Для каждого фрагмента определялись:
- действие;
- композиция;
- план кадра;
- положение персонажа;
- направление движения;
- выражение лица;
- взаимодействие с объектами;
- освещение;
- фон;
- переход к следующему кадру.
Это было особенно важно для AI-видео. Вместо подхода «сгенерируем что-нибудь красивое, а потом посмотрим» я сначала определяла, что именно должен рассказать кадр, и только потом переходила к генерации.
06. Генерация изображений и видео
Для создания изображений и визуальной разработки я использовала генеративные инструменты, а затем переводила разработанные образы в движение с помощью AI video generation.
Каждая сцена создавалась как отдельный элемент будущего монтажа.
При этом я постоянно контролировала: персонажа → композицию → действие → движение → визуальный стиль → соответствие музыке.
Особенно важной задачей была сохранность характера и внешнего образа главной героини при переходе между разными сценами.
07. Lip-sync
Чтобы героиня не просто появлялась в кадре, а действительно становилась участницей музыкального номера, я добавила lip-sync.
Я выбрала четыре ключевых фрагмента, где гадалка непосредственно обращается к зрителю или другим персонажам. В этих сценах важно было синхронизировать: вокал → движение губ → мимику → жест → действие.
При этом lip-sync стал не отдельным техническим эффектом, а частью режиссуры. Героиня действительно поёт свою историю, а не просто существует рядом с музыкой.
08. Монтаж
Последний этап — сборка всех элементов в единый клип.
Я объединила:
- музыкальный трек;
- отдельные видеосцены;
- lip-sync-фрагменты;
- переходы;
- ритмику;
- визуальные акценты;
- финальную обработку.
Особое внимание уделила синхронизации действия с текстом песни.
В результате получился вертикальный AI music video продолжительностью около 1,5 минуты.
Результат:
В проекте я прошла полный production pipeline:
→литературный источник
→ идея
→ музыкальный трек
→ персонаж
→ визуальный стиль
→ сценарий
→ сториборд
→ генерация изображений
→ генерация видео
→ lip-sync
→ монтаж
→ готовый music video.
Для меня этот проект был интересен прежде всего как возможность проверить, насколько далеко можно продвинуться от одной идеи до законченного аудиовизуального продукта, используя AI-инструменты как часть полноценного творческого процесса.
Здесь нейросеть не была целью. Целью был готовый фильм.
А AI стал инструментарием, с помощью которого я смогла самостоятельно пройти практически весь путь его создания.
Инструменты:
Suno — создание музыкального трека и вокала
AI image generation — разработка персонажа и визуальных материалов
Seedance, Kling — генерация и анимация видеосцен, lip-sync
Adobe After Effects— монтаж и финальная сборка
