От аудио к нотам без иллюзий: что на самом деле услышали Klangio и Basic Pitch

Может ли современный AI-транскрибатор превратить готовую песню в пригодную для публикации партитуру?

Короткий ответ: пока нет. Но он уже способен заметно сократить путь до рабочего нотного черновика — при условии, что музыкант понимает, какие ошибки искать и не принимает автоматически созданный файл за окончательный результат.

Для эксперимента мы использовали фрагмент припева выпущенной песни Alex Kryve “When the Soul Aches” и проверили два разных подхода:

1. локальное преобразование чистого вокала в MIDI при помощи Spotify Basic Pitch 0.4.0;
2. облачную транскрипцию в Klangio Transcription Studio — отдельно для чистого вокала и для полного рок-микса.

Результат оказался показательным: Basic Pitch лучше контролировался на уровне отдельных нот, Klangio создал более читаемое представление вокальной фразы и текста, а режим Rock значительно точнее определил общий метр и темп. Однако каждый из инструментов допустил ошибки, которые делают автоматический экспорт непригодным для продажи или исполнения без ручной проверки.

Мы проверяли не абстрактную способность программы «узнавать музыку», а её пригодность для конкретного профессионального процесса:

аудио → редактируемый MIDI или MusicXML → ручная музыкальная проверка → оформленная партитура → PDF.

Нас интересовали семь параметров:

• высота нот;
• атаки и длительности;
• мелизмы и вибрато;
• темп и музыкальный размер;
• разделение инструментов;
• распознавание и привязка слов;
• объём ручной работы после экспорта.

В тесте использовался припев песни “When the Soul Aches”. Для локального анализа был подготовлен 30-секундный фрагмент чистого вокала, начинающийся приблизительно с отметки 00:58,9. Для бесплатной демонстрации Klangio пришлось использовать 20-секундные фрагменты того же раздела песни, поскольку деморежим ограничивает продолжительность одной транскрипции.

В качестве контрольной линии применялся MIDI вокала: 69 нот в диапазоне A3–D5. Поэтому приведённые ниже проценты показывают сравнительное совпадение результатов между собой, а не абсолютную «истину» исполнения.

Песня уже была официально выпущена. В облачный сервис передавались только два коротких тестовых отрывка — чистый вокал и полный микс. Полный мастер и комплект отдельных исходных дорожек не загружались.

Basic Pitch — открытая система автоматической музыкальной транскрипции, разработанная Spotify Audio Intelligence Lab. Она создаёт MIDI, поддерживает pitch bend и способна работать с полифоническими источниками, хотя сами разработчики отмечают, что наилучший результат получается при обработке одного инструмента за раз.

В нашем тесте Basic Pitch 0.4.0 работал локально через ONNX. Аудиофайл не передавался во внешний сервис.

Мы сравнили три профиля.

Профиль	Найдено нот	Диапазон	F1 при окне 100 мс	F1 при окне 200 мс
Стандартный	84	A3–D♯6	48,4%	66,7%
Ограниченный вокальный диапазон	93	G♯3–E5	51,9%	69,1%
Настроенный вокальный профиль	62	A3–E5	53,4%	71,8%
Контрольная линия	69	A3–D5	—	—

Здесь F1 — не рекламная «точность программы». Это наша сравнительная метрика совпадения найденных нот с контрольной линией при двух допусках по времени атаки: 100 и 200 миллисекунд.

Что произошло при стандартных настройках

Стандартный профиль создал 84 ноты вместо 69 и расширил вокальный диапазон до D♯6. Для данного исполнения это нереалистично. Алгоритм принял часть обертонов, дыхательных переходов и вокального вибрато за самостоятельные высокие ноты.

Иными словами, программа услышала не только мелодию, но и акустические следствия исполнения. Для спектральной модели это объяснимо; для нотной записи — ошибочно.

Почему простое ограничение диапазона не решило проблему

После исключения явно лишнего верхнего регистра результат стал ближе к реальному диапазону, однако количество событий выросло до 93. Модель перестала создавать экстремально высокие ноты, но ещё сильнее раздробила протяжённые вокальные звуки на короткие атаки.

Это хороший пример того, почему «правильный диапазон» ещё не означает «правильную партию». Высота может выглядеть правдоподобно, а музыкальная фраза при этом распадается.

Лучший профиль

Наиболее устойчивый результат дали следующие настройки:

• диапазон частот: 110–700 Гц;
• минимальная длительность ноты: 120 мс;
• порог атаки: 0,60;
• порог продолжения ноты: 0,35;
• темп проекта: 81 BPM.

Количество событий уменьшилось до 62, исчезли ложные ноты экстремального верхнего регистра, а показатель сравнительного совпадения вырос до 71,8% при допуске 200 мс.

Но даже лучший вариант сохранил типичные проблемы автоматической вокальной транскрипции:

• лишние триоли;
• короткие паузы внутри непрерывной фразы;
• повторные атаки на одном слоге;
• случайные одновременные ноты в монодическом вокале;
• буквальную передачу вибрато вместо его музыкальной интерпретации.

Вывод по Basic Pitch: это хороший источник редактируемого MIDI и карта высот, но не готовая вокальная партитура. Его сильная сторона — локальная обработка, прозрачные параметры и возможность целенаправленно уменьшать определённый тип ошибок.

В Klangio Transcription Studio был выбран режим Single-Instrument → Vocals → Include Lyrics.

Визуально результат выглядел убедительнее сырого MusicXML от Basic Pitch. Сервис сформировал одну вокальную систему, разместил под ней текст и в целом сохранил узнаваемое направление мелодии. Большая часть слов припева была распознана и связана с нотами достаточно хорошо, чтобы использовать результат как основу для дальнейшего редактирования.

Но затем обнаружилась системная ошибка: Klangio определил фрагмент как 3/4 при 56 BPM.

Исходная песня организована в 4/4 примерно при 81 BPM. Следовательно, проблема затронула не отдельную длительность, а всю ритмическую сетку. Ноты оказались помещены в неправильные такты, паузы получили неверные функции, а естественное движение фразы было переинтерпретировано под чужой метр.

Это принципиально важнее нескольких неверно распознанных высот. Ошибочную ноту можно быстро заменить. Ошибка темпа и размера заставляет пересобирать практически всю запись: переносить тактовые черты, связывать длительности, заново проверять затакты и синхронизацию слогов.

Что Klangio сделал лучше

• представил вокальную линию визуально чище;
• создал пригодную для чтения черновую верстку;
• распознал большую часть английского текста;
• связал текст с общей последовательностью вокальных событий;
• не превратил каждый элемент вибрато в настолько заметный поток ложных нот, как стандартный Basic Pitch.

Что потребует ручной правки

• темп;
• музыкальный размер;
• границы тактов;
• длительности и паузы;
• распределение некоторых слогов;
• мелизмы и протяжённые окончания фраз.

Вывод по вокальному режиму Klangio: результат удобнее читать, чем необработанный MIDI, но ошибка метрической основы не позволяет считать его более точной партитурой. Это хороший визуальный черновик — и плохой кандидат на автоматическую публикацию без музыкального редактора.

Для второго облачного теста тот же раздел песни был загружен как 20-секундный полный микс. Мы выбрали экспериментальный режим Rock (Beta) с автоматическим определением инструментов.

Здесь система повела себя иначе.

Параметр	Результат Klangio Rock	Контроль
Темп	79 BPM	около 81 BPM
Размер	4/4	4/4
Найденные партии	Guitar, Guitar 2, Bass, Drums	в миксе также присутствуют вокал и клавишные
Строй гитар	на тон ниже	требует проверки по исходным дорожкам
Строй баса	C–G–C–F	требует проверки по исходной басовой партии

По сравнению с вокальным режимом метрическая оценка стала значительно точнее: расхождение в две доли темпа для автоматического анализа полного рок-микса невелико, а размер 4/4 определён правильно.

Сервис также построил правдоподобный гармонический каркас фрагмента:

Am – F – Dm – G – C – F – Dm – E.

Этот результат уже можно использовать как отправную точку для упрощённого аккомпанемента — например, для версии «вокал плюс акустическая гитара».

Но разделение партий оказалось ограниченным. Klangio не создал вокальную или клавишную дорожку, а две гитарные партии в нескольких местах выглядели почти идентичными. Это может частично отражать реальное удвоение гитар в аранжировке, но точное совпадение также указывает на риск дублирования одного и того же спектрального материала между двумя выходными партиями.

Бас и барабаны были сведены к достаточно простому ритмическому скелету. Такой результат полезен для ориентации в форме, но недостаточен для восстановления нюансов живой партии — ghost notes, переходов, динамики, артикуляции и взаимодействия с вокальной фразой.

Вывод по режиму Rock: он лучше остальных тестов понял общую метрическую и гармоническую структуру, но не восстановил полный состав аранжировки и не доказал надёжного разделения похожих тембров.

Ниже показано начало одного и того же 20-секундного фрагмента припева. Basic Pitch и Klangio Vocals получили чистый вокал, а Klangio Rock — полный микс, поскольку его задача состояла в разделении ансамблевой аранжировки. Поэтому разная плотность нотной записи здесь является частью результата, а не различием сравниваемого музыкального материала.

Нотный материал показан частично и используется только как иллюстративный пример к результатам эксперимента.

Задача	Basic Pitch, настроенный профиль	Klangio Vocals	Klangio Rock
Высотный контур вокала	Самый контролируемый результат	В целом узнаваем	Вокал не выделен
Ритмическая читаемость	Фрагментация и лишние события	Чище визуально, но неверный метр	Верные 4/4 и близкий темп
Текст	Нет	Большая часть распознана	Нет вокальной партии
Инструменты	Один источник за раз	Один вокал	2 гитары, бас, барабаны
Редактируемый результат	MIDI; далее возможен MusicXML	Форматы доступны после разблокировки	Форматы доступны после разблокировки
Конфиденциальность теста	Полностью локальная обработка	Короткий фрагмент передан в облако	Короткий фрагмент передан в облако
Лучшее применение	Карта нот и сырой MIDI	Вокальный черновик с текстом	Темп, размер, гармония и скелет ритм-секции

Главное наблюдение состоит в том, что эти инструменты не просто отличаются «качеством». Они создают разные интерпретации одного аудио.

Basic Pitch отвечает прежде всего на вопрос: «Какие высотные события присутствуют в сигнале?»
Klangio Vocals пытается ответить: «Как это можно показать как вокальную нотную строку со словами?»
Klangio Rock решает третью задачу: «Как разложить общий спектр на типичные функции рок-группы?»

Ни один из этих вопросов не равен вопросу музыканта: «Как эта партия задумана, фразируется и должна быть исполнена?»

Автоматическую транскрипцию часто оценивают по проценту правильно найденных высот. Для реальной нотной работы этого недостаточно.

Если алгоритм ошибается на один полутон, редактор видит локальную проблему. Если он принимает обертон за дополнительную ноту, лишнее событие можно удалить. Но неверный размер изменяет структуру всего документа:

• фраза делится не в тех местах;
• сильные доли перестают совпадать со смысловыми ударениями текста;
• синкопы превращаются в сложные и ненужные длительности;
• мелизмы пересекают случайные тактовые черты;
• аккомпанемент и вокал становится трудно совместить.

Поэтому в профессиональном процессе сначала необходимо проверить темп, размер, затакт и форму, и только затем исправлять отдельные ноты.

Локальная обработка Basic Pitch оставляет исходное аудио на рабочем компьютере. Для неизданных песен, обучающих наборов и индивидуальных stem-дорожек это наиболее осторожный вариант.

Klangio требует загрузки аудио на сервер. Согласно действующим условиям Klangio, файлы временно хранятся для создания транскрипции, не используются для обучения моделей и не передаются третьим лицам. Для анонимных демотранскрипций заявлены ограничение в 20 секунд и удаление результата через 30 дней; также можно запросить удаление загруженного материала.

Даже при таких условиях мы придерживались принципа минимальной передачи данных: использовали только короткие фрагменты уже выпущенного произведения. Для неопубликованных работ разумно начинать с локальной обработки и обращаться к облачному сервису только тогда, когда его дополнительная функция действительно необходима.

Важно и другое ограничение: бесплатная демонстрация предназначена для тестирования. Она не даёт полноценного редактирования, а коммерческое использование Klangio связывает с полной, разблокированной транскрипцией оригинальной композиции. В нашем интерфейсе варианты экспорта были показаны, но попытка получить файл потребовала регистрации; поэтому платную разблокировку и создание аккаунта в рамках теста мы не выполняли.

Эксперимент не выявил одного победителя. Он показал более надёжную комбинацию инструментов:

1. Подготовить отдельные stem-дорожки. Чем меньше конкурирующих тембров слышит модель, тем легче проверить её вывод.
2. Зафиксировать музыкальную основу вручную: темп, размер, тональность, затакт и границы разделов.
3. Пропустить чистый вокал через локальный Basic Pitch или NeuralNote и получить редактируемый MIDI.
4. Отфильтровать физические признаки голоса, которые не являются отдельными нотами: вибрато, дыхательные атаки, шум согласных и обертоны.
5. Использовать Klangio как дополнительную интерпретацию, особенно для текстовой привязки, гармонического каркаса и проверки отдельных инструментов.
6. Собрать партии в MuseScore, Dorico или Sibelius через MIDI/MusicXML.
7. Провести ручную музыкальную редактуру: проверить мелодию на слух, восстановить фразировку, расставить дыхание, артикуляцию и динамику.
8. Только после этого верстать коммерческий PDF и демонстрационный playback.

Найденная последовательность аккордов даёт полезный гармонический каркас, но сама по себе не передаёт характер перебора, басовые ходы, динамику и взаимодействие с голосом.

В этом эксперименте AI:

• обнаруживал вероятные высоты и атаки;
• предлагал длительности;
• распознавал часть текста;
• оценивал темп и размер;
• классифицировал инструменты;
• строил черновой гармонический и нотный каркас.

Человек:

• выбрал материал и контрольный фрагмент;
• подготовил чистый вокал и микс;
• определил критерии сравнения;
• создал и настроил профили обработки;
• установил правильные темп и размер;
• сравнил выходы с контрольной MIDI-линией и исходным аудио;
• выявил ложные ноты, фрагментацию и дублирование партий;
• принял решение о пригодности каждого результата;
• определил дальнейшую аранжировочную и редакторскую работу.

Это различие существенно. Автоматическая транскрипция не создаёт авторскую партитуру одним нажатием. Она производит гипотезу, а музыкальный смысл появляется в процессе отбора, проверки и редактирования.

Наш предварительный рейтинг изменился уже после первого реального теста.

Klangio Transcription Studio остаётся сильным кандидатом благодаря работе с текстом, несколькими инструментами и будущему экспорту в профессиональные форматы. Но ошибка 3/4 вместо 4/4 на чистом вокале показывает, что аккуратный внешний вид не гарантирует правильной музыкальной структуры.

Basic Pitch оказался менее эффектным визуально, зато более прозрачным и управляемым. После настройки диапазона и порогов он дал лучший количественный результат для высотной линии вокала — при полной локальности обработки. Его слабое место — превращение живой фразы в чрезмерно буквальный набор событий.

Режим Klangio Rock лучше всего определил темп, размер и гармонический маршрут, но восстановил только часть состава и местами продублировал гитарный материал.

Поэтому главный вывод The Lab звучит так:

Современный AI уже умеет слышать достаточно, чтобы ускорить расшифровку. Но он ещё не умеет решать, что в услышанном является музыкально значимым.

Автоматическая система может найти ноты. Партитура начинается там, где человек объясняет, почему эти ноты существуют, как они связаны и как должны прозвучать.

---

Тестовый материал: “When the Soul Aches” — Alex Kryve
Music & Lyrics: Alex Kryve / Oksana Kalinkina
Production: Alex Kryve
Copyright © 2026 Alex Kryve / Oksana Kalinkina

Источники

• Klangio Transcription Studio — официальное описание
• Klangio — Terms and Conditions
• Spotify Basic Pitch — официальный репозиторий