Программа для сканирования нот с листа
После определённого количества безуспешных попыток написания проекта с нуля и проверки разных подходов, наткнулся на следующую статью: В ней описан подход к распознаванию нот с помощью связки Convolutional и Recurrent сетей. Этот подход используется, в частности, для распознавания текста. Поэтому я решил взять одну из реализаций Optical Character Recognition и обучить сеть на базе нот.
Была выбрана эта tensorflow модель. Научная статья, объясняющая принцип её работы.
Датасет
Наиболее полная информация касательно датасетов по распознаванию нот находится здесь. Однако, датасетов с размеченной высотой нот, подходящих для моих задач не нашлось. Единственный доступный датасет со звуковысотным маппингом был взят отсюда, у ребят написавших оригинальную статью, ссылка на которую представлена выше. Он представляет из себя сгенерированные в Lilypond изображения с соответствующими лейблами для каждой ноты и знака.
Характеристики датасета
94,984 случайных монофонических последовательностей, состоящих из 52 символов: музыкальных нот от С4 до Е5, 4 длительности (половина, четверь, восьмая, шестнадцатая), 4 паузы тех же длительностей, символы размеров (3/4, 4/4, 6/8), знаки альтерации (диез, бемоль, бекар), скрипичный ключ, тактовая черта.
Поскольку датасет составлен из сгенерированных изображений, распознавание не будет адекватно работать с фотографиями. Также, с нотами, чья структура отличается от характеристик датасета.
Датасет был обработан, чтобы соответстовать требованиям сети для обучения (созданы лейблы, изображения уменьшены и т.д.). 95% - обучающая выборка 5% - тестовая.
Обучение
Сеть обучалась в течение около 8 часов на NVIDIA Tesla K80. 16 эпох.
Сложности
1. Сейчас модель может распознавать небольшие последовательности. Ей нельзя скормить весь лист с нотами. Однако, эта проблема решаема. Я пытался сделать сегментацию листа (вычленение тактов) силами OpenCV и добился определённых результатов. Но код очень по-разному работает для изображений разного качества. Поэтому, в долгосрочной перспективе, тут нужно тренировать отдельный слой сети. Для этого нужны данные с разметкой тактов, систем и прочих высокоуровневых элементов системы нотного листа.
2. Не успел сделать конвертацию в MIDI. К сожалению, вопрос в лоб не решить. Думал просто конвертировать обратно в Lilypond но сделать это оказалось не так легко из-за того, что программа сама проставляет знаки альтерации в зависимости от тональности и ещё пары тонкостей. Возможно, тут лучше подойдёт OpenXML, на изучение формата которого, однако, у меня не хватило времени. Если успею и всё получится, реализую в ближайшие дни. Следите за гитхабом.
4. Также не успел, как следует протестить и собрать статистику. Единичный прогон по тестовой выборке показал результат в 99,5%.
Как запустить
aocr test --visualize ПУТЬ/К/notesTest.tfrecords --log-path ./log/log.log --max-width 1000 --max-height 61 --max-prediction 36 --full-ascii --model-dir ПУТЬ/К/checkpoints
Небольшое примечание. Распакованные checkpoints.zip содержат папку checkpointsDL - путь нужно указывать к ней.
Наблюдаем за процессом. А потом смотрим на результат в папке log. Там будут находиться папки для каждой картинки, для которой было проведено распознавание. В каждой папке файл word.txt где первая строка - предсказанный результат, вторая - ground-truth Также в папке находится гифка, показывающая процесс работы нейросети.
Для перевода результата в читаемый формат (переименование папок и файлов), кидаем питоновский скрипт в папку out и запускаем.
Быстрая установка и запуск на Линуксе
Тест на своём датасете
Чтобы протестировать на своих картинках, создаём папку с картинками. Максимальная высота картинок - 60, ширина - 1000. Создаём текстовый файл (например labels.txt) с лейблами такого формата:
где ./datasets/images/hello.jpg - путь до картинки, hello - её лейбл. Какому символу какая нота соответствует можно посмотреть тут, где 1 столбец - лейблы, 2 - соответствующая нота или знак.
Затем, чтобы создать tfrecord из картинок выполняем:
aocr test --visualize ПУТЬ/К/testing.tfrecords --log-path ./log/log.log --max-width 1000 --max-height 61 --max-prediction 36 --full-ascii --model-dir ПУТЬ/К/checkpoints
Примеры картинок из обучаемой выборки и соответствующих лейблов:
MRRRROT:3+)R*
MRRN;RK+3R"QR<L+6
TODO
1. Экспорт SaveModel для Tensorflow
2. Конвертация в MIDI. Этим я занимаюсь в настоящий момент, можно ожидать в ближайшие дни.
3. Сегментация листа на такты и обратная сборка всей структуры после прохода распознаванием по каждому сегменту
4. Поднять Tensorflow Serving
5. Разметка датасета под распознавание фотографий и более широкого спектра символов
В данном разделе содержится описание наиболее распространенных нотных редакторов, программ для сканирования и распознавания нот, а также ссылки на ресурсы, где можно эти редакторы получить, а также русификаторы к этим программам.
Спасибо за Вашу оценку. Если хотите, чтобы Ваше имя
стало известно автору, войдите на сайт как пользователь
и нажмите Спасибо еще раз. Ваше имя появится на этой стрнице.
Есть мнение?
Оставьте комментарий
Упражнения на технику чтения и понимания прочитанного
Тонкости и секреты работы в Яндекс.Почте
Как работать с детьми с СДВГ в обычном классе?
0 Спам Жаль,не смогла открыть.Открылся православный сайт,нажала на шрифты и дальше не получилось.Что делать?А ведь так все это нужно. 0 Спам 0 Спам 0 Спам 0 Спам Спасибо за описание и ссылки - просто необходимая вещь в работе!Девиз: поднемите руки выше!
по
Отправляя материал на сайт, автор безвозмездно, без требования авторского вознаграждения, передает редакции права на использование материалов в коммерческих или некоммерческих целях, в частности, право на воспроизведение, публичный показ, перевод и переработку произведения, доведение до всеобщего сведения — в соотв. с ГК РФ. (ст. 1270 и др.). См. также Правила публикации конкретного типа материала. Мнение редакции может не совпадать с точкой зрения авторов.
Для подтверждения подлинности выданных сайтом документов сделайте запрос в редакцию.
О работе с сайтом
Мы используем cookie.
Публикуя материалы на сайте (комментарии, статьи, разработки и др.), пользователи берут на себя всю ответственность за содержание материалов и разрешение любых спорных вопросов с третьми лицами.
При этом редакция сайта готова оказывать всяческую поддержку как в публикации, так и других вопросах.
Если вы обнаружили, что на нашем сайте незаконно используются материалы, сообщите администратору — материалы будут удалены.
Сканирует напечатанные ноты с помощью встроенной камеры и воспроизводит музыку.
Вы когда-нибудь задумывались, как на самом деле звучит эта загадочная партитура? Сканер нот даст ответ. Просто наведите свой iPhone или iPad на ноты, и приложение воспроизведет музыку. Вы можете выбрать инструмент, подобрать темп и получать удовольствие!
Универсальное приложение 2 в 1 для iOS: iPhone / iPod touch и iPad - вы получаете сканер нот для всех ваших устройств iOS по цене одного.
СПИСОК ФУНКЦИЙ
• Сканирование всего нотного листа мгновенно с помощью встроенной камеры
• Сканирование и воспроизведение с любого изображения в вашей Медиатеке или из PDF *
• Воспроизведение из любого места в мелодии - просто коснитесь такта, а ноты и символы будут подсвечены по мере их воспроизведения
• Экспорт в формате MIDI, MusicXML, аудио (M4A/AAC, MP3, WAV) и PDF в облачное хранилище *, непосредственно в другие приложения или через AirDrop
* Примечание по экспорту/импорту: Поддерживаются все основные облачные хранилища: iCloud, Dropbox, Google Drive, OneDrive и т. д. Обратите внимание, что соответствующее приложение облачного хранилища должно быть установлено для выполнения этой функции.
• Чтение и распознавание следующих символов нотной записи, относящихся к мелодии, гармонии и ритму: ноты, басовые, скрипичные и альтовые ключи, ноты с точками, паузы, знаки альтерации, связующие лиги, дуоли и триоли, знаки повторения*
• Поддержка голосов, воспроизводимых в тандеме, например, обе руки на фортепиано одновременно или все голоса хора
• Поддержка чтения нотных станов по отдельности, например, правая или левая рука на фортепиано
• Поддержка нескольких страниц
• Поддержка темпа от 50 до 330 ударов в минуту
* Применимы определенные ограничения. Ознакомьтесь с информацией внизу страницы.
ИНСТРУМЕНТЫ
• Аккордеон, акустическая бас-гитара, саксофон-альт, волынки, банджо, бас-гитара, челеста, виолончель, хор, кларнет, контрабас, флейта, валторна, гитара (классическая, без эффектов, с дисторшн), колокольчики, арфа, мандолина, маримба, гобой, орган (электрический, духовой, Хаммонда), фортепиано, блокфлейта, саксофон-тенор, тромбон, труба, туба, вибрафон, альт, скрипка, ксилофон
• Поддержка фактического тона инструмента для транспонирующих инструментов
• Поддержка изменения тона / транспонирования тона по полутонам до 2 октав вверх или вниз
• Изменение стандарта тона на основе инструмента, от стандартного 440Гц до 380-480 Гц
МИНИМУМ РЕКОМЕНДУЕМЫХ УСТРОЙСТВ
iPhone 6, iPad Air, iPad Mini 2
Сравнительный обзор самых популярных программ для написания партитур.
Нотные редакторы появились на заре развития компьютеров и быстро стали эффективным инструментом в работе композиторов, аранжировщиков, музыкантов и педагогов. Сегодня нотный редактор — это продвинутая программа на стыке с DAW, способная готовить партитуры и аранжировки, работать с VST-плагинами и даже сэмплировать инструменты. Этот материал расскажет о лучших программах для написания партитур и поможет выбрать нотный редактор начинающим музыкантам.
Нотные редакторы существуют на рынке более 30 лет — первые подобные инструменты появились ещё в конце 1980-х годов. За это время они прошли большой путь от простых «набивателей» нот к продвинутым инструментам работы с музыкой. Сегодня нотный редактор — это не только программа для написания партитур, но и эффективный MIDI-секвенсор и DAW с поддержкой VST-инструментов, готовая к созданию самых сложных композиций.
Рынок программ для написания партитур консервативен: новые решения появляются исключительно редко, а существующие инструменты развиваются не один год. Так или иначе, но даже при таком состоянии пользователи не испытывает недостатка предложений: в музыкальной индустрии существуют десятки программ для работы с партитурами. Но какой нотный редактор выбрать начинающему?
Для всех, кто находится в поиске нотного редактора, редакция SAMESOUND выбрала 12 лучших программ для написания партитур. Каждый из представленных редакторов прекрасно справляется со своей основной задачей, а отличия, как это всегда и бывает, кроются в деталях. Ну, и стоимости, конечно же.
Лучшие нотные редакторы
На рынке представлено несколько десятков редакторов, поэтому список не исчерпывающий. В нашу подборку попали только активно развивающиеся и популярные среди музыкантов проекты. О других программах и ваших любимых редакторах можно рассказать в комментариях, не стесняйтесь!
Чтобы избежать путаницы, из подборки намеренно исключены редакторы табулатур — для них предусмотрен отдельный материал.
Большая часть нотных редакторов может использоваться в качестве редакторов табулатур, однако зачастую эта функциональность не является сильной или лучшей стороной таких программ. В рамках обзора мы не будем заострять внимание на табулатурной составляющей редакторов.
| PreSonus Notion | MuseScore | Avid Sibelius | Finale | Maestro Composer | QuickScore Elite Level II | Steinberg Dorico | Noteflight | FORTE Notation | StaffPad | Flat | Overture | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Платформа | Windows, macOS | Windows, macOS, Linux | Windows, macOS | Windows, macOS | Windows | Windows | Windows, macOS | Онлайн-сервис | Windows | Windows, iPadOS | Онлайн-сервис | Windows, macOS |
| Бесплатная версия | — | Есть | Есть | Есть | — | — | Есть | Есть | Есть | — | Есть | — |
| Издания | — | — | Sibelius | Start Sibelius Sibelius | Premium | Finale Notepad Finale PrintMusic Finale | Maestro Notation Maestro Composer | — | Dorico SE Dorico Elements Dorico Pro | — | FORTE Basic FORTE Home FORTE Premium | — | — | Score Writer Overture |
| Мобильные приложения | iOS | — | iOS | — | — | — | iOS | iOS, Android | iOS, Android | — | iOS, Android | — |
| Импорт | MusicXML/XML MXL MIDI/MID | MusicXML/XML MXL MIDI/MID/KAR CAP/CAPX (Capella) BWW (Bagpipe Music Writer) MGU/SGU (BB) OVE (Overture) GTP (Guitar Pro) PTB (Power Tab Editor) | MusicXML/XML MXL MIDI/MID | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID/KAR | MusicXML/XML MIDI/MIDI QSD NIF GMN MWK | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID | MusicXML/XML MIDI/MID |
| Экспорт | MusicXML/XML MIDI/MID MP3 WAV | PNG SVG MusicXML/XML MXL MP3 WAV AIFF FLAC OGG MIDI/MID/KAR | MusicXML/XML MIDI/MID PNG BMP TIFF EPS SVG MP3 WAV WMV MOV | JPG PNG TIFF EPS MusicXML XML MP3 WAV MIDI | MusicXML/XML MIDI/MID/KAR JPG GIF PNG BMP TIFF WMF MP3 WAV | MusicXML/XML MIDI/MID QSD BMP TIFF GMN MWK MP3 WAV | MusicXML/XML MIDI/MID PNG SVG TIFF MP3 WAV | MusicXML/XML MIDI/MID MP3 WAV Soundtrap | MusicXML/XML MIDI/MID/KAR JPG TGA TIFF BMP EPS MP3 WAV WMV MOV | MusicXML/XML MIDI/MID MP3 WAV FLAC | MusicXML/XML MIDI/MID MP3 WAV | MusicXML/XML MIDI/MID MP3 WAV |
| Интеграция с DAW | Любые DAW с поддержкой ReWire | — | Любые DAW с поддержкой ReWire | Любые DAW с поддержкой ReWire | — | — | Любые DAW с поддержкой ReWire | — | Любые DAW с поддержкой ReWire | — | — | Любые DAW с поддержкой ReWire |
| Поддержка ReWire | Есть | — | Есть | Есть | — | — | Есть | — | Есть | — | — | Есть |
| Поддержка VST | Есть | — | Есть | Есть | — | — | Есть | — | Есть | — | — | Есть |
| Синхронизация с видео | Есть | — | — | — | — | — | — | — | — | — | — | Есть |
| Интерфейс на русском | — | Есть | — | — | — | — | — | — | Есть | — | — | — |
| Другие особенности | Синхронизация с видео Интеграция с Studio One MIDI-секвенсор | Импортирование файлов партитур от других редакторов Маркетплейс для покупки и продажи партитур MIDI-секвенсор | Библиотека из 36 ГБ сэмплов в полной версии редактора Экспорт в видео Экспорт на YouTube и SoundCloud | Большой упор на автоматизацию и упрощение написания партитур Оптимизация партитур для быстрой подготовки к печати | Встраивание в проекты документов Word, Excel, Photoshop, Corel для образовательных нужд MIDI-секвенсор | MIDI-секвенсор Сэмплирование | MIDI-секвенсор | Маркетплейс для продажи и покупки партитур Интеграция с Google Classroom Интеграция с онлайн-DAW Soundtrap | MIDI-секвенсор Экспорт партитур в Dropbox Приложения для iOS и Android для сканирования и чтения партитур | Экспорт партитур в Google Docs Работа в офлайне через PWA Интеграция с онлайн-DAW Soundtrap | Синхронизация с видео MIDI-секвенсор | |
| Стоимость | $149 | — | от $9,99/мес | от $119,95 | от $69,95 | $179,95 | от $99 | от $7,95/мес ($299 разово) | от $24 | $89,99 | от $6,99/мес ($149 разово) | $249 |
В чём особенность: одно из самых продуманных и удобных решений с большой библиотекой звуков
Платформа: Windows, macOS, iOS
Нотный редактор Notion от PreSonus — один из самых продвинутых и оснащённых инструментов для написания партитур. Программа предлагает внушительный набор функций, позволяющий создавать партитуры любой сложности для любых музыкальных инструментов.
Редактор позволяет вводить ноты посредством MIDI-клавиатуры или плагинов, а также используя клавиатуру и мышь. Дополнительно Notion умеет распознавать прикосновения к экрану, поэтому пользователи могут писать партитуры на обычном или графическом планшете пальцами или пером.
Программа обладает простым интерфейсом с продуманной организацией палитр инструментов, а разработчики постоянно улучшают пользовательский опыт, добавляя новые функции или повышая удобство работы. Так, например, в одной из последних версий редактора появилась возможность написания синхронизированных с видео партитур, что пригодится для авторов видеоуроков.
Одна из отличительных особенностей Notion — внушительная библиотека сэмплов инструментов. В коллекции найдутся звуки Лондонского симфонического оркестра, Нила Зазы и братьев Вутен, при этом пользователи всегда могут расширить библиотеку покупкой дополнительных наборов звуков. Дополнительно предусмотрен вариант интеграции с DAW Studio One, позволяющий брать из секвенсора инструменты и обмениваться с ним информацией.
Существенный минус один — размер проектов. Для большей совместимости сохранённые проекты включают файлы сэмплов, что быстро раздувает размер итогового файла — проект может занимать несколько гигабайт, и это не предел. Всё это может создать проблемы при обмене файлами через Интернет, а также при хранении большого каталога партитур на компьютере.
Notion оценивается разработчиками в $149 (чуть больше 11 500 рублей) и выпускается только в одной версии с полным функционалом. На фоне конкурентов с их россыпью изданий разной степени функциональности предложение от PreSonus выглядит особенно выгодно. Однако нужно учесть, что ежегодные обновления на номерные релизы никто не отдаст бесплатно — доступ к новому функционалу нужно будет оплатить.
В чём особенность: бесплатный редактор, не уступающий платным аналогам
Платформа: Windows, macOS, Linux
MuseScore — бесплатный нотный редактор с открытым исходным кодом для Windows, macOS и Linux. Тем не менее бесплатность не означает недостатка функций: программа предлагает набор функций, ничем не уступающий платным решениям от других разработчиков.
Интерфейс программы прост и нагляден, и ничем не отличается от большинства других редакторов: слева — доступные инструменты, справа — окно партитуры. Вводить ноты можно с помощью MIDI-клавиатуры, виртуальной экранной клавиатуры или обычной клавиатуры и мыши. В последнем случае редактор предлагает большой набор шорткатов и быстрых клавиш, упрощающих работу.
Проекты можно сохранять в собственном формате MuseScore или в формате MusicXML, а также экспортировать в MIDI или аудио. Более того, редактор позволяет открывать и сохранять партитуры и табулатуры в форматах .gp3/.gp4/.gp5/.gpx, используемых в популярном редакторе табулатур Guitar Pro.
Среди недостатков — далеко не лучшая качество комплектных звуков, комбинирующих сэмплы и MIDI, и не всегда точное соблюдение правил нотной записи. Но для полностью бесплатного инструмента такие недостатки простительны, особенно если учесть тот факт, что разработчики постоянно дорабатывают программу.
В чём особенность: дружелюбный к новичкам инструмент для композиторов и издателей
Платформа: Windows, macOS, iOS
Avid Sibelius — одно из старейших решений для написания партитур. Программа позиционируется как инструмент для профессиональных музыкантов, педагогов и композиторов, и при этом дружелюбен для новичков.
Вводить ноты можно с помощью клавиатуры и мыши, MIDI-контроллера или экранной виртуальной клавиатуры и гитарного грифа. Вводить информацию можно и с iPad при наличии мобильной версии редактора, поддерживающего ввод с сенсорного экрана.
При вводе редактор может автоматически проставлять правильные знаки альтерации на основе настроек тональности композиции, что значительно упрощает работу с партитурой. Можно не переживать о возможных ошибках в партии — редактор сам поставит нужные ноты.
Сохранить проект можно в собственном формате программы. Среди доступных опций экспорта — MIDI и аудиофайлы, PDF, формат MusicXML и другие варианты.
В комплекте с программой поставляется коллекция из 40 шаблонов проектов, которые призваны познакомить новичков с особенностями написания партитур в Sibelius, а заодно ускорить рабочий процесс для опытных пользователей. Ряд шаблонов создан специально для совместной работы нескольких пользователей, но функции работают только при наличии доступа к облачному сервису Sibelius Cloud.
Основные проблемы «Сибелиуса» заключаются в его ценовой политике, которую никак не назовёшь доступной. Бесплатная стартовая версия Sibelius | First, равно как и приложение, ограничивает проекты четырьмя инструментами, двумя голосами, фиксированным набором шорткатов и отсутствием поддержки плагинов.
Платные версии снимают ограничения, но их стоимость стартует от $9,99/мес при подписке и $149 при единоразовой покупке за обычную версию, и $19,99/мес и $599 за полную версию. Добавьте к этому дополнительную подписку на приложение, и получится уже совсем не бюджетно.
В чём особенность: популярный редактор с возможностью глубокой настройки
Платформа: Windows, macOS
Finale — популярный нотный редактор для Windows с большим набором инструментов и опций. Программа стала одним из первых продвинутых решений для подготовки партитур, и сохраняет популярность по сей день — практически каждый музыкант, работающий с нотами, пользуется или когда-то пользовался Finale.
Редактор распространяется в трёх версиях. Бесплатный Finale Notepad сильно ограничен в функциональности, и позволяет просматривать и прослушивать проекты, созданные в других версиях программы, а также создавать максимально простые партитуры. В свою очередь, Finale PrintMusic позиционируется как решение для начинающих музыкантов, студентов и всех, кому нужен простой, но функциональный и удобный нотный редактор. Наконец, обычная Finale представляет собой полную версию программы, созданную для профессионалов, педагогов и типографий.
Как и в случае с другими редакторами, вводить ноты можно с помощью мыши и клавиатуры или MIDI-контроллера. Для прослушивания партитур предусмотрена функция Human Playback, использующая библиотеку сэмплов и виртуальных инструментов, и имитирующая реальное исполнение. Результаты такой «живой» игры не идеальны, но всё равно лучше, чем в той же Guitar Pro.
Finale автоматически управляет большинством основных правил гармонии и нотной записи: программа самостоятельно проставляет правильные направления штилей, группирует и выравнивает по вертикали ноты различных длительностей и т.д. В общем, редактор всячески помогает писать правильные и красивые партитуры, что станет хорошим подспорьем для новичков. Вместе с тем опытные пользователи могут настроить поведение программы под себя.
Благодаря поддержке ReWire Finale можно синхронизировать с Logic Pro, Pro Tools, MOTU Digital Performer и другими DAW. Таким образом пользователи могут моментально выгружать информацию на дорожки в секвенсоре или изменять партии в нотном редакторе. Пользователи могут выгрузить ноты в виде PDF-документов, изображений и аудиофайлов в нескольких форматах. Партитуру также можно сохранить в виде готового к печати файла для типографии.
Из минусов программы выделяется отличие экранной клавиатуры. Finale не испытывает недостатка в вариантах ввода информации, однако наличие экранной клавиатуры как инструмента визуализации и мониторинга вводимых данных было бы не лишним.
Другой недостаток — странный выбор платформ для распространения программы. Полная версия Finale доступна для Windows и macOS, однако бесплатная Finale Notepad и упрощённая Finale PrintMusic по какой-то причине выпускается только для ОС от Microsoft. Почему разработчики прекратили выпуск версий для macOS — загадка.
Читайте также: