Мультиспектральная камера своими руками
Аннотация научной статьи по прочим технологиям, автор научной работы — Белгородский Государственный Технологический Университет Им. В. Г. Шухова, Сыч Анна Сергеевна, Балык Валентин, Поляков Александр Иванович, Карталов Андрей Викторович
Проведена разработка проекта о применении мультиспектральной камеры и БПЛА в сельском хозяйстве с применением нейросети. Приведены примеры обследований с помощью мультиспектральной съёмки. Описана польза от применения нейронной сети в программном комплексе.
Похожие темы научных работ по прочим технологиям , автор научной работы — Белгородский Государственный Технологический Университет Им. В. Г. Шухова, Сыч Анна Сергеевна, Балык Валентин, Поляков Александр Иванович, Карталов Андрей Викторович
Мониторинг посевов озимой пшеницы с применением беспилотной аэрофотосъёмки и оптического датчика GreenSeeker® rt200
О результатах мультиспектральной БПЛА-съемки археологических объектов могильника Урочище Балчикова-3 с использованием камеры Parrot Sequoia
Исследование развития и продуктивности сельскохозяйственных культур с применением беспилотных летательных аппаратов
Изучение изменений в землепользовании территории г. Белгорода с использованием дистанционного зондирования и ГИС методов
ПРИМЕНЕНИЕ АЭРОФОТОСЪЁМКИ С ПРИМЕНЕНИЕМ МУЛЬТИСПЕКТРАЛЬНОЙ КАМЕРЫ В КОМПЛЕКСЕ С НЕЙРОСЕТЬЮ В СЕЛЬСКОМ ХОЗЯЙСТВЕ.
Сыч Анна Сергеевна
Белгородский государственный технологический университет им. В. Г. Шухова,
308012, Россия, г. Белгород, ул. Костюкова, 46
Балык Валентин студент,
Белгородский государственный технологический университет им. В. Г. Шухова,
308012, Россия, г. Белгород, ул. Костюкова, 46 Поляков Александр Иванович студент,
Белгородский государственный технологический университет им. В. Г. Шухова,
308012, Россия, г. Белгород, ул. Костюкова, 46 Карталов Андрей Викторович
Белгородский государственный технологический университет им. В. Г. Шухова,
308012, Россия, г. Белгород, ул. Костюкова, 46
Аннотация. Проведена разработка проекта о применении мультиспектральной камеры и БПЛА в сельском хозяйстве с применением нейросети. Приведены примеры обследований с помощью мультиспектральной съёмки. Описана польза от применения нейронной сети в программном комплексе.
Ключевые слова: мультиспектральная съемка, мониторинг растительности, вегетационный индекс, нейронная сеть.
Annotation. A project has been developed on the use of a multispectral camera and UAVs in agriculture using a neural network. Examples of surveys using multispectral imaging are given. The benefits of using a neural network in the software package are described.
Keywords: multispectral imaging, vegetation monitoring, vegetation index, neural network.
В разных странах мира, теряется 12-15% урожая от вредителей и болезней, а в некоторых случаях до 60%. Очень важно разработать систему защитных мер, рациональных и гуманных по отношению к окружающей среде и не допустить дефицита урожая. Наряду с общепринятыми методами диагностики визуальными, микроскопическими, исследовательскими, культуральными, аналитическими, биологическими, существуют инновационные методы контроля: использование микрофлюидных чипов, анализ молекул биомаркеров и дистанционное зондирование. Дистанционное зондирование - способ, о котором пойдёт речь, в отличие от предыдущих, характеризуется высокой эффективностью и производительностью и все чаще используется в производственных условиях. Суть проекта заключается в дальнейшей автоматизации и совершенствовании технологии производства работ, благодаря симбиозу нейронной сети и существующих программно-аппаратных комплексов.
Мультиспектральная съёмка - процесс, в ходе которого одновременно формируются несколько изображений одной и той же территории в разных участках спектра электромагнитного излучения. Различные комбинации этих изображений позволяют нам идентифицировать процессы и явления, которые трудно или невозможно определить на видимом спектре изображения.
Использование многоспектральных изображений является шагом в будущее в развитии сельского хозяйства. Эта технология предоставляет фермерам практически мгновенно получать максимально подробную информацию о том, что происходит на поле. Мультиспектральные камеры широко используются фермами по всему миру для диагностики изменений показателей растительности с помощью видимого и ближнего инфракрасного спектра. Эти данные позволяют нам обнаружить изменения в растительности задолго до того, как они появятся в видимом спектре. В сочетании с нейронной сетью, которая позволяет обрабатывать данные намного быстрее, чем специалисты, процесс мониторинга значительно ускоряется.
Дистанционная оценка растительности в последние годы широко применяется в практике земледелия. По сравнению с наземными датчиками, обследование БПЛА дает аналогичные данные о состоянии полей. Наблюдение за посевами озимой пшеницы на разных этапах развития в Министерстве сельского хозяйства им. К.А. Тимирязева показало, что с помощью аэрофотосъемки достигается воспроизводимое изображение пространственного распределения индекса NDVI, в значительной степени соответствующая результатам сканирования Земли оптическим датчиком GreenSeeker® RT200. По результатам аэрофотосъемки за несколько минут может быть сформирован файл рецепта для автономного внесения азотных удобрений с учетом неоднородности посадки.
Преимущества мониторинга с использованием беспилотной аэрофотосъемки: высокая эффективность и производительность, достоверность получаемой информации и возможность оценки даже в сложных условиях, а использование в сочетании с многоспектральной камерой помогает проводить более детальный анализ состояния поля. В зависимости от типа БПЛА, за сутки его можно осмотреть от 500 до 5000 га, с высоты от 50 до 500 м.
Данные мультиспектральной съемки позволяют выявить сорную растительность на ранних этапах вегетации.
Исследования на полях кукурузы в Испании, г. Мадрид показали, что мультиспектральные снимки успешно применяются для идентификации сорняков и последующего их зонирования. [7].
Мультиспектральная съемка позволяет провести анализ условий, которые влияют на рост растительности и последующее обследование выбранных участков в поле.
Анализ мультиспектральных данных помогает определить участки, зараженные болезнями или вредителями, и предотвратить их дальнейшее распространение. Множество исследований доказали успешность применения мультиспектральных камер в этой области. Например, в Канаде провели эксперимент по использованию БПЛА для мониторинга виноградников.
Получив снимки с пространственным разрешением 0,25-0,50 м/пиксель, они провели анализ лоз. Точность определения зараженных растений составила более 90% [2].
В июле 2014 года на испытательных полях (Швейцария) проводились опыты с использованием аэрофотосъемки. На карте NDVI первого полета (17.07.14) отчетливо видны пораженные участки. Выход агронома в поле подтвердил наличие болезни. Дальнейшее распространение можно наблюдать на результатах второго полета (31.07.16). Кроме этого, хорошо заметны пробелы в обработке фунгицидами [8]. Кроме этого, данные аэрофотосъемки помогают оптимизировать внесение СЗР и работу техники на поле за счет комплексной оценки состояния растительности на основе композитов изображений и рассчитанных вегетационных индексов (рис.9). С помощью мультиспектральной съемки можно определить степень зрелости и, в конечном счете, рассчитать урожайность. Уже давно практикуют применение космических снимков для расчета урожайности. Исследования показали, что разница между прогнозируемыми значениями урожайности и фактическими колеблется от 7,9 до 13,5% (изображения landsat-8, разрешение 30 м) и от 3,8 до 10,2% (изображения Sentinel-2, разрешение 10 м). Снимки с БПЛА, в отличии от спутниковых изображений, имеют более высокое разрешение, соответственно имеют более меньшую погрешность по расчетам урожайности [3].
Как же мы хотим применять нейросеть? Существует ряд задач распознавания, где изображение описывается как структурная модель, на элементы которой накладываются определенные связи [9].
Задача классификации эффективно решается с применением аппарата искусственных нейронных сетей [10], при этом важен выбор наиболее подходящей архитектуры сети и метода обучения.
В нашем случае следует использовать свёрточную нейронную сеть, нацеленную на эффективное распознавание образов, входящую в состав технологий глубокого обучения. Она использует некоторые особенности зрительной коры, в которой были открыты так называемые простые клетки, реагирующие на прямые линии под разными углами, и сложные клетки, реакция которых связана с активацией определённого набора простых клеток
Сверточная нейронная сеть за счет применения специальной операции - собственно свертки -позволяет одновременно уменьшить количество хранимой в памяти информации, за счет чего лучше справляется с картинками более высокого разрешения, и выделить опорные признаки изображения, такие как ребра, контуры или грани. На следующем уровне обработки из этих ребер и граней можно распознать повторяемые фрагменты текстур, которые дальше могут сложиться в фрагменты изображения.
По сути, каждый слой нейронной сети использует собственное преобразование. Если на первых слоях сеть оперирует такими понятиями как "ребра", "грани" и т.п., то дальше используются понятия "текстура", "части объектов". В результате такой проработки мы можем правильно классифицировать картинку или выделить на конечном шаге искомый объект на изображении.
Внедрение нейросети в аппаратный комплекс позволит выполнить просмотр отчётов после анализа агрономом, так как после обучения нейросети, она будет способна сама оценить, какие участки поражены, опираясь на данные анализа съёмки, и вывести отчёт.
На сегодняшний день применение БПЛА в сельском хозяйстве бурно развивается, и вопрос о совершенствовании данного метода актуален. Современное техническое обеспечение, такое как мультиспектральные камеры, делают беспилотные технологии более информативными, и значительно расширяют их спектр применения, а возможное дополнение в виде нейросети ускорит работу и исключит человеческий фактор. Изучив положительный опыт применения мультиспектральных камер, можно уверенно заявить о том, что даже несмотря на опытно-экспериментальный характер использования, данные технологии развиваются, и с течением времени им необходимо развитие, которое возможно благодаря внедрению новых программных и аппаратных продуктов.
1. Железова С.В., Ананьев А. А., Вьюнов М.В., Березовский Е. В. Мониторинг посевов озимой пшеницы с применением Вегетационные индексы беспилотной аэрофотосъемки и оптического датчика GreenSeeker RT200 // Вестник Оренбургского государственного университета. 2016. № 6. С. 56-61
3. Al-Gaadi KA, Hassaballa AA, Tola E, Kayad AG, Madugundu R, Alblewi B, et al. (2016) Prediction of Potato Crop Yield Using Precision Agriculture Techniques. PLoS ONE 11(9): e0162219. doi: 10.1371/journal.pone.0162219
4. Caturegli L, Corniglia M, Gaetani M, Grossi N, Magni S, Migliazzi M, et al. (2016) Unmanned Aerial Vehicle to Estimate Nitrogen Status of Turfgrasses. PLoS ONE 11(6): e0158268.doi: 10.1371/journal.pone.0158268
5. Federico Martinelli, Riccardo Scalenghe, Salvatore Davino, Stefano Panno, Giuseppe Scuderi, et al. Advanced methods of plant disease detection. A review. Agronomy for Sustainable Development, Springer Verlag/EDP Sciences/INRA, 2015, 35 (1), pp.1-25.
6. Gabriel Torres, Nitrogen recommendations // 2016
8. S. Nebiker, N. Lack, M. Abacherli, S. Laderach. Light-weight multispectral UAV sensors and their capabilities for predicting grain yield and detecting plant diseases // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 XXIII ISPRS Congress, 12-19 July 2016, Prague, Czech Republic.
9. Визильтер Ю. В. Желтов С. Ю., Бондаренко А.В., Осоков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий. - М.: Физматкнига, 2010. - 672 с.
10. Haykin S. Neural Networks and Learning Machines. - 3rd ed. - Prentice Hall, 2009. - 906 p.
При создании фотокамеры мы опирались на многолетний опыт проведения мультиспектральной съемки и потребности клиентов, пользующихся агроверсией Геоскана 201 и 401. Чтобы достичь наилучшего результата, не пренебрегая удобством (например, запись данных проходит на стандартную карту памяти microSD), мы использовали матрицы Sony IMX273 серии Pregius с 12-битным АЦП и объективы 8 мм F/1.8. Благодаря такому тандему Geoscan Pollux не то что не уступает, но и превосходит некоторые зарубежные аналоги. За счет более высокого разрешения (1440x1080) и увеличенного фокусного расстояния изображения отличаются большей детализацией. К примеру, при съемке с самолетных БПЛА, которые ограничены минимальной безопасной высотой, Geoscan Pollux позволяет получить разрешение 5,2 см/пикс.
Учитывая растущую потребность в создании карт различных вегетационных индексов как для производственных, так и исследовательских задач, наша компания разработала камеру, которая позволяет вести съемку одновременно в пяти диапазонах. Помимо основных каналов видимого спектра (синего, красного и зеленого) камера регистрирует дальний красный и ИК — все в узких (12-40 нм) диапазонах.
Чтобы обнаружить наиболее плодородные участки, области с повышенным уровнем содержания азота, отслеживать развитие посевов, вычислить вегетационные индексы и индексы листовой поверхности необходимо, чтобы беспилотник поддерживал установку различных видов камер: мультиспектральных и инфракрасных.
Чтобы обнаружить наиболее плодородные участки, области с повышенным уровнем содержания азота, отслеживать развитие посевов, вычислить вегетационные индексы и индексы листовой поверхности необходимо, чтобы беспилотник поддерживал установку различных видов камер: мультиспектральных и инфракрасных.
Макроэкономические вызовы современности заставляют переходить сельскохозяйственных землепользователей на цифровую модель ведения бизнеса - точное земледелие. Одним из основных элементов точного земледелия является мультиспектральный мониторинг сельскохозяйственных угодий, создание карт неоднородностей поля с подбором вегетационных индексов, а также создание карт-предписаний для дифференцированного внесения минеральных удобрений и пестицидов.
С помощью мультиспектрального зондирования полей можно получать информацию о состоянии культур, степени увлажненности определенных участков поля, угрозе вредителей, сорняков, а также прогнозировать урожайность и принимать адекватные и своевременные решения.
Традиционные методы
До появления беспилотников мониторинг проводился традиционным методом объезда и обхода своих полей. Эти способы были крайне затратными, трудоемкими и зачастую необъективными. Всё это приводило к тому, что агроном не мог объективно определить проблемный участок. В дальнейшем это сказывалось на неправильном решении по вносимой норме минеральных удобрений, пестицидов и семян.
Метод с помощью спутниковых ДДЗ (данных дистанционного зондирования) более технологичен, но имеет ряд недостатков. За счет большой высоты спутников детализация снимков небольшая. Кадры высокого разрешения стоят дорого, поэтому зачастую аграриям приходится покупать цифровую карту не только своего участка, но и соседних. Над определенным полем спутник может пролетать раз в 5 дней, что не дает возможности оперативно узнать о состоянии своих угодий в необходимый момент времени. А вероятность облачности уменьшает шансы на получение качественных данных еще в несколько раз.
Мультиспектральная съемка с дрона
Перспективные хозяйства переходят на мультиспектральное зондирование полей с помощью беспилотников. Мультиспектральная съемка дает информацию о состоянии выращиваемой культуры для того, чтобы дифференцированно вносить удобрения и пестициды.
Обработка данных мультиспектральной съемки позволяет получить карты вегетационных индексов (NDVI, NDRE, VARI, LCI и др.), по которым можно оценить продуктивность сельскохозяйственных угодий и спрогнозировать урожайность.
У компании DJI есть несколько беспилотных решений для мультиспектрального зондирования полей. В первую очередь, это DJI P4 Multispectral.
Phantom 4 Multispectral — это высокоточная модель беспилотника, оснащенная мультиспектральной системой обработки изображений. Он имеет пять мультиспектральных камер и одну камеру в диапазоне RGB. Полученные с его помощью данные позволяют фермерам и агрономам оперативно получать максимально точные данные о состоянии эксплуатируемых угодий и выращиваемых сельскохозяйственных культур.
Аэрофотосъемка с дрона всегда четче и детализированней, чем космический снимок. Как правило, рабочая высота дронов от 100 до 500 метров. Ортофотопланы полей, полученные с помощью дрона, получаются детальными и с высоким разрешением. Также съемка с коптеров возможна даже в условиях низкой облачности. А благодаря современным системам передачи видеосигнала оператор может получать снимки и видео с камеры дрона в режиме реального времени.
Карты предписаний, полученные за счет мультиспектральной съемки с дрона, помогают аграриям сэкономить до 25% за счет дифференцированного внесения азотных удобрений и пестицидов. А возможность отснять 100 га за 20 минут на высоте полета в 500 м сэкономит еще и время.
| Исследуемая площадь (га) | Высота (метр) | Перекрытие фотографий (%) | Время (мин.) | Количество аккумуляторов (шт.) |
| 100 | 500 | Продольное - 70 Поперечное - 80 | 20 | 2 |
| 450 | 22 | 2 | ||
| 400 | 24 | 2 | ||
| 350 | 26 | 2 | ||
| 300 | 28 | 2 | ||
| 250 | 35 | 2 | ||
| 200 | 43 | 3 | ||
| 150 | 57 | 4 |
Производительность дрона DJI P4 Multispectral на примере площади в 100 га
Несвоевременный переход к беспилотным технологиям в мониторинге полей может грозить аграрию потерей урожая. Например, можно пропустить зоны на поле наиболее сильно подверженные вредителям или заболеваниям культуры, а также зоны, где были нарушены технологические операции (недовнесённые удобрения, плохо пролитые зоны, переуплотнённые участки и т.п.)
Ниже в таблице рассмотрим основные недостатки традиционного метода и приведем все плюсы использования беспилотных решений:
Спектральные изображения впервые были получены в начале 1970-х годов и предназначались в основном для военных целей. Первоначально они назывались мультиспектральными. Затем количество спектральных каналов увеличилось, и таким образом появилась гиперспектральная съемка.
Мультиспектральная и гиперспектральная - это типы спектральной визуализации с аналогичными технологиями. Это два различных метода визуализации, поскольку каждый из них имеет свои собственные области применения. Сейчас оба вида съемки применяют и в дистанционном зондировании, например, в картографии, разведке полезных ископаемых, пищевой промышленности, сельском хозяйстве, атмосферных исследованиях, экологии, здравоохранении и сельском хозяйстве.
Мультиспектральное дистанционное зондирование включает в себя получение видимых, ближних инфракрасных и коротковолновых инфракрасных изображений. Эти изображения получены в нескольких широких диапазонах длин волн. Таким образом, мультиспектральное изображение захватывает данные изображения в определенном диапазоне длин волн по всему электромагнитному спектру. Различные попавшие в кадр материалы по-разному отражают и поглощают лучи на разных длинах волн. В дистанционном методе съемки можно различать материалы по их спектральным сигнатурам отражения, наблюдаемым на изображениях ДЗЗ (дистанционного зондирования Земли). В данном случае очень сложно провести прямую идентификацию.
Гиперспектральное дистанционное зондирование - это метод, который анализирует широкий спектр света вместо того, чтобы просто присваивать основные цвета каждому пикселю. Его основная цель - получить спектр от каждого пикселя изображения сцены для поиска объектов, обнаружения процессов или идентификации материалов. Гиперспектральное дистанционное зондирование извлекает сотни полос из светового спектра. В результате чего получается богатый набор данных и обнаружение интересующих объектов, невидимых для обычных оптических датчиков.
Ниже представлен более подробный обзор мультиспектрального и гиперспектрального дистанционного зондирования.
Различия
1. Количество диапазонов волн
Спутники, получающие мультиспектральные изображения, находятся на Низкой околоземной орбите и движутся синхронно с Солнцем. Мультиспектральные спутники собирают данные в 5-10 диапазонах спектра. Чаще всего изображение состоит из трех основных цветов и нескольких инфракрасных частей.
Гиперспектральное изображение может обнаруживать тысячи различных полос в спектре света. Такие изображения полезны для обнаружения определенных объектов и минералов, если аналитик знаком с их спектральными свойствами. Как и мультиспектральные, их спутники также располагаются на Низкой околоземной солнечно-синхронной орбите.
2. Детализация спектрального разрешения
Спектральное разрешение относится к количеству и ширине участков электромагнитного спектра, измеряемых датчиком. Мультиспектральное дистанционное зондирование имеет низкое спектральное разрешение. Это не позволяет распознавать особенности Земли так же легко, как с помощью гиперспектральной съемки. Мультиспектральные датчики получают изображения широкими полосами, но в небольшом количестве.
Гиперспектральное дистанционное зондирование обладает высоким спектральным разрешением, что позволяет обнаруживать спектральные свойства объектов и минералов. Это дает лучшую возможность видеть невидимое.
3. Ширина полосы
Мультиспектральные системы дистанционного зондирования используют параллельные сенсорные матрицы, которые обнаруживают излучение в небольшом количестве более широких диапазонов волн.
Между тем, в гиперспектральном дистанционном зондировании полосы намного уже. Многочисленные узкие полосы в гиперспектральных датчиках обеспечивают непрерывное спектральное измерение во всем электромагнитном спектре. Следовательно, это делает их более чувствительными к даже самым незначительным изменениям отраженной энергии.
4. Способность использовать искусственный интеллект и машинное обучение
Мультиспектральные изображения дистанционного зондирования имеют меньшую информативность, поэтому с течением времени они продолжают использовать одну и ту же технологию. Из-за недостаточной информационной насыщенности этой технологии ее трудно развивать.
С другой стороны, гиперспектральная технология очень информативна, что способствует ее непрерывному развитию. Таким образом, именно она может стать основной технологией дистанционного зондирования, используемой в глобальном масштабе.
5. Уровень сложности
Из-за ограниченного числа диапазонов в мультиспектральном дистанционном зондировании анализ и интерпретация данных просты. Их легче понять.
Одним из недостатков гиперспектрального дистанционного зондирования является его сложность. В нем много групп, с которыми приходится работать. Специалистам бывает трудно разобраться в излишних массивах данных.
6. Особенности изображения
В мультиспектральных данных отраженная энергия в спектре охватывает более широкий диапазон. Это затрудняет получение большого количества деталей на снятом объекте или площади поверхности. Это происходит потому, что диапазоны длин волн намного шире.
Когда дело доходит до гиперспектральных данных, изображения представляют сотни точек каждой полосы, следовательно, гораздо более детализированы для наблюдения. Длина волны разделена на множество узких полос, которые фиксируют уникальный спектральный отпечаток или подпись объекта.
7. Различия в камерах
Мультиспектральные изображения получают с помощью специальных камер, которые разделяют длины волн с помощью фильтров, или приборами, чувствительными к определенным длинам волн. Они могут включать свет с частот, невидимых человеческому глазу.
Гиперспектральные камеры же могут обнаруживать множество различных длин волн по отдельности. Они также могут видеть в более широком спектре, чем человек, охватывая части инфракрасной и ультрафиолетовой областей. Следовательно, в этом методе визуализации аналитики получат двумерное изображение, в котором каждый пиксель изображения содержит непрерывный спектр.
8. Стоимость
Мультиспектральные датчики обычно собирают данные от трех до шести спектральных диапазонов за одно наблюдение. Такие функции делают их экономически эффективными. Их можно дешево купить и обслуживать, так как сами снимки несложные.
Между тем, гиперспектральная визуализация позволяет собирать несколько сотен спектральных полос за один прием. Такая особенность сделала эту технологию дорогостоящей. Для получения более подробных спектральных данных требуется большее технологическое развитие. Вместе с этим возникают проблемы, связанные с увеличением затрат на датчики и изображения, объемами данных и затратами на обработку данных, а также высоким спросом на управление проектами.
9. Композиция пикселей
В мультиспектральном дистанционном зондировании каждый пиксель имеет отдельную выборку спектра. Например, некоторые диапазоны волн могут содержать от 4 до 20 точек данных на пиксель.
В то время как в гиперспектральном дистанционном зондировании каждый пиксель имеет непрерывный или полный спектр.
10. Методы обработки
Мультиспектральные дистанционные датчики получают только мультиспектральные изображения.
Гиперспектральные дистанционные датчики получают как мультиспектральные, так и гиперспектральные изображения.
Читайте также: