Как удалить метаданные с файла linux
Обычно файлы с данными имеют ассоциированные с ними "метаданные", которые представляют собой набор некоторой информации о файле в формате пар "название - значение". Как правило, метаданные включают имя создателя файла, название программы, с помощью которой он был создан, дата создания/модификации файла, местоположение создания, история редактирования и т.д. Среди популярных стандартов метаданных можно назвать EXIF (изображения), RDF (веб-ресурсы), DOI (цифровые документы).
Хотя метаданные могут быть очень полезны при работе с данными, они также могут нарушать неприкосновенность ваших персональных данных. Например, вместе с фотографиями в сеть попадают данные EXIF, которые содержат информацию, позволяющую собрать данные об авторе снимка: модель камеры, GPS-координаты снимка, его любимый графический редактор и т.д. Метаданные в документах и электронных таблицах могут включать информацию об авторе и историю редактирования. Не хочу показаться параноиком, но утилиты для сбора метаданных, такие как metagoofil , часто используются на этапе сбора информации при подготовке к взлому чужой системы.
Для тех из вас, кто хочет вычистить все персональные данные из тех файлов, к которым вы предоставляете доступ другим пользователям, есть способы удаления метаданных из файлов данных. Вы можете использовать свои обычные программы для редактирования документов или изображений, которые используют функции для работы с метаданными. В этом руководстве я представлю вашему вниманию отдельную утилиту для очистки метаданных, которая создана с одной целью: анонимизировать все метаданные для обеспечения сохранности ваших персональных данных.
MAT (Metadata Anonymisation Toolkit) - набор утилит для очистки метаданных, написанный на Python. Он написан в рамках проекта Tor и удовлетворяет стандартам Tails, - дистрибутива, заточенного под обеспечение приватности пользователя.
По сравнению с другими утилитами, такими как exiftool, которые могут рабоать только с определенными типами файлов, MAT может уничтожать метаданные в любых файлах: изображениях (png, jpg), документах (odt, docx, pptx, xlsx, pdf), архивах (tar, tar.bz2), аудио (mp3, ogg, flac) и так далее.
Установка MAT в Linux
В системах на базе Debian (Ubuntu или Linux Mint), MAT установить очень очень просто:
В Fedora нет собранного пакета MAT, поэтому необходимо собирать его из исходного кода. Я сделал это следующим образом (без гарантий, что у вас все получится один в один):
Очистка метаданных с помощью MAT-GUI
После установки MAT с ним можно работать как с помощью графического интерфейса, так и в командной строке. Для запуска GUI MAT просто введите:
Давайте почистим метаданные в простом документе private.odt, который имеет следующим метаданные:
Для добавления файла кликните "Add". После его загрузки в программу кликните "Check" для сканирования на предмет наличия в метаданных любой скрытой информации.
После того, как MAT обнаружит метаданные, столбец "State" будет помечен как "Dirty". Вы может просмотреть обнаруженные метаданные двойным кликом.
Для очистки метаданных кликните "Clean". MAT автоматически очистит все приватные поля:
После удаления приватных данных:
Очистка метаданных в командной строке
Как уже говорилось ранее, MAT можно использовать и в командной строке, для этого предназначена команда mat.
Для проверки наличия любых приватных метаданных перейдите в директорию, где хранятся ваши файлы, затем выполните команду:
Она просканирует все файлы в текущей директории и поддиректориях, и сообщит о результатах:
Вы можете проверить, какие конкретно метаданные были обнаружены, с помощью опции -d.
Если вы запустите команду mat без опций, она сразу удалит метаданные из всех файлов. Если вы хотите сохранить резервную копию оригинальных файлов, используйте опцию "-b". Следующая команда очищает все файлы и сохранят оригинальные файлы с расширением "*.bak".
Просмотреть список поддерживаемых типов файлов можно с помощью команды:
Решение проблем
Заключение
MAT - это простой, но очень полезный инструмент для предотвращения утечки приватных данных из метаданных. При этом MAT удаляет только метаданные, ничего не делая с самими файлами. В любом случае, в области безопасности нельзя полагаться только на одну программу, чтобы гарантировать конфиденциальность своих данных.
Обычно цифровые фотографии имеют богатый набор встроенных в них метаданных, которые автоматически записываются цифровой камерой, или добавляются при редактировании фотографий, чтобы сохранить различные параметры (например автора, информацию о настройках камеры, местоположение при съемке). Документы в формате pdf также имеют собственный набор метаданных, позволяющих идентифицировать автора, дату создания документа и т.д.
Существует множество различных утилит, позволяющих редактировать метаданные цифровых фотографий или документов pdf. ExifTool - это мощная утилита командной строки, позволяющая считывать или записывать метаданные файла. Она работает в Linux, Windows и MacOS X.
В этом руководстве я опишу, как просматривать или редактировать метаданные pdf или цифровых изображений из командной строки Linux с помощью ExifTool.
Установка ExifTool в Linux
ExifTool требует Perl версии не менее Perl 5.004. Никакие другие программы или библиотеки не требуются.
В Debian, Ubuntu или Linux Mint ExifTool устанавливается с помощью команды:
В CentOS или RHEL необходимо сначала подключить репозиторий EPEL, затем установить программу:
Типы метаданных, поддерживаемые ExifTool
Ниже приведен список типов файлов и метаданных, поддерживаемых ExifTool на данный момент ("r" = чтение, "w" = запись, "c" = создание).
Поддерживаемые типы файлов:
Поддерживаемые стандарты и типы метаданных:
Примеры работы с ExifTool
Просмотр всех метаданных изображения:
Изменение титульной надписи и информации об авторе документа pdf:
Модификация тегов нескольких изображений в пакетном режиме:
Модификация имени исполнителя для всех мультимедийных файлов в заданной директории:
Просмотр всех метаданных изображения, включая дублирующие и неизвестные теги, сортированные в группу:
Просмотр всех полей метаданных, содержащих слово "Date":
Извлечение информации о координатах GPS из фотографии:
Просмотр информации о координатах GPS из фотографии в табулированной форме (например, <filename> <latitude> <longitude>):
Примерно месяц назад озадачился вопросом, чем в этих наших линуксах можно удобно гуёво и консольно, разово и пакетно работать с exif у фотографий. Были просеены выхлопы поиска по портежу и гуглу. То что встретилось весьма удручило. Это либо удаление всего целиком, либо некий инопланетный синтаксис, тяжко влияющий на состояние печени, либо совсем какие-то неработоспособные поделки.
Ладно, месяц назад кое-как я задачу решил (нужно было выдрать геотеги из одной фотографии и воткнуть в другую). Сейчас стоит иная задача — удалить всё, кроме геотегов, или хотя бы копирайты (фотки мои).
Посоветуйте что-нибудь простое и работающее. Нужно обработать и не испортить сотню говнофоток с заваленным горизонтом и ужасной цветностью.
Либо gwenview под KDE.
Либо вообще консольное exiftool .
Спасибо.
Попробовал gwenview. Увы, редактирует ограниченное множество метаданных. Все упоминания меня не вырезал.
ЕМНИП exiftool как раз то самое зубодробительное, которое портит файлы даже не пикая. Надо будет попробовать сделать второй заход на осиливание.
xnview сейчас посмотрю, интересно, чего там такого в 25-ти мегабайтном архиве.
PS: xnview редактировать метаданные не умеет, только смотреть.
Ну значит только exiftool, попробуйте обновить версию libexif и exiftool. А в чём конкретно заключается порча файлов ? Может вы что-то не так делаете ?
Методом проб и ошибок навелосипедил с применением exiftool.
Порча например заключается в том, что -all | grep GPS даёт всю нужную информацию, но не в формате csv (sed как всегда выручил), а записывать в картинку метаданные не из файла csv я не осилил, -csv -EXIF:GPS* херит половину параметров, делимитер свой указать нельзя (а в тегах бывают запятые), а -geotag и вовсе не то, что нужно. Ну и так, по мелочи в силу неполного понимания авторской логики работы и слишком торопливого чтения мана.
Спасибо за участие и поддержку. :)
Последнее исправление: imul 28.03.13 17:15:47 (всего исправлений: 1)
нужно было выдрать геотеги из одной фотографии и воткнуть в другую
интересно, зачем такое могло понадобиться .
не проще было удалить EXIF нафиг?
интересно, зачем такое могло понадобиться .
Так, чудеса говносмартфона. У первой фотографии геотега совсем не было, а у следующей внезапно получились координаты предыдущей. Обнаружил подлянку уже дома, а редактор геотегов как назло грохался при попытке записи геотега при выборе позиции по карте. Переснимать идти было лениво, решил просто тупо влить правильные геотеги из другово файла.
Проще, но ненужно.
Собственно после этого фотографировал уже фотоаппаратом, но там пишутся вредные теги с копирайтами.
xnview сейчас посмотрю, интересно, чего там такого в 25-ти мегабайтном архиве.
И своя копия exiftool. Бандл. Для них так принято. Всё своё ношу с собой. :)
Хм, чото да, у меня тоже шустрый внезапно. Хотя раньше медленный был.
Deleted ( 31.05.18 16:53:04 )Последнее исправление: Deleted 31.05.18 16:53:16 (всего исправлений: 1)
Всем огромное спасибо если есть еще варианты напишите пожалуйста. Главное стандартными средствами. Интернета нет.
куда тебе еще? dd и shred есть всегда и везде*
с /dev/random не путаешь?
да фиг его знает это линукс вдруг не сработает, а тут человека за картинки посадить могут
ну молотком тогда
линукс работает всегда, это тебе не винда
в правильных руках да. В моих не очень)
тогда го в турму
Можно без форматирования.
удаляешь разделы, создаёшь новый раздел, форматируешь в fs
А вот этого неграмотного ид^W человека слушать не надо.
Ну или вообще любая тулза, которая знает наиболее распространенные графические форматы и умеет читать диск напрямую
Deleted ( 31.05.18 17:35:53 )Последнее исправление: Deleted 31.05.18 17:37:29 (всего исправлений: 1)
ПРоведу опыт, отпишусь. Как раз есть внешний винт.
Проводи, конечно, если хочешь, но сам принцип нахождения информации на носителях очень прост, поэтому снос заголовка фс без каких-либо доп. действий тебе ничего не даст.
А можно как-нибудь точно с помощью стандартных linux-овых утилит определить начало и конец расположения конкретного файла? Ну, чтоб быстрее делалось
Можно натравить shred на сам файл.
Тут небольшая проблема.
А почему везде советуют забивать накопитель именно рандомом, а не нулями? В чём разница?
Нео, читай внимательно, что тебе пишут.
shred, а не shared.
Шред, а не шаред
Сквозь нули компетентные злоумышленники могут увидеть остаточную намагниченность НЖМД, а твердотельный накопитель увидев нули может вообще ничего не перезаписывать,а просто пометить блоки пустыми.
Да, спасибо. Заметил, но уже отправил и удалить не могу.
Что было? Белый шум? Ахахах, прекрати. Косить под шланг имеет смысл, если у тебя на накопителе обычная винда, обычные фоточки с пьянок, обычные мемасики, обычная музычка. А не полный диск белого шума.
Сквозь нули компетентные злоумышленники могут увидеть остаточную намагниченность НЖМД
И считать данные?
вполне себе сойдёт, наверно. А почему бы и нет? Вот почему не сойдёт просто влепить в тот уничтожаемый файл чего-нибудь бо-ольшое?
А почему везде советуют забивать накопитель именно рандомом, а не нулями? В чём разница?
Разница в сложности восстановления данных по остаточной намагниченности дорожек.
Да. Эффективность восстановления достаточно высока. Но для этого требуется специальная аппаратура. В домашних условиях, если ты конечно не живешь в лаборатории по восстановлению инфы с HDD, такое сделать близко к нереальному.
могут увидеть остаточную намагниченность НЖМД
Лет 10 как не актуально.
Есть пруф или хотя-бы разумное объяснение почему не актуально?
Есть пруф или хотя-бы разумное объяснение почему не актуально?
Соседние дорожки перекрываются. Также магнитный слой довольно тонкий, при перезаписи там ничего от предыдущей записи не останется ни вдоль поверхности ни вглубь.
Спасибо. На досуге почитаю на эту тему.
Я сразу грохнул GPT таблицу, переразбил. Не восстанавливается.
Данные физически на диске не перезаписались, поэтому их можно восстановить. Что у тебя ничего не получилось - это ни о чем не говорит.
В формате файла могут предусмотрены метаданные, по которым можно понять размер данных. То же самое разрешение для картинок, например. И на диске данные зачастую лежат подряд из-за отложенной записи.
Ещё как вариант утилита wipe.
dd bs=1M status=progress </dev/urandom >/dev/sdX
Роняешь с высоты, запускаешь проверку.
burato ★★★★ ( 01.06.18 08:58:46 )Последнее исправление: burato 01.06.18 08:59:03 (всего исправлений: 1)
Ты не путаешь random и urandom?
random реально медленный, но там и энтропия выше, используются реальные источники.
urandom при недостатке энтропии (т.е. всегда при больших объёмах данных) использует генератор псевдослучайных чисел, это небезопасно для всякой криптографии, но для задачи затереть данные вполне сойдёт.
Более подробная информация, если есть вопросы, в man 4 random .
tiandrey ★★★★★ ( 01.06.18 13:55:20 )Последнее исправление: tiandrey 01.06.18 13:59:37 (всего исправлений: 1)
Раньше (на другом железе с более старым ядром) urandom выдавал мне 10 или 25 МБ/с (не помню точно) с полной загрузкой одного ядра.
Если там ext4 или btrfs то средствами линукс ты и после unlink не восстановишь. R-STUDIO вроде справится, но что-то побьётся 100%. Лучше используй ntfs чтобы проще восстанавливать было.
Вот почему не сойдёт просто влепить в тот уничтожаемый файл чего-нибудь бо-ольшое?
потому что оно с большой вероятностью запишется на совсем другой участок диска
Читайте также: