Отказ dns или нет информации о сервере поэтому письмо попадет в спам
После отправления письмо проходит несколько стадий проверки — модератором почтовой службы, спам-фильтрами, настройками почтового сервиса получателя. На каждом этапе рассылку могут развернуть и определить как спам. В ходе проверки смотрят на репутацию отправителя — можно ли ему доверять, не рассылает ли он подозрительный контент? Если у вашего почтового домена надежная репутация, рассылку пропустят, в ином случае можно попасть в черный список.
Что такое черные списки
Это базы IP-адресов и доменов, которых уличили в отправлении спама. Блэклисты лежат на серверах, к ним обращаются все почтовые провайдеры. Черных списков много. Попадания в один из них хватит, чтобы ухудшить репутацию отправителя. Почтовые сервисы заблокируют рассылку или отправят ее в спам.
Как почтовые сервисы определяют репутацию отправителя
У каждого почтового провайдера свои критерии для оценки, но можно выделить четыре параметра, которые влияют на репутацию:
- Качество базы подписчиков — активные адреса без ботов, спам-ловушек, недействительных аккаунтов и пользователей, которые не соглашались на рассылку. Покупка или парсинг базы исключены.
- Содержание письма — тексты, изображения, верстка, дизайн.
- Процент отписок и жалоб.
- Настройки аутентификации IP или домена.
Четыре популярных блэклиста
Как проверить, не угодил ли почтовый сервер в черные списки
У каждого блэклиста есть свой сайт с поиском по базе. Некоторые сервисы продают доступ. Но популярные черные списки — бесплатные. Проверьте свой IP-адрес или домен в Spamhaus и URIBL. Для начала этого будет достаточно. Введите свой адрес — блэклист сразу выдаст результаты проверки. Зеленый цвет означает отсутствие в блэклисте, а красный покажет, в каком списке находится ваш адрес и что нужно сделать для его удаления.
Если есть права администратора на домене, загляните в логи отправки. Это ответ сервера, который принял письмо. Если адрес в блэклисте, вы увидите это в логах. Там будет ссылка на черный список.
Если не хотите возиться с проверкой по каждому блэклисту, запускайте сервисы проверок — MxToolBox или Mail-tester. Они проверят ваш адрес по 100 чёрным спискам.
Выводим IP или домен из спам-листа
Если вы исправите ошибки и в течение 2-3 недель, будете отправлять корректные и полезные письма, вас исключат из базы. Но это небыстрый процесс — из базы вас могут убрать через пару дней или несколько недель. Чтобы ускорить его, стоит обратиться в техническую поддержку. Оставьте запрос на вывод из блэклиста, и представители техподдержки пришлют ссылку на форму удаления. Spamhaus просит указать IP-адрес или домен, а также почтовый ящик, с которого отправляются письма. Техподдержка проверит данные и уберет вас из своей базы, если ошибки уже исправлены.
Что делать, чтобы не попасть в блэклист
Проверьте содержимое письма. В нем не должно быть спам-слов, а тексты набраны стандартными шрифтами. Съехавшая верстка, проблемы с загрузкой картинок, вложенные файлы — все это вынудит подписчика пожаловаться на рассылку. Чем больше жалоб и отписок, тем выше вероятность оказаться в блэклисте.
Вывод
ХострТрекер предлагает проверить, не попал ли Ваш домен в DNS блеклист. Это может случится по целому ряду причин: например, подозрение в рассылке спама, размещении запрещенного контента (или даже просто ссылок на сайты, где таковой имеется) и т.п. Как это выявить и как с этим бороться? Читайте под катом.
Почему так происходит?
Критерии, по которым составляются блеклисты доменов, довольно сильно разнятся, а также изменяются с эволюцией алгоритмов. Поэтому нет никакой гарантии, что даже кристально чистый с точки зрения закона, морали и негласных правил Интернета домен случайно не попадет туда со временем. Причин, по которым это может произойти, множество — перечислять их все особого смысла нет.
Недавно мы столкнулись с этой проблемой. Как сервис мониторинга, мы постоянно рассылаем оповещения о состоянии сайтов, ежедневные и другие периодические отчеты. И в какой-то момент оказалось, что у некоторых клиентов эти письма попадают в спам.
Что делать?
Во-первых, необходимо вовремя обнаружить проблему. Для этого мы специально разработали новую бесплатную функцию — проверку наличия домена в DNSBL:
Стоит отметить, что эта функция не является уникальной — есть и другие подобные сервисы, например Mxtoolbox, с помощью которого мы обнаружили, что наш домен попал в пару «черных списков». Но мы решили, что среди прочих инструментов, которые предлагает ХостТрекер, этот также будет уместным и полезным.
Типичный результат нашей проверки DNSBL представлен на первом изображении к этой статье. Если обнаружены какие-либо проблемы, указывается причина попадания сайта в блеклист.
Как правило, сначала домен включается в список «для выяснения обстоятельств». С Вашей стороны можно эти обстоятельства выяснить — для начала, просто доказать, что Вы человек, а не робот. Для этого зайдите на сайт соответствующего блеклиста и следуйте инструкциям. Все довольно просто — вводите название домена, нажимаете кнопку «разблокировать». В некоторых случаях может понадобиться написать письмо с просьбой удалить из списка. Но перед этим, конечно же, следует устранить причину попадания.
Например, в случае с подозрением в спам-рассылке, необходимо удостовериться, что Ваш почтовый сервер никто не использует в зловредных целях. Крайне рекомендуется настроить обратное определение DNS для почтового сервера. Также можно настроить SPF. Для большинства спам-списков этого будет достаточно, чтобы более Вас туда не вносить.
Конечно, могут быть и другие причины, по которым домен может угодить в подобный список. Но почти всегда гордое имя Вашего сайта возможно отбелить, если, конечно, оно попало в этот список действительно случайно. Немаловажна в этом деле быстрота Вашей реакции — чем быстрее Вы заметите проблему и начнете на нее реагировать — тем больше вероятность, что домен не успеет «расползтись» по всем блеклистам и прочно там укорениться. И вот именно для этого мы и предлагаем Вам наш новый инструмент.
Как избежать ошибок при составлении и отправке писем
- выделенный IP-адрес с целью исключить блокировку на стороне сервера-ретранслятора или почтовой программы конечного получателя;
- криптографические подписи DKIM и SPF, помогающие подтвердить подлинность домена и минимизировать количество писем, воспринимаемых как спам.
Некорректное использование бота для отправки писем может привести к блокировке отправителя и другим нежелательным последствиям. Даже если информация, которую вы отправляете потенциальным клиентам, реально интересна им, система спам-фильтрации может воспринять данную рассылку как вредоносную. Чтобы избежать этого, лучше всего воспользоваться услугами специализированных компаний.
Данные коды являются трехзначными, каждая его часть несет в себе определенную информацию, расшифровывающую причину сбоя.
Первая цифра комбинации содержит информацию о качестве доставки:
Существует четыре варианта значений для первой цифры кода:
Вторая цифра в коде сообщает о категории ответа:
- 0 – синтаксические ошибки;
- 1 – ответы на запросы информации;
- 2 – ошибки канала передачи;
- 3 и 4 – неизвестный тип ошибки;
- 5 – статус почтовой системы.
Третья цифра дает более расширенную информацию о значении, указанном во второй цифре SMTP-ответа.
Полную информацию о кодах, их компоновке и значениях можно найти в спецификациях RFC 5321 и RFC 1893.
Эта статья посвящена антиспам-настройкам для email-рассылок. Как сделать так, чтобы письма без проблем попадали во входящие, а не оказывались в спаме или вообще отбивались на уровне почтового сервера получателя.
В нашем блоге есть кейс, в котором мы детально описываем работу с клиентом, у которого были настроены приветственные письма, но они попадали в спам
Ведя войну со спамерами на своих фронтах, провайдеры почтовых систем разработали и ввели технические требования отправителям email-рассылок. Так появились доменные настройки DKIM, SPF и DMARC.
DKIM (DomainKeys Identified Mail) — метод аутентификации соответствия доменного имени. DKIM проверяет, действительно ли домен, от имени которого отправлена email-рассылка, принадлежит отправителю.
SPF (Sender Policy Framework) — cтруктура политики отправителя. Это система проверки электронной почты, предназначенная для блокировки спама, методом обнаружения подмены и общей уязвимости электронной почты, путём проверки IP-адреса отправителя.
Политика DMARC не является обязательной настройкой. Это мера, которая, в первую очередь, позволяет вам дополнительно обезопасить себя от действий мошенников.
В практическом плане DMARC — это правила, указывающие, что делать, если SPF и / или DKIM выдали ошибку или письмо по каким-либо техническим причинам выглядит подозрительным для сервера получателя. В первую очередь — если мошенники пытаются рассылать письма от имени (под видом) вашего домена и / или вашего IP-адреса.
Не будем копировать мануалы по самим настройкам, просто оставим их здесь на ваш выбор. По ссылкам — актуальная на данный момент информация, всё изложено максимально грамотно и лаконично. С их помощью вы можете пошагово настроить записи самостоятельно или поручить это вашему системному администратору.
Всё просто, отправляем тестовое письмо из рассыльной платформы на рандомно сформированный почтовый адрес (кстати, его можно сохранить и пользоваться им постоянно) и проверяем.
Далее смотрим подробности проверки.
Если проблем нет, DKIM-запись действительна, значит, домен технически принадлежит вам как отправителю и ваши письма, согласно данным доставляемости, попадают в инбокс подписчиков. Значит, вы всё сделали правильно.
Особое внимание стоит обратить на SPF-запись, поскольку IP-адрес, с которого вы отправляете рассылки, технически подделать проще, чем домен.
Кроме того, рассыльная платформа могла выделить его не только вам, им параллельно могут пользоваться спамеры, владельцы электронного казино, продавцы дженериков Виагры, реплик часов Rolex и вообще кто угодно. Плюс он может быть просто очень старым с целой историей, естественно, не всегда хорошей. Поэтому рассыльный IP-адрес стоит дополнительно проверять на нахождение в чёрных листах. Попадание email-рассылок в спам может иметь комплекс причин и зависит не только от DNS-настроек, а это уже тема для отдельной статьи.
Вводим домен и проверяем корректность настроек, выбрав необходимый пункт в выпадающем меню.
На что стоит обратить особое внимание. В зелёном поле мы видим SPF-записи домена. Далее префиксы, их значения и описания. Если вы что-то настроили неправильно, сервис покажет вам это в соответствующей графе теста. Это значит, что вам стоит вернуться к инструкции настроек и перепроверить эту строку в DNS-зонах административной панели настроек вашего рассыльного домена.
Важный нюанс. Для SPF существует лимит в десять записей. Всё, что выше этого лимита, сервер получателя просто не увидит.
В нашей практике был случай, когда клиент обратился к нам с проблемой — рассылки вообще не попадали в инбокс подписчиков, хотя, казалось, что все настройки в порядке.
Система была построена следующим образом: промо-рассылки отправлялись из одной платформы, транзакционные письма — из второй, триггеры — из третьей, а поддержка клиентов пользовалась четвёртой. Проверив корректность всех настроек, мы нашли тринадцать разных SPF-записей. Получилось, что разработчики клиента превысили лимит, серверы почтовых провайдеров просто не видели записи свыше десяти и отбивали письма службы технической поддержки, считая их мошенническими и вредоносными.
Далее проверяем ключевые настройки политики DMARC.
Значение тега v — DMARC1, это версия протокола политики DMARC. Далее политика обработки писем, её задаёт значение тега p, обратите на него особое внимание. Это правило, согласно которому, как мы уже говорили выше, поступит почтовый провайдер, если SPF и / или DKIM выдали ошибку или письмо по каким-либо техническим причинам выглядит подозрительным для сервера получателя.
Значение ’quarantine’ — сервер почтового провайдера получателя отправляет письмо в папку Спам, а владелец домена сможет проанализировать данные, которые ему также придут в отчёте.
Значение ’reject’ даст команду серверу получателя отбить не прошедшие проверку DMARC письма. Эти рассылки получатель не увидит.
Значение тега rua, как вы наверняка догадались, — адрес электронной почты, на которую будут приходить отчёты.
По умолчанию все PHP-приложения используют для отправки почты функцию mail() , которая, в свою очередь, отправляет их через локальный SMTP-сервер, описанный в php.ini .
Или в виртуальном хосте:
Как не попасть в спам
Борьба со спамом породила множество технологий. Самая старая из них — blacklist, в который заносятся все IP и домены, занимавшиеся рассылкой спама, сюда же могут попасть открытые релеи, прокси и Dialup-адреса, используемые для удаленного доступа (то есть они теоретически не должны рассылать почту). Организованы такие blacklist по-разному. Популярностью пользуются DNSBL (DNS blacklist) — черные списки в формате DNS, которые легко опрашивать. На сегодня доступно множество баз, не все они популярны и используются. Проблема в том, что списка для конкретного почтового сервиса нет, сколько и какие они опрашивают — это тайна.
Проверить IP или домен можно самостоятельно, отослав DNS-запрос к выбранному DNSBL-серверу при помощи утилиты dig:
Прогоняем домен по DNSBL-базам
Правильная DNS
То же касается и самописных PHP-скриптов.
Заголовки Received отличаются, хотя есть общие правила. Типичный выглядит так:
Для IPv6 используется ip6.arpa. В принципе, знать об особенностях PTR необязательно, так как PTR, за редким исключением, настраивает только хостинг-провайдер. И если оно не устраивает, то нужно просто обратиться в поддержку. Проверить PTR можно при помощи запроса:
Как вариант — можно отключить IPv6 и отправлять только по IPv4. В /etc/postfix/main.cf Postfix для этого следует использовать всего одну строку:
После чего перезапустить сервис.
В Exim в /etc/exim/exim.conf
Не забываем, что SMTP-сервер обычно использует IPv4 и IPv6
Иногда используется значение $mydomain, которое по умолчанию содержит доменную часть полного имени машины.
Exim в HELO/EHLO использует значение переменной primary_hostname, которая по умолчанию совпадает с именем хоста. Но можно задать его вручную:
Но если на одном VDS несколько доменов, то такая схема уже будет проблематичной. В принципе, в RFC нет явного запрета на несколько PTR-записей для одного IP, но есть уже устаревшая рекомендация IETF, в которой расписана эта проблема и совет не делать этого в первую очередь из-за возможных ошибок. Очевидно, его и придерживаются, во всяком случае, провайдеры не хотят добавлять еще PTR-записи. В такой ситуации нужно или оставить техническое имя сервера, или (лучше) выбрать один из используемых доменов как основной и настроить PTR и hostname под него.
Разбираемся с SPF
Несмотря на то что для SPF придуман отдельный тип записи, он так и остался опциональным (при наличии поля его лучше тоже создать, хуже не будет), TXT обязательна.
Если домен может отправлять почту с нескольких адресов, все их прописываем здесь или указываем в MX-записи. Если VDS имеет IPv6-адрес, обязательно прописываем его здесь в ipv6: . Расшифруем:
- v=spf1 — используемая версия SPF;
- a — прием писем от узла с IP-адресом, указанным в A-записи домена;
- mx — подключает адреса, указанные в MX-записях;
- all — что делать с серверами, не перечисленными в SPF. Причем все указанное после all проверяться не будет, оно должно стоять последним.
Если ip4:1.2.3.4 есть в MX или A, его можно явно не прописывать и сократить запись до v=spf1 mx
В 2004 году в MS предложили схожую с SPF технологию, названную Sender ID и использующую DNS-записи spf2.0/pra , или spf2.0/mfrom , или spf2.0/mfrom,pra . Проверяется MAIL FROM, а не адрес возврата. Технология в настоящее время не получила широкого распространения, и MS рекомендует при отсутствии явных записей spf2.0 рассматривать v=spf1 как эквивалент spf2.0/mfrom,pra и использовать его при анализе. Вот, собственно, и все, что нужно о ней знать.
Проверяем SPF
Настраиваем DKIM
Демон будет работать с правами opendkim:opendkim. Генерируем ключи для селектора mail.
В текущем каталоге появятся два файла: mail.private — закрытый ключ и mail.txt — открытый. Добавляем в DNS-запись типа TXT из mail.txt .
Настройки OpenDKIM в Ubuntu находятся в файле /etc/opendkim.conf . Их, в принципе, может быть много, и могут использоваться дополнительные файлы, так как один демон часто обслуживает несколько доменов. В /usr/share/doc/opendkim/examples есть пример. Но в простом случае достаточно изменить несколько параметров под свои условия.
После установки демон opendkim слушает сокет /var/run/opendkim/opendkim.sock , но при необходимости можно указать сетевой порт и интерфейс. После правки файла перезапускаем демон:
Добавляем в /etc/postfix/main.cf данные сокета:
Коротко это все настройки.
Проверить DKIM можно с помощью утилиты opendkim-testkey:
Настройки в /etc/opendkim.conf
Доступны три варианта политик:
Собственно, в указанном примере и вся суть DMARC. Остальные параметры доступны в RFC.
Если письмо не доставляется
Способ обращения в службу поддержки у разных сервисов отличается, найти их на сайте не всегда просто.
Заключение
Вот и все! Если проделать все описанное, то о проблемах с доставкой почты можно забыть.
Читайте также: