Как научить алису запускать приложения
Чтобы закончить общение с Алисой, сдвиньте вниз панель диалога с Алисой.
Беседа с Алисой хранится на устройстве. Чтобы удалить ее, в правом верхнем углу экрана нажмите → Очистить историю .
Озвучивание текстов
Алиса умеет озвучивать тексты на веб-страницах. Пока Алиса читает вслух, вы можете заниматься своими делами.
- Озвучить страницу
- Озвучить фрагмент текста
На странице нажмите значок или произнесите фразу «Алиса, прочитай страницу» . Если значка нет, прокрутите страницу вниз, затем в обратном направлении.
Чтобы поставить озвучивание на паузу, нажмите значок .
Чтобы отключить озвучивание страниц:
Примеры запросов и команд
Больше примеров команд см. в справочнике голосовых команд. Все навыки, созданные Яндексом и пользователями для Алисы, можно увидеть в Яндекс.Диалогах.
Обучение Алисы
Если Алиса неправильно распознает ваши слова, произнесите фразу громко и четко. Если это не помогло, нажмите , а затем кнопку Моя речь не распозналась . Если Алиса отвечает невпопад, нажмите , а затем кнопку Ответ не соответствует вопросу . Если Алиса неправильно произносит слова, нажмите , затем кнопку Неверно озвучен текст . Иногда неправильный ответ Алисы может обидеть. Если вы столкнулись с этим, нажмите , а затем кнопку Ответ обидный или оскорбительный .Если вы нажали по ошибке, нажмите кнопку Да нет, все хорошо .
Голосовая активация Алисы
Примечание. Для экономии ресурсов планшета голосовая активация автоматически отключается на время, когда вы переходите в настройки браузера, запускаете видео или набираете текст на виртуальной клавиатуре.По умолчанию голосовая активация включена. Чтобы отключить ее:
Теперь Алиса будет активироваться только после того, как вы нажмете значок в Умной строке . На фразы «Слушай, Алиса» или «Слушай, Яндекс» Алиса реагировать перестанет. Однако она будет отвечать на вопросы и команды, заданные голосом после активации.
Поиск по картинке
Чтобы выполнить поиск по картинке:
Дождитесь звука активации.
Нажмите , чтобы сделать новое фото, или нажмите , чтобы выбрать картинку из галереи.Алиса имеет много навыков работы с картинками, например:
Чтобы использовать нужный навык, на экране фотографирования нажмите его название (прокрутите список влево при необходимости). Набор навыков на разных платформах может различаться.
Если вы не нашли информацию в Справке или у вас возникает проблема в работе Яндекс.Браузера, опишите все свои действия по шагам. По возможности сделайте скриншот. Это поможет специалистам службы поддержки быстрее разобраться в ситуации.
Примечание. Для решения проблем в работе сервисов Яндекса обращайтесь в службу поддержки этих сервисов: О проблемах Яндекс.Браузера на компьютере пишите прямо из браузера: → Дополнительно → Сообщить о проблеме или через форму. Если вопрос касается главной страницы Яндекса (изменить тему оформления, настроить блоки главной страницы или иконки сервисов, найти Яндекс.Деньги и т. д.), пишите через форму. Выберите опцию Вопрос о главной странице Яндекса . По вопросам работы Почты (отключить рекламу, настроить сбор писем с других ящиков, восстановить удаленные письма, найти письма, попавшие в спам и т. д.) пишите через форму. По вопросам работы Поиска и выдачи (ранжирование сайта в результатах поиска, некорректные результаты поиска и т. д.) пишите через форму. ","prev_next":<"prevItem":,"nextItem":>,"breadcrumbs":[],"useful_links":null,"meta":,"voter":""prevItem": ","lang":<"current":"ru","available":[]>>,"extra_meta":[>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>],"title":"Голосовое управление","extra_js":[[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>],[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>],[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>]],"extra_css":[[],[,"mods":,"__func69":true,"__func68":true,"bem":false,"tag":"link","attrs":>],[,"mods":,"__func69":true,"__func68":true,"bem":false,"tag":"link","attrs":>]],"csp":<"script-src":[]>,"lang":"ru">>>'>Как общаться с Алисой
Чтобы спросить Алису о чем-то:
Разблокируйте экран планшета , если он заблокирован.Дождитесь звука активации.
Совет. Если вы хотите просто поговорить с Алисой, произнесите фразу «Давай поболтаем» . Алиса может поддержать беседу на разные темы, рассказать анекдот или пошутить. Импровизировать ей помогает нейросеть, обученная на огромном массиве текстов в интернете. В режиме беседы Алиса не будет выполнять ваши команды и искать нужную информацию. Чтобы выйти из режима беседы, скажите «Хватит» , «Закончить» , «Вернись» или «Выйти» .Чтобы закончить общение с Алисой, сдвиньте вниз панель диалога с Алисой.
Беседа с Алисой хранится на устройстве. Чтобы удалить ее, в правом верхнем углу экрана нажмите → Очистить историю .
Озвучивание текстов
Алиса умеет озвучивать тексты на веб-страницах. Пока Алиса читает вслух, вы можете заниматься своими делами.
- Озвучить страницу
- Озвучить фрагмент текста
На странице нажмите значок или произнесите фразу «Алиса, прочитай страницу» . Если значка нет, прокрутите страницу вниз, затем в обратном направлении.
Чтобы поставить озвучивание на паузу, нажмите значок .
Чтобы отключить озвучивание страниц:
Примеры запросов и команд
Больше примеров команд см. в справочнике голосовых команд. Все навыки, созданные Яндексом и пользователями для Алисы, можно увидеть в Яндекс.Диалогах.
Обучение Алисы
Если вы нажали по ошибке, нажмите кнопку Да нет, все хорошо .
Голосовая активация Алисы
Примечание. Для экономии ресурсов планшета голосовая активация автоматически отключается на время, когда вы переходите в настройки браузера, запускаете видео или набираете текст на виртуальной клавиатуре.По умолчанию голосовая активация включена. Чтобы отключить ее:
Теперь Алиса будет активироваться только после того, как вы нажмете значок в Умной строке . На фразы «Слушай, Алиса» или «Слушай, Яндекс» Алиса реагировать перестанет. Однако она будет отвечать на вопросы и команды, заданные голосом после активации.
Поиск по картинке
Чтобы выполнить поиск по картинке:
Дождитесь звука активации.
Алиса имеет много навыков работы с картинками, например:
Чтобы использовать нужный навык, на экране фотографирования нажмите его название (прокрутите список влево при необходимости). Набор навыков на разных платформах может различаться.
Если вы не нашли информацию в Справке или у вас возникает проблема в работе Яндекс.Браузера, опишите все свои действия по шагам. По возможности сделайте скриншот. Это поможет специалистам службы поддержки быстрее разобраться в ситуации.
Примечание. Для решения проблем в работе сервисов Яндекса обращайтесь в службу поддержки этих сервисов:Блог голосового ассистента Дуся
Совсем недавно Яндекс объявил о том, что теперь любой желающий может создать для голосового ассистента Алиса свои собственные функции. Пусть пока это и бета-версия платформы, но попробовать научить Алису чему-то интересному или полезному можно уже сейчас.
В этой статье мы расскажем и покажем, как уже сейчас можно создать голосовую функцию для Алисы, которая будет понимать команды на естественном языке без знаний в лингвистике, изучения API Алисы и аренды серверов.
Как вы наверное помните, мы пару лет назад запустили свою платформу для создания чат-ботов под названием Zenbot. Она позволяет легко создавать своих чат-ботов для любых мессенджеров и каналов типа Telegram, Facebook, или даже создать чат-бота или функцию для Дуси. И при этом вам не понадобится арендовать сервера и искать решения для процессинга естественного языка или диалогового движка. Все это уже есть в Zenbot.
Яндекс Диалоги (бета)
Ну и наконец еще одно различие в том, что даже если навык нужен только вам, и вы не хотите, чтобы им пользовались другие люди, вам все равно придется его опубликовать, пройдя процедуру модерации в Яндексе. И его все равно увидят все пользователи Алисы.
Как создать навык для Алисы
Короче говоря, нужно проделать немало работы, прежде чем наш навык заработает. А Zenbot как раз освобождает нас от этой рутины, решая все вопросы с серверами, протоколами и естественным языком!
Создаем навык на Zenbot
Код для Zenbot
Итак, создадим на своем ПК обычный текстовый файл например skill.xml и напишем там
Конечно же это простейший пример. Можно обрабатывать гораздо более сложные фразы, Zenbot умеет на лету вытаскивать их фраз данные, преобразовывать в нужный формат. Ответы тоже могут быть сложными (далее посмотрим как это сделать). Можно также переключать пользователя на другой контекст диалога и так далее. Все это описано в документации с примерами.
Как загрузить бота на Zenbot
После этого зайдем в настройки нашего бота на Zenbot и нажмем Configure Git repository. Заполняем поля для нашего репозитория. Если вы используете github, то поля имя пользователя и пароль можно не указывать. Еще в каждом репозитории можно держать код для нескольких ботов. Поэтому в настройках есть поле Directory. Тут можно указать папку в ваших исходниках, где лежат XML и JS файлы для именно этого бота.
Нажимаем Save settings. После этого Zenbot попытается собрать вашего бота и расскажет о своем успехе или провале на странице Build reports. Кстати тут же можно нажать кнопку Rebuild now чтобы поскорее пересобрать бота, когда вы изменили его код в репозитории.
Тестируем бота в Zenbot
Подключаем бота к Алисе
Делаем бота умнее
Давайте попробуем научить нашего бота делать хоть что-нибудь полезное. Например, давайте научим его знакомиться с пользователем и потом здороваться с ним по имени.
А что-нибудь поинтереснее есть?
Несколько полезностей
Как добавить кнопки?
Используйте тэг sample. Он создает кнопку, при нажатии на которую в бота придет запрос, текст которого указан на кнопке. Подробнее в документации по sample.
Первый запрос
Как закончить сессию
Если в вашем навыке в какой-то момент нужно закончить сессию, просто создайте переменную end_session вот так
Как синтезировать речь
Если вы хотите, чтобы Алиса произнесла не то, что ваш бот возвращает в виде текстового ответа, то создайте переменную tts вот так
Как сформировать JSON ответ
Если вы хотите полностью сформировать ответ в JSON формате по протоколу Алисы (например если вам не хватает функционала тэга sample), то вы можете вернуть JSON ответа в output вот так
Куда дальше?
Для Zenbot мы написали подробную документацию с примерами. Еще у нас есть репозиторий с примерами готовых ботов и FAQ который описывает некоторые основные особенности платформы. У вас не займет много времени, чтобы понять, как писать сценарии ботов, которые понимают естественный язык и могут выполнять полезные (и бесполезные) функции.
Чтобы закончить общение с Алисой, сдвиньте вниз панель диалога с Алисой.
Беседа с Алисой хранится на устройстве. Чтобы удалить ее, в правом верхнем углу экрана нажмите → Очистить историю .
Озвучивание текстов
Алиса умеет озвучивать тексты на веб-страницах. Пока Алиса читает вслух, вы можете заниматься своими делами.
- Озвучить страницу
- Озвучить фрагмент текста
На странице нажмите значок или произнесите фразу «Алиса, прочитай страницу» . Если значка нет, прокрутите страницу вниз, затем в обратном направлении.
Чтобы поставить озвучивание на паузу, нажмите значок .
Чтобы отключить озвучивание страниц:
Нажмите в браузере значок (если его нет, нажмите кнопку меню на корпусе смартфона).Примеры запросов и команд
Больше примеров команд см. в справочнике голосовых команд. Все навыки, созданные Яндексом и пользователями для Алисы, можно увидеть в Яндекс.Диалогах.
Обучение Алисы
Если Алиса неправильно распознает ваши слова, произнесите фразу громко и четко. Если это не помогло, нажмите , а затем кнопку Моя речь не распозналась . Если Алиса отвечает невпопад, нажмите , а затем кнопку Ответ не соответствует вопросу . Если Алиса неправильно произносит слова, нажмите , затем кнопку Неверно озвучен текст . Иногда неправильный ответ Алисы может обидеть. Если вы столкнулись с этим, нажмите , а затем кнопку Ответ обидный или оскорбительный .Если вы нажали по ошибке, нажмите кнопку Да нет, все хорошо .
Голосовая активация Алисы
Примечание. Для экономии ресурсов смартфона голосовая активация автоматически отключается на время, когда вы переходите в настройки браузера, запускаете видео или набираете текст на виртуальной клавиатуре.По умолчанию голосовая активация включена. Чтобы отключить ее:
Нажмите в браузере значок (если его нет, нажмите кнопку меню на корпусе смартфона).Теперь Алиса будет активироваться только после того, как вы нажмете значок или . На фразы «Слушай, Алиса» или «Слушай, Яндекс» Алиса реагировать перестанет. Однако она будет отвечать на вопросы и команды, заданные голосом после активации.
Поиск по картинке
Чтобы выполнить поиск по картинке:
Нажмите значок (на новой вкладке) или (на открытой вкладке под Умной строкой) .Дождитесь звука активации.
Нажмите , чтобы сделать новое фото, или нажмите , чтобы выбрать картинку из галереи.Алиса имеет много навыков работы с картинками, например:
Чтобы использовать нужный навык, на экране фотографирования нажмите его название (прокрутите список влево при необходимости). Набор навыков на разных платформах может различаться.
Если вы не нашли информацию в Справке или у вас возникает проблема в работе Яндекс.Браузера, опишите все свои действия по шагам. По возможности сделайте скриншот. Это поможет специалистам службы поддержки быстрее разобраться в ситуации.
Примечание. Для решения проблем в работе сервисов Яндекса обращайтесь в службу поддержки этих сервисов: О проблемах Яндекс.Браузера на компьютере пишите прямо из браузера: → Дополнительно → Сообщить о проблеме или через форму. О проблемах в работе приложения Яндекс — с Алисой пишите через форму. Если вопрос касается главной страницы Яндекса (изменить тему оформления, настроить блоки главной страницы или иконки сервисов, найти Яндекс.Деньги и т. д.), пишите через форму. Выберите опцию Вопрос о главной странице Яндекса . По вопросам работы Почты (отключить рекламу, настроить сбор писем с других ящиков, восстановить удаленные письма, найти письма, попавшие в спам и т. д.) пишите через форму. По вопросам работы Поиска и выдачи (ранжирование сайта в результатах поиска, некорректные результаты поиска и т. д.) пишите через форму. ","prev_next":<"prevItem":<"disabled":false,"title":"Голосовой помощник Алиса","link":"/support/browser-mobile-android-phone/useful-features/alice.html">,"nextItem":>,"breadcrumbs":[,],"useful_links":null,"meta":,"voter":""prevItem": ","lang":>,"extra_meta":[>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>,>],"title":"Голосовое управление - Яндекс.Браузер для смартфонов с Android. Справка","productName":"Яндекс.Браузер для смартфонов с Android","extra_js":[[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>],[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>],[,"mods":,"__func137":true,"tag":"script","bem":false,"attrs":,"__func67":true>]],"extra_css":[[],[,"mods":,"__func69":true,"__func68":true,"bem":false,"tag":"link","attrs":>],[,"mods":,"__func69":true,"__func68":true,"bem":false,"tag":"link","attrs":>]],"csp":<"script-src":[]>,"lang":"ru">>>'>"current":"ru","available":["ru"]>Как общаться с Алисой
Чтобы спросить Алису о чем-то:
Разблокируйте экран смартфона , если он заблокирован. Нажмите значок (на новой вкладке) или (на открытой вкладке под Умной строкой) . Совет. Вы можете добавить Алису на домашний экран, чтобы запускать ее отдельно. Для этого в настройках в разделе Голосовые возможности нажмите Добавить на домашний экран .Дождитесь звука активации.
Совет. Если вы хотите просто поговорить с Алисой, произнесите фразу «Давай поболтаем» . Алиса может поддержать беседу на разные темы, рассказать анекдот или пошутить. Импровизировать ей помогает нейросеть, обученная на огромном массиве текстов в интернете. В режиме беседы Алиса не будет выполнять ваши команды и искать нужную информацию. Чтобы выйти из режима беседы, скажите «Хватит» , «Закончить» , «Вернись» или «Выйти» .Чтобы закончить общение с Алисой, сдвиньте вниз панель диалога с Алисой.
Беседа с Алисой хранится на устройстве. Чтобы удалить ее, в правом верхнем углу экрана нажмите → Очистить историю .
Озвучивание текстов
Алиса умеет озвучивать тексты на веб-страницах. Пока Алиса читает вслух, вы можете заниматься своими делами.
- Озвучить страницу
- Озвучить фрагмент текста
На странице нажмите значок или произнесите фразу «Алиса, прочитай страницу» . Если значка нет, прокрутите страницу вниз, затем в обратном направлении.
Чтобы поставить озвучивание на паузу, нажмите значок .
Чтобы отключить озвучивание страниц:
Примеры запросов и команд
Больше примеров команд см. в справочнике голосовых команд. Все навыки, созданные Яндексом и пользователями для Алисы, можно увидеть в Яндекс.Диалогах.
Обучение Алисы
Если вы нажали по ошибке, нажмите кнопку Да нет, все хорошо .
Голосовая активация Алисы
Примечание. Для экономии ресурсов смартфона голосовая активация автоматически отключается на время, когда вы переходите в настройки браузера, запускаете видео или набираете текст на виртуальной клавиатуре.По умолчанию голосовая активация включена. Чтобы отключить ее:
Теперь Алиса будет активироваться только после того, как вы нажмете значок или . На фразы «Слушай, Алиса» или «Слушай, Яндекс» Алиса реагировать перестанет. Однако она будет отвечать на вопросы и команды, заданные голосом после активации.
Поиск по картинке
Чтобы выполнить поиск по картинке:
Нажмите значок (на новой вкладке) или (на открытой вкладке под Умной строкой) .Дождитесь звука активации.
Алиса имеет много навыков работы с картинками, например:
Чтобы использовать нужный навык, на экране фотографирования нажмите его название (прокрутите список влево при необходимости). Набор навыков на разных платформах может различаться.
Если вы не нашли информацию в Справке или у вас возникает проблема в работе Яндекс.Браузера, опишите все свои действия по шагам. По возможности сделайте скриншот. Это поможет специалистам службы поддержки быстрее разобраться в ситуации.
Примечание. Для решения проблем в работе сервисов Яндекса обращайтесь в службу поддержки этих сервисов:Всего месяц назад мы захотели попробовать себя в создании расширения для функционала Алисы — навыков. По опыту общения в чате поддержки Яндекс Диалогов сложилось впечатление что уже есть, чем поделиться с начинающими особенностями работы над голосовыми интерфейсами.
В заметке хочу рассказать свои впечатления от трех недель работы нашего детского новогоднего навыка Снегурочки и о вопросах и ответах в чате разработчиков диалогов.
Для профессионала в VUI в заметке не будет ничего нового, но дельные советы и комментарии от опытных приветствуются. Пишу впервые, прошу не судить строго.
Почему стоит обратить внимание на Алису?
Если за рубежом голосовые помощники уже стали обыденностью, многочасовые разговоры с роботом уже утекают в сеть, то у нас это пока остается на уровне взаимодействия с навигатором, болтовни детей с Алисой, баловством гиков с умными домами. Мало кто из моих знакомых заносит заметки и напоминания с помощью Siri, хотя, на мой взгляд — это один из самых удобных вариантов ее использования. С большой вероятностью в наступающем году эта ситуация изменится в лучшую сторону, ведь фундамент уже заложен:
- Алисе исполнился только год, она учится, но уже многое умеет.
- Выход Яндекс станции — думаю, постепенно она будет становиться умнее и более функциональной.
- Появление в продаже в декабре первых недорогих партнерских мини-колонок.
- Запуск школы Алисы для обучения разработчиков созданию навыков
- Анонсированы серьезные улучшения инфраструктуры Яндекс Диалогов, в частности, «discovery навыков» — средство для удобного поиска и ранжирования навыков от сторонних разработчиков
Зачем все это: голос, навыки?
Думаю, многим уже понятно преимущество голосовых интерфейсов в некоторых случаях, но не лишним будет напомнить: иногда это самый подходящий вариант. Например, в автомобиле или на кухне занимаясь приготовлением еды, при любой другой деятельности, где руки заняты, удобнее отдавать команды голосом. Например, уже давно есть роботы-медсестры, управляемые голосом, помогающие при хирургических операциях.
Голос — привычный людям интерфейс взаимодействия. Пожилые люди и дети без особых проблем осваивают этот метод для получения информации и управления гаджетами.
Для людей с нарушением зрения голос и слух — являются еще более важным каналом взаимодействия с окружающей средой. Судя по чату Яндекс.Станции такая категория людей очень оценила появление такого устройства, облегчающего их жизнь.
Продолжать перечислять кейсы не буду, если интересно, то можно детальнее узнать обо всем этом из специальной литературы.
Навык — это программа реализующая некий диалог, который запускается заданной командой активации в Алисе и расширяющий возможности голосового помощника от Яндекса.
Как создать навык?
Есть уже некоторое количество хороших сторонних навыков, но еще много ниш, которые можно занять и сделать по-настоящему интересный и полезный навык.
По созданию их есть несколько статей, в том числе и на Хабре. Есть документация, есть краткие общие рекомендации. Не стану сильно углубляться в технические детали реализации, т.к. хотелось бы поделиться общими подходами для начинающих.
Вот небольшой список ресурсов которые помогут начать:Библиотеки и ресурсы для Яндекс Диалогов
Неофициальный FAQ по работе с Яндекс Диалогами.
В документе собраны актуальные и не очень ссылки и вопросы-ответы.
Вышеупомянутый чат Яндекс Диалогов.
Детали реализации своих навыков я тут приводить не буду, если будет запрос от сообщества, то уделю этому внимание в отдельной статье. Тем более что подобные материалы уже есть.
Оставлю только пример простого навыка на PHP с комментариями который, думаю, позволит сделать быстрый старт новичку.
Далее регистрируем сам навык по ссылке:
Выбираем пункт «Навык в Алисе»
Заполняем все поля согласно подсказкам и документации диалогов:
В поле webhook url вводим полученный ранее урл.
Пробуем сохранить, если следовали приведенным инструкциям все должно отработать с первого раза.
В данной статье по реализации только посоветую обратить особое внимание системе логирования действий пользователя. Я все проблемные участки взаимодействия пользователя, например, ожидаю «да | нет» а получаю иное, записываю в лог и тут же транслирую (отдельным процессом для скорости работы вебхука) в телеграм-канал для оперативного отслеживания и реагирования.
Общий подход и типичные ошибки.
Вы хотите выучить еще одно стихотворения?
[да] [нет]
Ожидаем что человек ответит да или нет, но нам приходило много других вариантов:
- Да.
- да да
- конечно хочу
- да мама а что у нас кушать?
- надоело
- какая погода в Новосибирске?
Каждый из случаев взаимодействия следует рассматривать отдельно.
В приведенном выше примере мы столкнулись с тем, что пользователи просят стихотворение покороче или про какого-то персонажа («а есть покороче?», «давай про снегурочку»).
Тут у нас появляются варианты — либо добавлять новые уровни меню, но не забывать о «человечности» диалога или реагировать на такие запросы в соответствии с ожиданиями пользователя, но явно их не предлагая.
Как мы в начале ни продумывали эту диалоговую часть, мы поняли, что реальное использование лучше покажет желания пользователя, потому свой первый навык начали с минимальным функционалом, постепенно добавляя возможности нашей Снегурочки, а также реакции на востребованные, но непредусмотренные нами заранее запросы.
Использование сторонних API
Обратили внимание, что для предоставления в своих навыках каких-то полезных функций, разработчики прибегают порой к чрезмерному использованию сторонних API. Однако не стоит забывать, что время ответа вашего webhook не должно превышать 1,5 секунды. Иногда это может стать причиной отрицательного опыта пользователя с навыком, который то отвечает корректно, то пишет: «что-то пошло не так».
Особенности распознавания именованных сущностей: не все имена, города распознаются корректно, и потому желательно предусмотреть это в своем навыке. Мы пока, чтобы не лишать возможности ребенка с нераспознанным Яндексом именем общаться со Снегурочкой пришлось прибегать к некоторым «костылям». Сразу учитывайте это при разработке, чтобы потом не огорчать пользователей с именами Слава или Надежда, например. Надеемся, Яндекс вскоре это поправит.
Произношение слов
Существующий инструмент тестирования синтеза речи не всегда соответсвует тому, что будет у вас в навыке на самом деле. Не ленитесь предусмотреть механизмы добавления tts к любым вашим ответам. Мы понадеялись на движок Яндекса, и часть фраз в нашем навыке теперь уже сложно разметить для более качественного произношения (без больших изменений в коде). Учтем на будущее.
Очень помогли простые, но достаточно эффективные PHP функции для нечеткого сравнения слов:
similar_text(), levenshtein(), в других языках тоже есть подобные инструменты. Ну, и, конечно, регулярные выражения, куда без них.
Эти функции позволили, например, принять корректно ответ на загадку с частично верным ответом — не точно распознанный, в разных склонениях.
Это, конечно, для специалистов по NLP (Обработке естественного языка) будет выглядеть несерьезно, но, повторюсь, заметка — для начинающих.
Текущие недостатки платформы
Кратко обозначу основные претензии разработчиков к Яндекс Диалогам, которые заметил в чате.
Долгая, часто кажущаяся нелогичной, модерация. Бывает, что ваш навык не проходит модерацию по причине того, что у вас, скажем, слишком общее имя навыка, например, «погода в Крыму» при том, что уже есть навык с подобным именем — «Погода в Северодвинске». Так понимаю, что связано это с тем, что раньше требования к именам и активационным словам были проще и сыну маминой подруге тому вот парню повезло, а у вас так уже не получится. Ищите другую фразу или попробуйте использовать бренд.
Не всегда документация соответсвует действительности. Сама платформа развивается быстро, документация не поспевает, трактуется пользователями и представителями яндекса иногда по-разному.
Платформа пока предоставляет лишь базовые средства для дебага навыков.
При добавлении навыка в панель разработчика ваш вебхук уже должен отвечать правильно, или просто произойдет ошибка валидации. Что за ошибка, какой JSON был отправлен и какой пришел — мы не увидим. Если же вам удалось добавить навык, то у вас будет минимальная панель с содержимым лишь последнего запроса-ответа и все! Никаких средств проверить как это будет в реальности работать и звучать на устройстве до модерации нет. Есть сторонний эмулятор, который достаточно нестабильно работает, не во всех браузерах, да и не соответсвует текущему протоколу.
Есть и другие пожелания и запросы от разработчиков, такие как: интеграция с умным домом, определение собеседника по его голосу, возможность выбирать голоса для навыков с более качественной генерацией, интеграция платежных систем, интеграция с Яндекс аккаунтом, в том числе для работы с навыком с разных устройств под одним пользователем, продуманная система приватных навыков. Но это — функции требующие тщательной проработки и, с точки зрения безопасности, удобства. Думаю, Яндекс сможет предоставить эти возможности, когда реализует это на должном уровне. Однако, проблемы с модерацией, дебагом и местами неактуальной документацией могут сильно мешать начинающим освоится в платформе.
Для быстрого старта советую опубликовать приватный навык, они сейчас проверяются с минимальными требованиями:
- Навык проверяется на имя и активационную фразу, так как база общая для всех разработчиков.
- Вебхук должен корректно отвечать на запросы.
- Приватный навык должен сообщать о том, что навык закрытый в своем приветственном обращении. Чтобы пользователь, случайно запустивший его, был уведомлен.
Однажды опубликованный навык можно использовать для тестирования своих других диалогов в ожиданиях модерации путем проксирования запросов с опубликованного вебхука на разрабатываемый, фильтруя по user_id.
Вывод
В целом сами голосовые интерфейсы показались очень интересной темой, все более востребованной в будущем, планирую больше погружаться в нее, читая специальную литературу, инструкции и советы зарубежных аналогичных сервисов (Google, Amazon, Siri, etc.).
Еще раз напомню о яндексовской школе Алисы, если кого-то как и меня заинтересовала эта тематика.
Читайте также: