Битва голосовых ассистентов показала, что самый “начитанный” — у Google

29.04.2018 22:02

Несмотря на то, что голосовые помощники за последние годы активно набрали обороты, большинство жителей стран СНГ не может воспользоваться ничем, кроме Siri. А Siri не только самый старый из актуальных ИИ этого сегмента, но и самый слабый по своим возможностям. Остаётся надеяться, что на русском Google Assistant заговорит уже в ближайшее время.

В общем, большинство из нас пока не может полноценно оценить голосовые ассистенты, но посмотреть, кто из них круче, всё равно интересно.

Начну с того, что ещё в феврале появилось исследование умных АС Apple HomePod, Amazon Echo, Google Home и Harman Kardon Invoke. Оценивались именно возможности голосовых помощников в этих устройствах. Оказалось, что продукт Google показал себя лучше всех, а продукт Apple — хуже всех. Справедливости ради, Siri в HomePod сильно урезана.

Битва голосовых ассистентов показала, что самый “начитанный” — у Google

Теперь же появилось исследование тех же голосовых ассистентов (Siri, Alexa, Assistant и Cortana), но в ином виде.

Помощникам задали почти 5000 вопросов общего характера. Вроде «как зовут первого президента США», «какие фильмы снял Кристофер Нолан» или «сколько нанометров в километре». То есть не оценивались ни способности по работе с навигационным ПО, ни возможности делать заметки, ни умение проигрывать музыку. Проще говоря, оценивали, насколько помощники осведомлены.

Результаты распределяли по пяти критериям:

Смог ли помощник ответить устно
Была ли для ответа использована сторонняя база данных
Был ли для ответа использован сторонний источник (типа Вики)
Насколько часто помощник не понимал вопрос
Насколько часто помощник отвечал на вопрос, изначально неправильно его поняв

В итоге выиграл Google Assistant при использовании его на смартфоне. Такой ИИ полностью правильно ответил примерно в 95% случаев, когда давал эти ответы, и предпринял попытки ответить примерно в 78% случаев. Assistant на умной АС Google Home, как видите, показал несколько худшие результаты. Более того, по показателю правильных ответов он даже уступил Cortana, чего я уж точно не ожидал. Alexa уступила обоим, ну а Siri… вы всё видите сами. Правильных ответов то достаточно много, а вот попыток ответить — нет.

Битва голосовых ассистентов показала, что самый “начитанный” — у Google

Забавно, но в сравнении с прошлым годом процент полностью правильных ответов вырос лишь у «Кортаны», а у остальных упал.

Битва голосовых ассистентов показала, что самый “начитанный” — у Google

Зато Alexa очень сильно нарастила показатель, определяющий процент попыток ответить на вопрос.

Битва голосовых ассистентов показала, что самый “начитанный” — у Google

И по поводу шуток. Наверное, многие знают, что голосовые ассистенты якобы умеют шутить.

Битва голосовых ассистентов показала, что самый “начитанный” — у Google

Как видите, чаще всех шутит Alexa, хотя годом ранее лидером была Siri. Почему-то в Google и Apple решили, что шутить голосовые ассистенты должны поменьше.

Напишите в комментариях, ждёте ли вы русскоязычный Google Assistant и купили бы какую-нибудь умную АС, если бы её голосовой ИИ поддерживал русский или украинский?

Источник