Приложение Microsoft "Seeing AI" теперь исследует фотографии с помощью Touch, надеюсь, никого не убьют

Microsoft выпустила значительное обновление для своего приложения на базе искусственного интеллекта для слабовидящих. Предназначенный для слепых или людей со слабым зрением, Seeing AI обладает широким списком функциональных возможностей, которые, очевидно, предназначены для предоставления широкого спектра возможностей. Это последнее обновление якобы добавляет возможность изучить уже сделанные фотографии на ощупь. AI используется для анализа сцены и отображения конкретных объектов на фотографии. Проведите пальцем по изображению, и телефон обнаружит, какие предметы находятся рядом с вами, и идентифицирует их вам.

Если вы когда-либо даже пытались использовать программу чтения с экрана, вы, вероятно, знаете, насколько плохо технология соответствует современному способу использования компьютеров. Несмотря на то, что они работают довольно хорошо для некоторых приложений, программы чтения с экрана не очень легко подключаются к современной сети. Ряд авторов о доступности достаточно хорошо говорили на эту тему. Суть в том, что вспомогательные технологии могут абсолютно использовать повышение. Я проверил Видение ИИ, надеясь, что оно укажет путь к лучшему будущему. Потратив некоторое время с ним, я бы сказал, что у него есть настоящее обещание и некоторые проблемы, которые затрудняют рекомендовать его в качестве надежного источника информации прямо сейчас. Учитывая, что вся цель приложения состоит в том, чтобы идентифицировать вещи, которые могут иметь отношение.

Наблюдение ИИ использует камеру вашего телефона + искусственный интеллект для определения того, что он «видит». Опции включают в себя:

• Короткий текст
• Документ
• Продукт (сканирование для штрих-кодов)
• Человек (можно научить узнавать отдельных людей)
• валюта
• Сцена
• цвет
• Почерк
• Свет (использует звуковые сигналы, чтобы указать, когда камера направлена ​​на самый яркий источник света, который она может видеть)

Функция идентификации и анализа фотографий была основной, которую мы хотели протестировать сегодня, потому что это то, что Microsoft добавила с этим обновлением, но мы также взяли на вооружение и другие функции. Приложение работает достаточно хорошо при идентификации документов и текста, особенно если вы используете белый фон. Мы не смогли правильно определить штрих-коды продуктов; Этот аспект приложения всегда заканчивался сообщением «Извините, что-то пошло не так». Когда мы пытались использовать функцию «Сцена», система обычно неправильно идентифицировала мебель, например, приняв комод за стол.

Что касается раздела фотографии, ну ... может быть, вам будет проще показать, чем описать. Разрешение ИИ анализировать различные изображения на предмет содержания дало интересные результаты. Слайд-шоу ниже содержит наши результаты. Я бросил в приложение множество изображений, чтобы проанализировать, что оно может идентифицировать, а что нет.

Собака не * в * корзине. Процесс идентификации, очевидно, имеет проблемы с глубиной.

Собака не покрыта снегом.

Давайте, ребята. В этот момент вы даете кошке комплекс.

Ну, по крайней мере, в этот раз он получил * вид *.

Я не уверен, как описать, что носит Ким Кардашьян, но «костюм и галстук» - это не то, что я выбрал бы. Опять же, у приложения есть проблемы с выяснением, какая информация о глубине связана с каким человеком.

Это дополнительные данные, полученные приложением для предыдущей фотографии. Приложение правильно обнаруживает двух человек, но не упоминает и не включает никаких данных о втором. Что касается этого человека, он не в образе.

Пример того, как анализируется текст. Приложение правильно подобрало каждую отдельную строку текста и правильно прочитало данные при появлении соответствующего запроса.

Нету. Гранаты.

Это единственное изображение, которое было правильно идентифицировано и точно передано.

Не совсем. Приложение не смогло распознать, что на сковороде был бекон, несмотря на то, что ему давали несколько версий этого снимка под разными углами. Иногда он осознавал, что на сковороде есть еда, а иногда думал, что там был другой объект.

Общая производительность просто была не очень хорошей. Анализ текста был довольно сильным, и приложение хорошо справилось с чтением увиденного материала, но все остальное было безумным. Видя, что ИИ не может легко отличить собак и кошек друг от друга. Он не может сказать, есть ли плита на плите. Он не может правильно идентифицировать разные продукты.

Что касается сенсорного фотографического анализа, эта функция также отсутствует.

Видя, что ИИ правильно идентифицировал это как кошку, хотя он ошибочно принял Алисадара за перса (в основном он мейн-кун). Он даже настаивал на «чтении» буквы V на его меху как фактической буквы V. (В какой-то момент он использовал этот трюк на ковровых узорах, настаивая на том, что коврик в столовой был помечен AAAAAAAAAAA повторяющимся). Приложение описывает его как «спящего персидского кота», что не так уж и плохо. Но этот уровень описания встречается редко. В большинстве случаев вы получаете «Человека» и большую синюю коробку вокруг одного человека. Приложение скажет вам, сколько объектов оно распознает, но на самом деле не показывает, где находятся эти объекты. Вы должны провести пальцем по всему экрану, надеясь ударить любой объект, который увидела камера. Только один объект за раз выделен синим цветом (как указано выше), и это всегда последний объект, к которому вы прикоснулись.

Это не имеет никакого значения для слепых, которым придется исследовать все изображение, несмотря ни на что, но удивительно, что Microsoft не осознавала, что пользователи со слабым зрением также выиграют, увидев все коробки, где объекты были обнаружены в данном изображении. сразу, а не охотиться на них по отдельности через слепой поиск пальцев. На нескольких фотографиях также появилось сообщение «Информация не обнаружена», без данных о том, почему это было или как мы могли решить проблему.

В целом, мы бы дали приложению «А» за усилия. Он искренне пытается предоставить новые и интересные возможности в области, где они крайне необходимы. Однако фактического исполнения все еще не хватает. Понятно, что эти модели нуждаются в большем обучении, прежде чем кто-либо сможет использовать их для навигации или идентификации объекта. Объекты не идентифицированы должным образом, они не помещены в надлежащий контекст на фотографии, и многочисленные проблемы, связанные с глубоким наблюдением ИИ, заставили бы нас нервничать, если бы мы действительно пытались использовать приложение для навигации по физическому миру. Сказать слепому, что над плитой на плите есть плита, когда такой плиты нет, может быть совершенно опасно. Способность просматривать фотографии на ощупь, хотя и была интересной, в конечном итоге оказалась недостаточно точной, чтобы обеспечить убедительный вариант использования.

Мы поддерживаем то, что Microsoft пытается сделать здесь. Мы сочувствуем трудности и надеемся, что компания продолжит. Но хотя просмотр ИИ может быть полезен для конкретных вещей, например, для правильного определения валюты (у меня не было возможности проверить этот аспект, у меня не было наличных денег на данный момент), он не поразил нас своей способностью интерпретировать бодрствующий мир.

Модульные инвалидные коляски AI могут следить за препятствиями, включая отслеживание движения головы. Новый адаптивный контроллер Microsoft предназначен для геймеров с ограниченной подвижностью.