Содержание
Представьте себе мир, где барьеры между глухим и слухом исчезли. Мир, где разговоры текут среди тех, кто слышит звук, и тех, кто не слышит. Может ли этот мир стать реальностью в ближайшем будущем?
Еще в июне группа студентов-маркетологов в Berghs School of Communication разработала концептуальное видео для вымышленного продукта под названием Google Gesture. Продукт включал в себя носимый браслет и мобильное приложение, которое использовало электромиографию для считывания движений мышц глухого человека, делающего язык жестов. Затем система передавала эти сигналы в приложение, которое переводило эти сигналы в оцифрованный голос и говорило от лица.
Смотреть фальшивое маркетинговое видео было довольно увлекательно. Фактически, настолько захватывающим, что крупные технологические сайты, такие как Mashable, Slashgear и другие, первоначально объявили продукт реальным, а затем пришлось пересчитать претензию и извиниться за свою ошибку. Это была странная ошибка, учитывая, что на самом деле существует продукт Google под названием Google Gesture Search [Больше не доступен], который позволяет рисовать жесты на экране мобильного телефона для поиска контактов, закладок и многого другого.
Несмотря на это, концепция студентов Берга представила замечательную идею, которая привела к вопросу — возможно ли создать такое приложение по-настоящему?
Возможен ли перевод на язык жестов?
Анализ маркетинговой концепции на техническом уровне показывает, что технология, использующая электромиографию (ЭМГ) для «восприятия» языка жестов, на самом деле далеко не так уж и далеко. Еще в 2009 году исследователи из Вашингтонского университета смогли использовать несколько датчиков EMG для декодирования мышечных движений и преобразования их в настоящие жесты рук и кистей рук.
Исследователи фактически создали полную «библиотеку распознавания жестов», определяющую, какие мышечные сигналы представляют какой жест. Исследование доказывает, что этот вид технологии доступен и готов к внедрению в приложениях, предусмотренных студентами Берга.
Так кто-нибудь на самом деле достиг этого? Если нет, то почему никто не делает этого и не предоставляет глухим и слабослышащим людям возможность общаться с кем-либо в мире с помощью языка жестов?
Будущее технологий перевода в реальном времени
Правда в том, что кто-то на самом деле работает над такой технологией перевода языка жестов в реальном времени.
Есть компания под названием SpeechTrans, которая раздвигает границы технологий перевода
в былые времена. SpeechTrans работает с технологическими партнерами для производства некоторых из самых замечательных услуг языкового перевода в реальном времени на рынке сегодня. Это сервисы, которые переводят текстовый чат в текстовый чат, голос в текст и даже в режиме реального времени голосовой перевод с помощью мобильных телефонов и настольных приложений.
Чтобы выяснить, может ли технология жестового языка стать реальностью в ближайшем будущем, MakeUseOf встретился с генеральным директором SpeechTrans Джоном Фреем и главным операционным директором Яном Ауэрбахом, чтобы обсудить эту принципиально новую технологию перевода.
и насколько далеко это может быть в будущем.
Разработка приложения для перевода на язык жестов
MUO: Возможно ли сделать перевод с языка жестов на речь, который студенты Берга изобразили в этом видео о концепции Google Gesture?
ДжонЯ бы сказал, что технология доступна для его разработки. В настоящее время мы работаем с Microsoft и Intel над изучением некоторых технологий, которые они предлагают, с точки зрения аппаратного и программного обеспечения. Мы предполагаем возможность использовать эту технологию для распознавания языка жестов, а затем преобразовать его в речевой и аудио выход.
MUO: Вы сейчас активно работаете над развитием этой технологии?
ЯнТаким образом, был клиент, который использовал наше программное обеспечение, и подумал, что было бы замечательно, если бы мы могли изменить его так, чтобы люди с нарушениями слуха могли использовать его для телефонных звонков из нашего приложения, чтобы общаться без необходимости подписывать язык, когда они лично, или без необходимости услуги типа TTY для телефонных звонков. Мы разработали этот продукт и при финансовой поддержке Microsoft и Intel запустили SpeechTrans для людей с нарушениями слуха в Windows 8.1, что устраняет необходимость в языке жестов.
MUO: Как работает приложение «лично»?
Ян: Есть режим прослушивания и режим ввода. Итак, когда кто-то говорит с вами, вы включаете режим прослушивания, и он печатает все, что они говорят, на экране в тексте. Затем, когда вы отвечаете в ответ, вы печатаете его, а затем он говорит вслух, что вы печатаете. С помощью телефона вы просто набираете номер телефона любого человека, и когда он отвечает на звонок, он становится мгновенным сообщением. Что бы они ни говорили, вы получаете в качестве IM. Затем, все, что вы печатаете, произносится вслух по телефону. Это первый этап.
Ближайшее будущее
MUO: Какие технологии могут ожидать люди в ближайшем будущем? Какой следующий этап?
ДжонМы предполагаем — для того, кто имеет возможность использовать только язык жестов, — сделать это перед устройством, таким как телефон, ПК или ноутбук. У Intel новая система камер, а у Microsoft — Kinect, которая распознает жесты.
MUO: Как это лучше, чем концепция повязки, предложенная студентами Берга?
ЯнПо сути, наша система будет работать так, что вам не нужно ничего класть на руку. Он распознает 64 очка на вашей руке. Мы используем бета-версию камеры Intel RealSense. Таким образом, мы не только сможем распознавать весь язык жестов и множество различных диалектов языка жестов, но мы также сможем распознавать эмоции, выражения лица и другие мелкие нюансы, а затем преобразовывать их в произнесенные слова. ,
Это не потребует от вас никаких перчаток или чего-либо еще. Мы ориентируемся на этот рынок именно потому, что нам просто нравится помогать людям в целом. Мы хотим не только помогать людям, которые хотят говорить на разных языках, но мы также хотим помогать людям, которые не говорят на любом языке. Технология существует, и нет причин, по которым их качество жизни должно отличаться от нашего.
Джон: Это осуществимая концепция. Это просто другой вход и выход. Некоторые из разговоров, которые мы имели с Microsoft о некоторых будущих технологиях, — это когда кто-то может на самом деле имплантировать микрочип в шею, и он прямо читает их мозговые волны. Поэтому, если вы помогаете людям, которые не могут общаться, мы бы увидели нечто подобное в развертывании третьего этапа.
В прошлом году была группа студентов, которые выпустили рабочий прототип перчатки, подключенной к компьютеру. Жесты, которые вы делали с перчаткой, будут затем распознаваться и преобразовываться в язык жестов. Таким образом, они уже имеют возможности с современной технологией.
Наше видение заключается в том, что мы не хотим создавать такие аксессуары, как повязки, которые вы должны надеть. Это должно быть естественным и свободным для них [людей, делающих язык жестов], делать это перед их видеокамерой. 90% того, что люди говорят в общении, на самом деле на языке их тела. Будучи в состоянии получить доступ к распознаванию лиц, жестам и эмоциям, мы также сможем использовать эти данные, чтобы убедиться, что перевод и то, что они пытаются передать, выражены в правильной форме.
MUO: Intel в течение 5-летнего периода использования этой технологии распознавания языка жестов?
Джон: У Intel определенно есть много доступных ресурсов. Их технологии и программное обеспечение развиваются такими темпами, когда мы можем сделать это довольно быстро.
MUO: Есть ли у вас временные рамки, когда вы надеетесь вывести эту технологию на рынок?
ДжонДля языка жестов это примерно от 12 до 18 месяцев.
MUOУ кого-нибудь еще есть что-то подобное для перевода на язык жестов?
ДжонЯ видел видео на YouTube, где IBM делала прототип, где кто-то делал язык жестов, но это было доказательством концепции, и в нем было всего три или четыре слова, которые он узнал. У нас есть более пятисот тысяч слов, которые мы планируем развернуть, поэтому мы поднимем его на совершенно другой уровень.
Заключение
Хотя видение, о котором мечтали студенты в Бергсе, может и не стать приложением для перевода на язык жестов в будущем, это не означает, что такой концепции не произойдет. Работа, проделанная в SpeechTran, Intel и Microsoft, доказывает, что перевод на язык жестов почти наверняка станет настоящей технологией всего через несколько лет. Скорее всего, он не будет включать громоздкие повязки на руку, а вместо этого — не что иное, как специальную видеокамеру и мобильное приложение.
Благодаря магии жестов и распознавания лиц, это приложение для перевода на язык жестов обещает полностью революционизировать межличностные коммуникации для сотен тысяч людей с нарушениями слуха.
или слабослышащих людей по всему миру.
