bt365手机平台-下载首页

  • 研究人员在bt365手机app媒体实验室创建了一个手指佩戴设备与内置的摄像头,可以将文本转换为语音为视障人士。

    研究人员在bt365手机app媒体实验室创建了一个手指佩戴设备与内置的摄像头,可以将文本转换为语音为视障人士。

    研究人员礼貌

    全屏
  • 研究人员在bt365手机app媒体实验室创建了一个手指佩戴设备与内置的摄像头,可以将文本转换为语音为视障人士。

    研究人员在bt365手机app媒体实验室创建了一个手指佩戴设备与内置的摄像头,可以将文本转换为语音为视障人士。

    研究人员礼貌

    全屏

盲人手指安装读取设备

研究人员在bt365手机app媒体实验室创建了一个手指佩戴设备与内置的摄像头,可以将文本转换为语音为视障人士。

音频反馈可以帮助用户扫描手指沿着一行文本,其中软件转换成语音。


记者联系

艾比abaz要么ius
电子邮件: abbya@mit.edu
电话:617-253-2709
bt365手机app新闻办公室

媒体资源

2个图像下载

媒体访问

媒体只能从本网站的桌面版本下载。

研究人员在bt365手机app的媒体实验室已经建立了一个原型手指安装设备有内置的转换书面文字到音频,视障用户的摄像头。该装置提供反馈 - 无论是触觉或可听 - 沿文本行引导用户的手指,并且该系统能实时生成相应的音频。

“你真的需要有什么之间的人听到并在指尖是,一个紧耦合”说罗伊shilkrot,媒体艺术和科学的bt365手机app的研究生,并与媒体实验室博士后约亨HUBER在一起,主要作者新的纸张描述设备。 “为视觉障碍的用户,这是一个翻译。它的东西,无论翻译的手指“看”到音频。他们真的需要一个快速,实时反馈,以保持这种连接。如果它坏了,它打破了幻觉“。

HUBER将在协会四月份计算机械的计算机人机界面出席会议的文件。他和shilkrot的共同作者是帕蒂·马埃什,亚历山大W上。 dreyfoos教授在媒体艺术与科学在bt365手机app; suranga纳纳亚卡拉,工程产品的研发,在技术和设计的新加坡大学的助理教授,谁是博士后,后来在MAES’实验室客座教授;并在新加坡南洋理工大学的孟EE王女士。

纸张还报告有视觉障碍的志愿者,其中,所述研究人员测试他们的设备的若干变型进行的可用性研究的结果。一个包括两个触觉电机,一个在手指的顶部,而另一个在其下方。马达的振动表示的主体是否提高或降低跟踪手指。

另一个版本,没有马达,而不是使用音频反馈:乐音,在体积增大,如果用户的手指开始偏离了文本行了。研究人员还测试了发动机并结合乐音。有主体之间没有达成共识,但是,在其类型的反馈是最有用的。因此在正在进行的工作,研究人员正在集中音频反馈,因为它允许更小,重量更轻的传感器。

底线

关键系统的实时性能是用于处理摄像机的视频饲料,其中shilkrot和发展他的同事们的算法。每个用户在一个新行的起始位置他或她的手指时,该算法对字母的基线猜测的主机。因为文本的大部分线路包括字母,其底部下降低于基准,因为手指的倾斜方向可能会导致系统混淆附近的线路,这些猜测会有所不同。但大多倾向于聚集在一起,并且该算法选择最密集的群集的中值。

该值,反过来,约束,该系统使用视频的每一个新的帧中的猜测,当用户的手指向右移动,从而降低了算法的计算负担。

考虑到文本的基线所作的估计,该算法还跟踪每个单词,因为它滑过相机。当它识别出一个字的位置靠近的摄像机视场的中心 - 这减少失真 - 它作物只是字出的图像的。基线估计也允许算法重新对准字,补偿由古怪摄像机角度失真,并向其传递到开放源代码识别字符和翻译识别的单词成合成语音软件之前。

在新的纸张的工作报告,所述算法被在连接到手指安装设备膝上型执行。但在正在进行的工作,烫发波朗科,硕士的学生在计算机科学与工程,和张德培,本科计算机科学专业,通过MIT的本科生研究机会计划参与该项目,正在开发一个版本,在Android手机上运行的软件的,使系统更加便于携带。

研究人员还发现,他们的设备可能有更广泛的应用比他们会初步实现。 “自从我们开始就这一工作,它真的成了明显地向我们任何人谁需要帮助的阅读可以从中受益,” shilkrot说。 “我们得到了许多电子邮件和组织的请求,也正好有读写障碍的儿童的父母,例如”。

“这是用在地方的眼球移动的手指一个好主意,因为手指是一样的眼睛,能够在x和y的意图快速移动,并可以快速扫描的东西,说:”乔治·斯特滕,医生和工程师联合约会在卡内基梅隆大学机器人研究所和匹兹堡的生物工程部门的大学,谁正在开发 手指搭载设备 在视觉上提供了有关远处的物体受损用户的信息。 “我非常深刻的印象,他们做什么。”


主题: 研究, 辅助技术, 建筑+规划学院, 媒体实验室, 算法

评论

刚刚观看的视频。这简直是​​太棒了!恭喜!
我猜相反的问题更容易:到语音转换成可视手语(说在移动设备上),这样一个聋人能听对话。有你们做了吗?!

好了,艾哈迈迪,ISN“T语音识别?我还是通过了微软证明是实时翻译印象深刻......这是在中国一个示范几年前。可以在网上搜索视频。

HTTPS://www.youtube.com/watch?

真是太棒了,恭喜!

回到顶部