18910208677

首页 >> 教育资讯 >>教育资讯 >> 中科育人中科院背景提升项目自然人机语音交互研究
详细内容

中科育人中科院背景提升项目自然人机语音交互研究

时间:2019-11-28     作者:中科育人【原创】

中科院,中科科研,学术背景,背景提升,留学,中科育人

自然人机语音交互研究

项目简介

自上世纪90年代以来,随着手写识别、语音识别、网络通信技术的发展,人机交互已发生了巨变,一个完全不懂编程以及网络通信原理的普通小孩,可能会比计算机科学家和网络工程师更好地使用计算机。方式的变革使得人机交互变得简单,而这个变革,就发生在短短不到30年内。可预见的是,未来计算机会更加智能,人类使用它会更加自然和简单。

多模态自然人机交互是下一代人机交互的发展趋势。融合视觉、听觉、触觉、嗅觉甚至味觉的多模态交互方式,其表达效率和表达的信息都优于单一的视觉或者听觉模式。

多模态自然人机交互主要分为3个模块,分别是信息多模态交互信息输入、多模态交互信息融合和处理、多模态交互信息反馈。其中,信息输入模块主要接收来自人的“视听触嗅味”五感信息,然后借助多模态信息融合和理解模块,形成“感”觉和认知,并根据专家知识库系统和检索技术形成对用户的信息反馈,构建出多模态自然人机交互系统。

从自然人机交互的未来趋势看,高度便利的多模态自然人机口语对话模式是最为自然和最理想人机交互方式。比如,利用中科院自动化所构建的一个多模态自然人机交互系统,用户可以自由地和两个设置有不同聊天主题的数字虚拟人交互,对话主题包括咖啡、天气、科普、娱乐等主题。这种新型的多通道融合的人机对话模式,是下一代新型人机界面操作模式的有效探索。

实习结束后,导师会根据学生表现,出具推荐信。

项目内容

人机语音交互是人机交互最重要和最基础的技术。本课题通过仿生机器人与人的交互设计和试验,让学生生动的理解和学习人机交互技术。通过云端编程或机器人本地编程了解语音识别和语音合成及交互过程,学习交互设计,学习人机交互内容的设计,学习如何有效的完成人机交互,如何和谐的完成人机交互,如何实现自然人机交流,学习到电机控制、深度学习、人工智能等内容,了解到语音识别和图像识别的相关内容。

招生对象和要求

大二以上优秀本科生和部分优秀高中生,计划申请语音交互,自然语言处理,图像识别等相关专业,要求对主流编程语言python,C++有一定了解,掌握常用神经网络如CNN、RNN等的基本知识。为了更好的完成科研项目,项目组会以笔试和面试的形式对学生进行筛选。

时间安排    共4

时间

内容

第一周

内容1)通过查阅文献和相关书籍,学习语音,图像识别相关知识。如果学生已具备知识,直接进入2环节

      2)利用实验室已有设备,对人机交互过程有直观了解

3)实验室参观,操作学习

4)找到论文切入点,形成论文大纲

指导PPT汇报,导师随时指导。

第二周

内容1)结合学生兴趣,制定针对性课题(语音,图像可选)

      2)选定课题进行综述文献阅读,了解相关技术发展和未来展望

      3)在导师指导下选定合适网络模型

指导PPT汇报,任务教学法,导师随时指导学生完成论文框架结构。

第三周

内容1)学习使用python语言编程计算

      2)寻找开源代码进行实践

      3)针对课题要求进行模型优化

指导PPT汇报面对面指导编程训练,带领学生熟悉网络框架,设计任务,完成任务。实现论文初稿。 

第四周

内容1)论文整体写作和不断修改

      2)调试程序,达到效果

3)总结和探讨

指导: 面对面指导学生

备注:实际安排顺序可根据情况做机动调整。

编辑:中科育人


咨询电话:18910208677

北京总部:北京市海淀区西三环北路甲2号院北理工国防科技园   

南京分部:南京市浦口区中科创新广场三栋2F




扫描二维码关注我们