新研究利用人工智能将大脑信号转换成语音和动画表情
美国加利福尼亚大学旧金山分校近日发布公报说,该校参与的研究团队开发
新华社 2023-08-28 21:22:56
(资料图片仅供参考)
美国加利福尼亚大学旧金山分校近日发布公报说,该校参与的研究团队开发出一种脑机接口,通过训练人工智能算法,成功将一名因脑干中风而严重瘫痪的女性的大脑信号转换成语音和动画表情,使这名女性患者能够通过“数字化身”与人交流。
加州大学旧金山分校和伯克利分校等机构研究人员在这名瘫痪女性大脑表面植入一个由253个电极组成的薄如纸张的矩形设备。这些电极覆盖了对语言功能至关重要的大脑区域。研究人员用一根电缆插入固定在患者头部的接口上,将电极与一组计算机连接起来。
构建这套系统后,研究团队在数周时间里对人工智能算法进行系统训练,以识别这名女性患者独特的大脑语音信号。这需要不断重复不同的语句,涉及1024个单词,直到计算机能识别与患者声音相关的大脑活动模式。
研究人员并没有训练人工智能识别完整的单词,而是创建了一个系统可根据最小的语音单位音素来解码单词。就像字母组成书面单词一样,音素组成了口语单词。例如,英文单词“Hello”包含HH、AH、L和OW四个音素。利用这种方法,计算机只要学习39个音素就能破译任何英文单词,这提高了系统的准确性和运算速度。
为了重现患者的声音,团队设计了一种语音合成算法,利用患者在自己婚礼上的讲话录音将语音个性化,使之听起来像她受伤前的声音。
研究人员还借助一款可模拟面部肌肉运动并制作动画的软件为患者制作动画头像。研究人员创建了定制的机器学习过程,使这款软件能够识别这名女性试图说话时大脑发出的信号,并将这些信号转换成能够表示快乐、悲伤和惊讶等情绪的面部动画。
相关论文近日发表在英国《自然》杂志上。团队下一步计划创建该系统的无线版本,使患者无需与脑机接口进行物理连接。
美国加利福尼亚大学旧金山分校近日发布公报说,该校参与的研究团队开发
证券时报e公司讯,方大炭素(600516)8月28日晚间发布半年报,上半年实现
众所周知,作文在英语和语文考试中分数比重很大。不过,孩子抓耳挠腮,好
近日,浙江杭州西湖网警在工作中发现,网上出现一些高仿即时办公通讯软
中新网江苏新闻8月28日电(周建琳)27日,2023长三角算力发展大会在苏州
没钱盖楼别招生!某中学一女生宿舍住116人,当地回应网友不买账,招生,
天津职工大病保险起付标准是多少 随社保网小编来看看。起付标准按照上
1、电话只要两芯就行了 水晶头如果是四芯的那中间两芯才有用 如果是专
平谷区与万达集团座谈会召开,平谷区,王健林,唐海龙,金海湖,万达集团
红网时刻新闻8月27日讯(通讯员罗霖昊、陈铋勋)8月27日早上七点,位于
8月25日,比亚迪海洋网“新一代主流中型轿车”——海豹DM-i在成都车展
8月26日晚,“中国农民诗会,从江油出发”,在李白故里江油青莲镇盛大
中小企业高质量发展是保民生、稳就业的有力支撑,关乎市场主体稳定和城
日本水产厅近日宣布,从福岛核污染水排海口东北约4公里、东南约5公里捕
信达证券股份有限公司刘嘉仁,蔡昕妤近期对周大生进行研究并发布了研究