🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
查看原文
其他

今日《自然》：AI读心又一项突破！科学家“看见”了老鼠眼中的电影世界

学术经纬 学术经纬 2023-05-13
▎药明康德内容团队编辑  

根据大脑信号重建其他人眼中的世界，这种“读心术”听起来像是科幻中才有的场景。的确，我们尚且不需要担心自己脑海中的画面被他人读取，但不少科学家正利用AI取得阶段性的进展。例如就在两天前，一项《自然》子刊研究展示了一种可以将大脑活动转换为持续语言输出的脑机接口，其通过分析功能磁共振成像数据就能将参与者大脑中的故事甚至图像用语言描述出来。

今天，一项发表于《自然》杂志的研究朝着“AI读心”的目标取得了又一项重要进展。来自洛桑联邦理工学院（EPFL）的研究团队构建了一种全新的人工神经网络模型，能够准确捕捉大脑活动的动态变化。在实验中，该模型从小鼠的大脑信号中几乎完美地提取了黑白电影的画面。研究团队将这款全新的机器学习算法命名为CEBRA。


当然，需要说明的是，这套AI工具并不是直接“从无到有”地重现小鼠脑中的画面，而是将小鼠看见的电影片段与实现训练的电影帧对应起来。具体来说，研究团队让50只小鼠观看一段长30秒的黑白电影剪辑片段，这些小鼠看了9次，每一次研究团队都会借助插入小鼠大脑视觉皮层区域的电极探针或是光学探针（即通过基因改造，使得被激活的神经元发出绿色光），收集小鼠的神经元活动信号。随后，研究团队训练CEBRA将神经信号与600帧的电影片段联系起来，建立起两者的映射。

▲研究团队根据小鼠的大脑活动，预测它们看见的电影片段（图片来源：EPFL/Hillary Sancutary/Alain Herzog/Allen Institute/Roddy Grieves）


在学习了小鼠视觉系统神经编码中的隐藏结构后，CEBRA可以在初始的训练阶段之后，直接从大脑信号中预测看不见的电影帧。

于是，在这些小鼠第10次观看电影剪辑片段时，CEBRA根据大脑活动信号来预测小鼠看见的画面。重建的结果如下方视频所示：CEBRA成功预测出小鼠正在看的是一位男子跑向一辆汽车、打开后备箱，然后溜走的画面。尽管有少量失真的地方，但重建的电影片段几乎和原始片段一致。在95%的情况下，CEBRA预测的帧的位置，都与小鼠实际看见的差距在1秒之内。

▲视频27秒起，为小鼠看见的电影画面（上）与CEBRA重建的画面（下）的对比（视频来源：EPFL/Hillary Sancutary/Alain Herzog/Allen Institute/Roddy Grieves）


研究团队指出，CEBRA在视觉皮层中不到1%的神经元中有着优异的表现，在小鼠大脑中，这个脑区由大约50万个神经元组成。

进一步的实验表明，CEBRA不仅局限于视觉皮层神经元。这款AI工具还可以预测灵长类动物手臂的运动，以及重建大鼠在竞技场上自由跑动的位置。“这项工作朝着神经技术中实现高性能脑机接口所需的算法迈出了重要一步。”领导这项研究的Mackenzie Mathis教授说。

▲利用小鼠训练CEBRA的示意视频（视频来源：参考资料[1]）


对于CEBRA的原理，Mathis教授也作出了进一步的解释。CEBRA是基于对比学习实现的，这是一种学习如何将高维数据排列或嵌入到被称为隐空间（latent space）的低维空间中的技术，其目的是使得相似的数据点靠在一起，而差异更大的数据点离得更远。这种嵌入的模式可用于推断数据中隐藏的关系和结构。它使得研究人员能够同时考虑神经数据和行为标签，包括运动、“奖励”这样的抽象标签、颜色或纹理等感官特征。

“与其他算法相比，CEBRA在重建合成数据方面表现出色，这对于比较算法至关重要，”该论文的共同第一作者Steffen Schneider说，“其优势还在于，它能够跨模式地组合数据，例如将电影特征和大脑数据相结合，并且有助于限制细微差别，例如收集方式导致的数据变化。

研究团队表示，通过建立大脑活动模式与视觉输入之间的联系，CEBRA将有望为视力障碍人士带来产生视觉的方法，帮助他们看见世界。此外，CEBRA不仅限于神经科学研究，还将应用于涉及多重信息的数据集，包括动物行为与基因表达数据。

参考资料：
[1] Schneider, S., Lee, J.H. & Mathis, M.W. Learnable latent embeddings for joint behavioural and neural analysis. Nature (2023). https://doi.org/10.1038/s41586-023-06031-6
[2] Predict what a mouse sees by decoding brain signals. Retrieved May 3, 2023 from https://www.eurekalert.org/news-releases/987862
[3] Movie clip reconstructed by an AI reading mice's brains as they watch. Retrieved May 3. 2023 from https://www.newscientist.com/article/2371943-movie-clip-reconstructed-by-an-ai-reading-mices-brains-as-they-watch/


本文来自药明康德内容微信团队，欢迎转发到朋友圈，谢绝转载到其他平台。如有开设白名单需求，请在“学术经纬”公众号主页回复“转载”获取转载须知。其他合作需求，请联系wuxi_media@wuxiapptec.com。


免责声明：药明康德内容团队专注介绍全球生物医药健康研究进展。本文仅作信息交流之目的，文中观点不代表药明康德立场，亦不代表药明康德支持或反对文中观点。本文也不是治疗方案推荐。如需获得治疗方案指导，请前往正规医院就诊。



更多推荐






点个“在看”再走吧~

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存