摘要
基于记忆装置的神经网络1,2,3.有能力提高机器学习的吞吐量和能源效率4,5还有人工智能6特别是在边缘应用中7,8,9,10,11,12,13,14,15,16,17,18,19,20.,21.由于从零开始训练神经网络模型在硬件资源、时间和精力方面都是昂贵的,因此在分布在边缘的数十亿个记忆性神经网络上单独进行训练是不切实际的。一种实用的方法是下载从云训练中获得的突触权重,并将其直接编程到忆阻器中,用于边缘应用的商业化。忆阻器电导的一些后调可以在应用之后或应用过程中进行,以适应特定的情况。因此,在神经网络应用中,忆阻器需要高精度的可编程性,以保证在大量的忆阻网络中均匀和准确的性能22,23,24,25,26,27,28.这需要在每个记忆器件上有许多可区分的电导水平,不仅是实验室制造的器件,还包括工厂制造的器件。具有多种电导状态的模拟忆阻器也有利于其他应用,如神经网络训练,科学计算,甚至“凡人计算”。25,29,30..在这里,我们报告了在一个商业铸造厂的互补金属氧化物半导体(CMOS)电路上单片集成256 × 256忆阻器阵列的完全集成芯片中实现的2048个电导水平。我们已经确定了以前限制在忆阻器中可以实现的电导水平数量的基础物理,并开发了电气操作协议来避免这种限制。这些结果提供了对记忆开关微观图像的基本理解,以及实现高精度记忆电阻器的各种应用的方法。
这是订阅内容的预览,通过你所在的机构访问
访问选项
访问《自然》和其他54种《自然》杂志
获取Nature+,我们最超值的在线订阅
每月29.99美元
随时取消
订阅这本杂志
收到51个印刷问题和在线访问
199.00美元一年
每期仅需3.90美元
租或购买这篇文章
只要这篇文章,只要你需要它
39.95美元
价格可能受当地税收的影响,在结账时计算
数据可用性
支持本研究结果的数据可根据合理要求从通讯作者处获得。
代码的可用性
忆阻器高精度编程的算法包含在补充信息中。物理建模和模拟的代码可在GitHub (https://github.com/htang113/HfO2-memristor-denoise/tree/main)。
参考文献
蔡丽丽。忆阻器——丢失的电路元件。IEEE反式。电路理论18, 507-519(1971)。
Valov, I., Waser, R., Jameson, J. R. & Kozicki, M. N.电化学金属化存储器-基础,应用,展望。纳米技术22, 254003(2011)。
杨勇,黄锐。纳米离子器件的记忆开关研究。Nat。电子。1, 274-287(2018)。
文伟,吴超,王勇,陈勇,李慧。深度神经网络的学习结构稀疏性。在神经信息处理系统研究进展(Lee, D. D.等人),2082-2090 (Curan Associates, 2016)。
Wan, W.等。基于电阻式随机存取存储器的内存计算芯片。自然608, 504-512(2022)。
库马尔,王旭,斯特拉坎,杨勇,吕伟东,高复杂性神经形态计算的动态忆阻器。纳特·脱线牧师。7, 575-591(2022)。
雪,C.-X。et al。用于AI边缘设备的基于电阻性随机访问存储器的cmos集成内存计算宏。Nat。电子。4, 81-90(2021)。
兰扎等人。用于数据存储、计算、加密和射频通信的记忆技术。科学376, eabj9979(2022)。
姚,P.等。完全硬件实现的忆阻卷积神经网络。自然577, 641-646(2020)。
张伟等。神经驱动的计算芯片。Nat。电子。3., 371-382(2020)。
埃尔米尼,D. & Wong h - s。P.使用电阻开关器件的内存计算。Nat。电子。1, 333-343(2018)。
Zidan m.a., Strachan, J. P. & Lu . D.基于记忆系统的电子技术的未来。Nat。电子。1, 22-29(2018)。
神经启发计算与新兴的非易失性存储器。Proc。IEEE106, 260-285(2018)。
荣格等人。用于内存计算的磁阻存储设备的交叉阵列。自然601, 211-216(2022)。
杨晓华,张志刚,张志刚。神经形态纳米电子材料。Nanotechnol Nat。15, 517-528(2020)。
模拟存储器在人工智能硬件中的作用。Nat,马赫。智能。1, 10-11(2019)。
陈,S.等。用于人工神经网络的高密度记忆交叉阵列中二维材料的晶圆级集成。Nat。电子。3., 638-645(2020)。
富勒,E. J.等。用于可扩展神经形态计算的离子浮门存储器阵列的并行编程。科学364, 570-574(2019)。
崔,C.等。使用嵌入式人工智能可堆叠芯片的可重构异构集成。Nat。电子。5, 386-393(2022)。
Lim D.-H。et al。基于pcm的忆阻神经网络的自发稀疏学习。Commun Nat。12, 319(2021)。
徐,等。深度神经网络边缘推理的缩放。Nat。电子。1, 216-222(2018)。
孙,Y.等。Ti /氧化铝x/道x/Pt模拟突触记忆神经网络。IEEE电子器件杂志。39, 1298-1301(2018)。
Stathopoulos, S.等人。金属氧化物双层忆阻器的多比特存储器操作。科学。代表。7, 17532(2017)。
Kim H., Mahmoodi, m.r., Nili, H. & Strukov, d.b. 4k忆阻模拟级无源交叉电路。Commun Nat。12, 5198(2021)。
Zidan, m.a.等。基于忆阻器的偏微分方程求解器。Nat。电子。1, 411-420(2018)。
李,C.等。模拟信号和图像处理与大忆阻交叉棒。Nat。电子。1, 52-59(2018)。
Mackin, C.等。基于模拟记忆的深度神经网络的优化权重规划。Commun Nat。13, 3765(2022)。
崔,S.等。基于工程位错的可重复高性能神经形态计算的SiGe外延存储器。Nat。板牙。17, 335-340(2018)。
姚,P.等。使用电子突触进行人脸分类。Commun Nat。8, 15199(2017)。
Hinton, G. forward-forward算法:一些初步研究。预印在https://arxiv.org/abs/2212.13345(2022)。
闫志,胡晓生,史永春:基于选择性写验证的内存计算神经加速器。预印在https://arxiv.org/abs/2202.08395(2022)。
陈,B.等。基于忆阻器的移动机器人混合模拟-数字计算平台。科学。机器人。5, eabb6938(2020)。
崔顺生,杨永勇,陆伟。基于氧化物电阻存储器的随机电报噪声和电阻切换分析。纳米级6, 400-404(2014)。
叶尔米尼,D. Nardi, F. & Cagli . C.电阻开关存储器中随机电报信号噪声的电阻依赖性振幅。达成。理论物理。列托人。96, 053503(2010)。
普格利西,帕万,P,帕多瓦尼,A, Larcher, L. & Bersuker, G. HfOx RRAM在高电阻状态下的随机电报信号噪声特性。在2012年欧洲固态器件研究会议(esderc)中国科学院学报(自然科学版),2012)。
李,j。et al。从随机电报噪声中提取非晶TiO的陷阱位置和能量x抵抗随机存取存储器。达成。理论物理。列托人。98, 143502(2011)。
Puglisi, F. M., Padovani, A., Larcher, L. & Pavan, P.随机电报噪声:测量、数据分析和解释。在2017 IEEE第24届集成电路物理与故障分析国际研讨会(IPFA), 1-9 (ieee, 2017)。
Puglisi, F. M., Zagni, N., Larcher, L. & Pavan, P.电阻性随机存取存储器中的随机电报噪声:紧凑建模和先进的电路设计。IEEE反式。电子设备65, 2964-2972(2018)。
杨,Y.等。记忆系统中纳米级氧离子运动的探测。Commun Nat。8, 15173(2017)。
普格利西,f.m.。纳米级半导体器件中的噪声(编。Grassor, T.), 87-133(施普林格,2020)。
许峰,李志强,张志强。扫描探针显微技术在纳米电子学中的应用。Nat。电子。2, 221-229(2019)。
Celano, U.等。纳米电阻存储器中导电丝的三维观察。Nano。14, 2401-2406(2014)。
Du, H.等。基于氧化还原的电阻开关存储器中由原子尺度缺陷形成的纳米导电丝。化学。板牙。29, 3164-3173(2017)。
Puglisi, F. M., Larcher, L., Padovani, A. & Pavan, P. HfO中RTN的完整统计调查2基于RRAM的高阻状态。IEEE反式。电子设备62, 2606-2613(2015)。
Ambrogio, S.等人。HfO的统计波动x电阻开关存储器:第二部分-随机电报噪声。IEEE反式。电子设备61, 2920-2927(2014)。
贝克尔等人。随机电报噪声中陷阱耦合效应的电学模型。IEEE电子器件杂志。41, 1596-1599(2020)。
Brivio, S., Frascaroli, J., Covi, E. & Spiga, S.丝状记忆器件中受激离子电报噪声。科学。代表。9, 6310(2019)。
苗,F.等。纳米级传导通道的解剖揭示了高性能忆阻器的机理。放置板牙。23, 5633-5640(2011)。
周,Y.等。氧空位对HfO铁电相变的影响2基薄膜的第一性原理。第一版。板牙。科学。167, 143-150(2019)。
Kresse, G. & Joubert, D.从超软赝势到投影增强波方法。理论物理。启B59, 1758-1775(1999)。
Kresse, G. & Furthmüller, J.使用平面波基集从头算总能量计算的有效迭代方案。理论物理。启B54, 11169-11186(1996)。
裴杜,柏克,K. &恩泽霍夫,M.广义梯度近似简化。理论物理。启。77, 3865-3868(1996)。
蒙霍斯特,H. J. & Pack, J. D.布里渊区积分的特别点。理论物理。启B13, 5188-5192(1976)。
Lyons, J. L., Janotti, A. & Van de Walle, C. G. HfO中与氧相关的缺陷和氢杂质的作用2和ZrO2.Microelectron。Eng。88, 1452-1456(2011)。
莫纳汉,S, Hurley, P. K., Cherkaoui, K., Negara, M. A. & Schenk, A. HfO中电子有效质量和电子亲和度的测定2使用MOS和MOSFET结构。固态电子。53, 438-444(2009)。
赵霞和范德比尔特,D.氧化铪结构、振动和晶格介电特性的第一性原理研究。理论物理。启B65, 233106(2002)。
确认
J.J.Y, W.S.和Y.Z.得到了来自马萨诸塞大学阿默斯特分校的一份分包合同(GR1055585 53-4502-0003)的部分支持,赞助商是TetraMem。r.m.、q.x和j.j.y项目由空军科学研究办公室通过多学科大学研究计划提供部分支持。FA9550-19-1-0213,美国空军研究实验室(主要合同编号为FA8650-21-C-5405和FA8750-22-1-0501)和美国国家科学基金会。2023752.J.W.和H.W.感谢陆军研究办公室的支持。W911NF2120128)和美国国家科学基金(no. W911NF2120128);cmmi - 2240407)。H.T.和J.L.感谢国家科学基金会的支持。cmmi - 1922206)。感谢A. Tan对稿件的校对。
作者信息
作者及隶属关系
贡献
j.j.y和mr构想了这个概念。j.j.y和q.x监督了整个项目。J.J.Y, m.r., Q.X, h.t., J.W.和W.S.设计了实验和模拟。m.r., M.Z, R.M.和H.J.制造了这些装置。m.r., w.s., Y.Z, b.c., X.J.和z.w进行了电测。h.t., M.R.和J.L.设计并进行了模拟。j.w., m.r., h.l., h.y.c.和H.W.设计并实施了C-AFM研究。w.y., f.k., f.y., Z.W, m.w., m.h., Q.X, N.G.和J.J.Y.协助实验和数据分析。m.r., H.T.和j.j.y写的论文。所有作者都在各个阶段讨论了结果和影响,并对手稿进行了评论。
相应的作者
道德声明
相互竞争的利益
j.j.y和q.x是TetraMem的联合创始人和有偿顾问。
同行评审
同行评审信息
自然感谢Yiyu Shi、Ilia Valov和Yuchao Yang对本工作的同行评审所作的贡献。同行评审报告是可用的。
额外的信息
出版商的注意施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。
权利和权限
根据与作者或其他权利持有人签订的出版协议,自然或其许可方(例如,社会或其他合作伙伴)对本文拥有排他性权利;作者对这篇文章接受的手稿版本的自我存档仅受此类出版协议的条款和适用法律的约束。
关于本文
引用本文
饶敏,唐宏,吴俊。et al。集成在CMOS上的忆阻器中有数千个电导电平。自然615, 823-829(2023)。https://doi.org/10.1038/s41586-023-05759-5
收到了:
接受:
发表:
发行日期:
DOI:https://doi.org/10.1038/s41586-023-05759-5