天天快资讯:只要你用ReLU,就是“浅度学习”:任意ReLU神经网络都有等效3层网络
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
(资料图片)
只要你用了ReLU,我们就是好朋就是“浅度学习”。
最近有研究证明,所有基于ReLU的深度神经网络都可以重写为功能相同的3层神经网络。
基于这个证明,伦敦国王学院的研究团队还提出一种为任意ReLU网络找到相应浅层网络的算法。
由此产生的浅层网络是透明的,可用于解释网络的行为。
只要通过算法,就能找到任意深度ReLU网络的对应浅层网络。
图片
对此网友惊呼:我要读这篇论文,立刻马上!
图片
任何深度ReLU网络都是浅层的ReLU是深度学习领域最常用的一种激活函数,由Nair & Hintonw在2010为限制玻尔兹曼机(restricted Boltzmann machines)提出的。
由于常常在实践中有着比其他常用激励函数(例如逻辑函数)更好的效果,而被深度神经网络广泛用于图像识别等计算机视觉人工智能领域。
论文指出,每个深度ReLU网络都可以转换为一个功能相同且具有“三个隐藏层”的浅层网络。并提供了一个找到对应浅层网络权重的算法,提高神经网络的全局可解释性。
简单来说就是,通过划分输入空间,使用线性函数对每个分区进行建模,来实现深层网络浅化。
图片
具体分为这三步。
图片
首先,需要构建一个将线性模型和半空间编码的第一层,通过使用一个矩阵来表示半空间条件,其中每个行向量表示一个半空间的线性方程。
然后,构建第二层,该层根据输入的所属区域决定哪些边界是活跃的。
最后,构建第三层,通过将输入与每个线性模型相乘并使用指示函数来选择正确的模型。
基于此,每一个深度ReLU网络都可以被转换为一个功能上相同的三层网络,其权重值在扩展实数中。
当然要完成浅化,还需要一些咒(suan)语(fa)。
根据论文,使用算法时只需找到H、c、α、β这些参数,并知道每个区域所需的半空间就可以,主要分三步。
首先,识别可行的模式集,对于每个可行模式,计算全局线性规划的参数A(l)和d(l)。
然后,确定半空间条件,将这些矩阵堆叠起来,确定每个激活模式的半空间条件。最终得到矩阵H和向量c。
最后,计算局部线性模型,根据模型的权重和激活模式,使用显式公式,计算局部线性模型α和β。
图片
简单理解,就是根据已训练好的网络,通过启发式搜索在可能的神经元激活空间中找到合适的权重值。
通过构建浅层白盒网络,能够快速计算出每个数据点的SHAP值,大大提高数据的可解释性。
实验表明,通过上面算法就可以找到给定深度ReLU网络对应的浅层网络的显式权重。
网友:实验很酷,但也有些问题论文很新颖的提出一个算法,可以实现“深转浅”,不过该方法仍有一些缺点。
比如构建浅层网络使用了无限权重,尽管这些权重可以在Python中实现,但不能使用梯度下降进行微调。
当然,“找茬儿”这块,怎能少得了热心肠的网友。
根据论文可以发现,如果使用团队提供的算法,实验过程中计算时间其实是会随着神经元数量增加呈指数增长。
所以就有网友提出疑惑:算法运行时间与神经元数量成指数关系,12个神经元需要近10分钟,那计算一个普通大小的DNN所需时间岂不是长了去了……
图片
网友指出:假设单层神经网络可以计算任何函数,那么对于任何神经网络来说,这不是都成立吗?
图片
对于这个研究,也有网友犀利表示:这就是个「普遍逼近定理」,没什么大惊小怪的。
不过无论网友怎么说,这篇论文仍然有一些出彩点。
比如,通过这个方式得到的浅层网络是透明的,可以用来生成模型行为的解释。
此外还提供了用于复现实验的代码,供其他研究人员使用来探索和实验。
论文地址已经贴在下面,感兴趣可以去看看~
论文传送门:https://arxiv.org/abs/2306.11827
标签:
为您推荐
广告
- 天天快资讯:只要你用ReLU,就是“浅度学习”:任意ReLU神经网络都有等效3层网络
- 【天天速看料】中国气象局:预计7月全国大部地区气温接近常年同期到偏高
- 今日热文:兰字五笔怎么打 兰字
- 热门:西交利物浦大学学子故事 | 当工程遇到生物医学:不止玩“花活”,更能整“好活”!
- 当前观察:明阳电路:光模块产品营收比重较小
- 交游融合 聚富生金丨通州探索长江生态资源保护与开发
- 成都一天复航两条直飞东南亚航线—中国新闻网·四川新闻 快讯
- 天天热推荐:宾川县雷电黄色预警发布
- 世界焦点!苏州无痛人流医院 卵巢炎的症状是什么样的
- 冒险岛2法师加点攻略(冒险岛2法师加点)
- 业绩预喜率超八成,85家公司发布半年报预告!两大行业龙头业绩下滑_每日热讯
- 德清新市打响荷花节文旅品牌
- 发挥政策激励作用 货币政策精准滴灌“三农”
- 全球视讯!先打两把Rank冷静一下!JKL发布退赛声明后立马开始韩服Rank
- 新三板重要公告汇总(2023.07.03)-焦点消息
- 贝恩资本确认不在二季报之前出售能链智电股票
- 当前快讯:mastercard卡号大全_mastercard是什么卡
- 海口物流部违禁存储被罚10万
- 每日热闻!空间免费克隆 免费克隆扣扣空间)
- 环球短讯!澜湄国家代表共商农产品和食品加工行业合作机遇
- 1白云机场上半年客流稳居国内机场首位,暑运预计接送旅客超1100万人次
- 2郭志龙生前是二野纵队的副班长-新动态
- 3聚大美上饶 展曲艺风采|环球百事通
- 4合理确定平台外包用工中的责任承担机制
- 5速递!工农兵炖菜加盟(河南工农兵餐饮管理有限公司招商加盟信息)
- 6定类尺度
- 7豪翔物流货单号查询_豪翔物流单号查询官网 当前热门
- 8双象股份: 关于董事离职的公告
- 9星巴克、永和大王等门店存在食品安全问题被通报-天天视点
- 10焦点!卓朗科技拟定增募资不超34.4亿元 股价跌2.12%
- 1中银香港将在香港启动数字人民币首期“跨境购物节”活动|环球时快讯
- 2每日精选:天语w68怎么样(天语W660)
- 3小米科技暑促季开启 至高特惠3000元 号称让利2.5亿 当前动态
- 4张掖市委统战部赴嘉峪关考察学习新的社会阶层人士统战工作
- 5海南周刊丨荐阅书单《寻梦与归来:敦煌宝藏离合史》
- 6“强链补链” 大基金二期加码 半导体链加快自立自强|世界播报
- 7世界即时看!一级建造师报名网站入口2023
- 8【东海期货7月3日产业链日报】能化篇:原料减产开启,但作用或有限
- 9动车组驶上青藏线——青藏铁路西格段动车组投入运营首日见闻-每日观点
- 10工商银行龙凤呈祥金条25克价格今天多少一克(2023年07月03日)-天天快播
广告
- 全球速看:滕哈格命令董事会前往西班牙,曼联有意引进楚阿梅尼
- 汇创达(300909)6月30日主力资金净买入345.04万元_最新快讯
- Kindle正式成为时代的眼泪?亚马逊到底错在哪了?
- 环球热资讯!家里有人要“升官发财”的三个征兆,恭喜!
- 大连万达商管50亿元中票将兑付 利率6.60%
- 天天观点:湛江市第二十中学本科上线率(湛江市第二十中学)
- 全球微资讯!“特种兵旅行”的夏天:日行三万步,高铁游全国
- 曼联欲4000万求购新哈兰德!暂缓奥纳纳引援,若买中锋签便宜门将 观点
- 国产3D打印核心部件:武汉锐科光纤激光器
- “新华书房”读书沙龙成功举行 全球观天下
- 世界热点评!古田县邮编 古田县邮编是352200
- 同馨家园属于哪个街道_同馨家园
- 中国女排3比2逆转美国队
- 二次报销需要什么条件才能申请_二次报销需要什么条件
- 今日热讯:英雄联盟之灾变时代人物_英雄联盟之灾变时代
- 【环球播资讯】思念之屋
- 钒怎么读_璠怎么读
- 美国“转运移民”闹剧:得州又把一车人发至洛杉矶
- 3年5438万!名记:开拓者预计会将努尔基奇放进利拉德交易中
- 今年上半年三峡枢纽航运通过量8415万吨 创历史新高|天天精选