“因此,我认为更深的网络没有取得更好的结果是一个优化问题,而不是一个模型设计问题,又或者是模型能力问题。模型本身是有更大的潜力的,只是优化的方式需要改变。”
“而这就是深度残差的意义所在。”
“对于我们需要学习的任意一个映射h(x),我期待网络去学习一个f(x)+x=h(x)中的f(x),而不是直接学习h(x)本身。”
“这个操作可以简单的通过增加一個加法实现,而距离h(x)差值为x本身的f(x),我们称之为关于恒等的残差映射。”
“如果这个恒等是理想的,那我们很容易将权重设置为很小的值。残差的形式很好地解决了一直以来都比较麻烦的梯度问题,可以看到,它使得上百层的网络可以持续地取得更好的性能。”
“在本次竞赛的识别分类上取得的成绩,只是残差思想最基础的体现,实际上,它是更好的特征提取器,可以更好地提取图像的特征以应用到各种图像任务中去。”
“不仅是本次竞赛的检测赛道,前两天白度的技术发布会上,想必大家也看到了明显的性能提升。”
说到这里,孟繁岐顿了一下,因为台下已经控制不住地开始议论纷纷。
虽然白度宣布了实时检测办法主要由孟繁岐这个特约研究员贡献,但对于具体的算法细节守口如瓶,什么也没有提。
只是承诺要等到6-12个月后会公布。
虽然众人大概都已经猜到,但听孟繁岐亲口说出,众人至少确定了一件事,那就是白度现在领先世界一大截的实时检测算法,是采用了dreamnet的。
“当然了,视觉类的任务还有非常多,除了我已经做过的生成,检测,分割,识别之外,还有姿态估计,深度估计,超分辨率等等等等。种类繁多,不一而足。”
“我的dreamnet论文已经公布,代码也已经开源,还有很多的方向需要大家一起去探索。”
孟繁岐吃了体量最大的几个赛道的蛋糕,自然也得留点汤给其他人。
在某个比较具体的方向,有几个十分得到认可的代表作就够了。
孟繁岐技术多得发不完,没必要把细分领域都一个个去自己做。
说白了就是稍微改改去让机器运行的事情,换一下数据,稍微调整下个别结构和参数。
把代码开源出来,让越来越多的工作基于自己的技术和算法去进行,是性价比更高的做法。
孟繁岐讲到这里,其实总共才用到十分钟。
按照原本的计划,他是可以讲到大约25-30分钟的。
只可惜腰包鼓了,硬气了,心态也变了。孟繁岐现在已经没有会见李彦弘之前的那种需要学界认可和认同的心理需求。
回想起来,在李彦弘的预支款打到账上之前,孟繁
请收藏:https://m.ljsd9.cc
(温馨提示:请关闭畅读或阅读模式,否则内容无法正常显示)