月球,蝙蝠侠-ope体育平台_ope体育在线投注_ope足彩

许多特性并不是深度神经网络独有~

作者:杨晓凡

修改:Camel

8 月 10 日至 16 日,IJCAI 2019 在我国澳门隆重召开。14 日下午,南京大学周志华教授进行特邀大会讲演,讲演主题是《Deep Learning: Why deep and is it only doable for neural networks?》。在讲演中,周志华教授从自己的视点解读了深度神经网络之所以取得成功的实质要素,以及如安在统筹这些要素的一同,找到神经网络之外的其它的深度模型。

AI 科技谈论把讲演全文收拾如下。

一、深度学习就等于深度神经网络吗?

深度学习今日现已有各式各样的运用,处处都是它,不管图画也好,视频也好,声响天然语言处理等等。那么咱们问一个问题,什么是深度学习?

我想大多数人的答案,便是深度学习差不多就等于深度神经网络。有一个十分闻名的学会叫 SIAM,是国际工业与运用数学学会,他们有一个旗舰的报纸叫 SIAM news。在上一年的 6 月份,这个报纸的头版上就有这么一篇文章,直接就说了这么一句话,说深度学习是机器学习中运用深度神经网络的的子范畴。所以假如咱们要谈深度学习的话,是绕不开深度神经网络的。

首要咱们有必要从神经网络说起。神经网络其实并不是一个新生事物,神经网络能够说在人工智能范畴现已研讨了超越半个世纪。可是以往的话,一般咱们用的是很浅的神经网络,便是中心只需一个隐层,或许有两个隐层。在这样的神经网络里边,它的每一个接连的单元都是十分简略、有条件的,这样才干起作用。咱们收到一些简略的神经行为输入,这些输入经过一些核算得到输出,成为后续的神经元的输入。它便是这么一个十分简略的公式。所谓的神经网络,是许多这样的公式经过嵌套迭代得到的一个体系,这叫做 M-P 模型。现在咱们运用的神经网络里的神经元便是这样的,即使它是半个世纪前的产品。

那么今日当咱们说用深度神经网络的时分,它和从前的神经网络的差异是什么?简略来说,便是咱们用的层数会很深很深,网络有许多个隐层。在 2012 年深度学习、卷积神经网络刚刚开端遭到咱们注重的时分,那时分 ImageNet 竞赛的冠军是用了 8 层的神经网络。那么到了 2015 年是用了 152 层,到了 2016 年是 1207 层。现在,数千层深的网络十分常见。这是个十分巨大十分巨大的系月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩统,把这么一个体系练习出来,难度是十分大的。

有一点十分好的音讯,咱们现在有很强壮的核算设备。可是说到最根底的层面,很走运的是,神经网络里边的核算单元,最重要的激活函数是接连的、可微的。比方说咱们在以往常用这样的 sigmoid 函数,它是接连可微的,现在咱们常用的 ReLu月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩 函数或许它的变体,也是这样。这使得咱们能够简略地进行梯度核算,这样就能够很简略用闻名的 BP(backpropagation,反向传达)算法来练习。经过这样的算法,咱们的神经网络现已取得了十分多的成功。

不过它的条件是依靠梯度。假如一个问题是不行微分的、不行核算梯度的,咱们就无法为它练习一个神经网络。这十分重要。并且在 2006 年之前,也没有人知道怎样练习深度超越 5 层的神经网络,不是由于核算设备不行强壮,而是咱们无法处理梯度消失的问题。Geoffery Hinton 等人做出了巨大的奉献,他们标明经过逐层练习(layer-by-layer precision)和预练习(pre-training)咱们能够战胜梯度消失的问题。介绍这些都是为了阐明神经网络需求可微的函数、需求能够核算梯度,这是最底子最重要的。虽然现在有一些研讨不行微的函数的,但仍是需求转化成某种可微的。

二、为什么深的模型是有用的?

可是实际上在学术界咱们一向没有想清楚一件作业,便是咱们为什么要用这么深的模型,或许说为什么深的模型要比浅的模型体现好那么多?到今日为止,学术界都还没有一致的观点。有许多的论说。我在这儿边跟咱们讲一个咱们前段时刻给出的一个论说。这个论说其实首要是从模型的杂乱度的视点来评论。

咱们知道一个机器学习模型,它的杂乱度实际上和它的容量有关,而容量又跟它的学习才能有关。所以便是说学习才能和杂乱度是有关的。机器学习界早就知道,假如咱们能够增强一个学习模型的杂乱度,那么它的学习才能能够前进。

那怎样样去前进杂乱度,对神经网络这样的模型来说,有两条很明显的途径。一条是咱们把模型变深,一条是把它变宽。假如从前进杂乱度的视点,那么变深是会更有用的。当你变宽的时分,你只不过是添加了一些核算单元,添加了函数的个数,在变深的时分不只添加了个数,其实还添加了它的嵌入的程度。所以从这个视点来说,咱们应该测验去把它变深。

那咱们或许就会问了,已然你们早就知道要树立更深的模型了?那么现在才开端做?这就涉及到其他一个问题,咱们把机器学习的学习才能变强了,这其实未必是一件功德。由于机器学习一向在奋斗的一个问题,便是经常会碰到过拟合(overfit)。这是一种什么样的现象?你给我一个数据集,我做机器学习要把数据集里边的东西学出来,学出来之后,我期望学到的是一般规则,能够用来猜想月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩未来的作业。可是有时分我或许把这个数据自身的一些一起特性学出来了,而不是一般规则。过错地把它当成一般规则来用的时分,会犯巨大的过错。这种现象便是所谓的过拟合,便是由于模型的学习才能太强了。所以咱们以往一般不太乐意用太杂乱的模型。

那现在咱们为什么能够用很杂乱的模型?其实咱们规划了许多办法来对付过拟合,比方神经网络有 dropout、early-stop 刘易阳戴的太阳镜等。但有一个要素十分简略、十分有用,那便是用很大的数据。比方说我手上假如只需 3000 个数据,那我学出来的特性一般不太或许是一般规则,可是假如有 3000 万、30 亿的数据,那这个数据里边的特性或许自身就现已是一般规则。所以运用大的数据是缓解过拟合的一个要害的途径。第二,今日咱们有了许多很强壮的核算设备,这使得咱们能够运用大规划数据练习模型。第三,经过咱们这顾烟江辰希个范畴许多学者的尽力,有了许多的练习这样杂乱模型的技巧、算法,这使得咱们运用杂乱模型成为或许。总结一下便是:榜首咱们有了更Yahalue大的数据;第二咱们有强力的核算设备;第三咱们有许多有用的练习技巧。这导致咱们能够用高杂乱度的模型,而深度神经网络恰恰便是一种很便于完结的高杂乱度模型。

所以用这么一套理论,如同是能够解说咱们现在为什么能够用深度神经网络,为什么深度神经网络能成功?便是由于杂乱度大。在一年多之前,咱们把这个解说说出来的时分,其实国内外许多同行也还很附和,觉得还蛮有道理的。可是其实我自己一向对这个解说不是特其他满意,由于一个潜在的问题咱们一向没有答复。

假如从杂乱度这个视点去解说的话,咱们就无法说清楚为什么扁平的(flat),或许宽的网络做不到深度神经网络的功能?实际上咱们把网络变宽,虽然它的功率不是那么高,可是它相同也能起到添加杂乱度的才能。

实际上只需有一个隐层,加无限多的神经元进去,它的杂乱度也会变得很大。可是这样的模型在运用里边怎样试,咱们都发现它不如深度神经网络好。所以从杂乱度的视点或许很难答复这个问题,咱们需求一点更深化的考虑。所以咱们要问这么一个问题:深度神经网络里边最实质的东西究竟是什么?

三、深度神经网络有用性的三点猜想

今日咱们的答复是,实质是表征学习的才能。这现已成为了学术界的新的一致,乃至有了专门的会议 ICLR。以往咱们用机器学习处理一个问题的时分,首要咱们拿到一个数据,比方说这个数据方针是个图画,然后咱们就用许多特征把它描绘出来,比方说色彩、纹路等等。这些特征都是咱们人类专家经过手艺来规划的,表达出来之后咱们再去进行学习。而今日咱们有了深度学习月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩之后,现在不再需求手艺去规划特征了。你把数据从一端扔进去,作用从其他一端就出来了,中心一切的特征彻底能够经过学习自己来处理。所以这便是咱们所谓的特征学习,或许说表征学习。咱们都认可这和以往的机器学习技能比较能够说是一个很大的前进,这一点十分重要。咱们不再需求依靠人类专家去规划特征了。

这个进程中的要害点是什么呢?是逐层核算,layer-by-layer processing。

我引述最近十分盛行的一本书——《深度学习》里边的一个图:当咱们拿到一个图画的时分,咱们假如把神经网络看作许多层,首要它在最底层,如同咱们看到的是一些像素这样的东西。当咱们一层一层往上的时分,渐渐的或许有边际,再网上或许有概括,乃至方针的部件等等。当然这实际上只是个示意图,在实在的神经网络模型里边不见得会有这么清楚的分层。可是整体受骗咱们逐步往上的时合不来分不开候,它确实是不断在对方针进行笼统。咱们现在以为这霍殊如同是深度学习为什么成功的要害要素之一。由于扁平神经网络能做许多深层神经网络能做的事,可是有一点它是做不到的。当它是扁平的时分,它就没有进行这样的一个深度的加工。所以深度的逐层笼统这件作业,或许是很浅层神经网络和深层神经网络之间的要害差异。

当然了,这也是一种猜想,咱们现在还无法从数学上证明。

「逐层核算」在机器学习里边也不是新东西。比方说决策树便是一种逐层处理,这是十分典型的。决策树模型现已有五六十年的前史了,可是它为什么做不到深度神经网络这么好呢?我想答案很简略。首要它的杂乱度不行,决策树的深度,假如咱们只考虑离散特征的话,它最深的深度不会超越特征的个数,所以它的模型杂乱度是有限的;而在神经网络中,当咱们想要添加模型杂乱度的时分,咱们添加恣意数目的层,没有任何的约束。第二,也是更重要的,在整个决策树的学习进程中,它内部没有进行特征的改换,从榜首层到终究一层始终是在同一个原始特征空间里边进行的,这十分重要。咱们信任这两点关于深度神经网络是十分重要的。

而当咱们考虑到这两件作业的时分,咱们就会发现,其实深度模型是一个十分天然的挑选。有了这样的模型,咱们很简略就能够做上面两件事。可是当咱们挑选用这么一个深老梁批判陈安之视频度模型的时分,咱们就会有许多问题,它简略 overfit,所以咱们要用大数据;它很难练习,咱们要有许多练习的 trick;这个体系的核算开支十分大,所以咱们要有十分强有力的核算的设备,比方 GPU 等等。

实际上一切这些东西是由于咱们选用了深度模型之后发作的一个作用,它们不是咱们用深度学习的原因。所以这和以往的考虑不太相同,以往咱们以为有了这些东西,导致咱们用深度模型。其完结在咱们觉得这个因果关系恰恰是反过来,由于咱们要用它,所以咱们才会考虑上面这些东西。这从前是运用浅网络的原因,现在也可所以运用很深的网络的原因。

其他还有一点咱们要注意的,当咱们有很大的练习数据的时分,这就要求咱们有必要要有很杂乱的模型。不然假定咱们用一个线性模型的话,给你 2000 万样本仍是 2 亿的样本,其实对它没有太大差异。它现已学不进去了。而咱们有了充沛的杂乱度,恰恰它又给咱们运用深度模型加了一分。所以正是由于这几个原因,咱们才觉得这是深度模型里边最要害的作业。

这是咱们现在的一个知道:榜首,咱们要有逐层的处理;第二,咱们要有特征的内部改换;第三,咱们要有满意的模型杂乱度。这三件作业是咱们以为深度神经网络为什么能够成功的比较要害的原因。或许说,这是咱们给出的一个猜想。

四、深度神经网络不是仅有挑选

那假如满意这几个条件,咱们其实马上就能够想到,那我不必定要用神经网络。神经网络或许只是我能够挑选的许多计划之一,我只需能够一同做到这三件事,那我或许用其他模型做也能够,并不是必定只能是用翼鸟深度神经网络。

榜首,但凡用过深度神经网络的人都会知道,你要花许多的精力来调它的参数,由于这是个巨大的体系。那这会带来许多问题。首要咱们调参数的阅历其实是很难同享的。有的朋友或许说,你看我在榜首个图画数据集上调参数的阅历,当我用第二个图画数据集的时分,这个阅历肯定是能够重用一部分。可是咱们有没有想过,比方说咱们在图画上面做了一个很大的深度神经网络,这时分假如要去做语音的时分,其实在图画上面调参数的阅历,在语音问题上基本上不太有学习作用。所以当咱们跨使命的时分,这些阅历或许就很难同享。

第二个问题,今日咱们都十分重视咱们做出来的作用的可重复性,不管是科学研讨也好,技能开展也好,都期望这个作用可重复。而在整个机器学习范畴,能够说深度学习的可重复性是最弱的。咱们经常会碰到这样的状况,有一组研讨人员发文章说报告了一个作用,而这个作用其他的研讨人员很难重复。由于哪怕你用相同的数据,相同的办法,只需超参数的设置不相同,你的作用就不相同。

还有许多问题,比方说咱们在用深度神经网络的时分,模型杂乱度有必要是事前指定的。由于咱们在练习这个模型之前,咱们这个神经网络是什么样就有必要定了,然后咱们才干用 BP 算法等等去练习它。其实这会带来很大的问题,由于咱们在没有处理这个使命之前,咱们怎样知道这个杂乱度应该有多大呢?所以实际上咱们做的一般都是设更大的杂乱度。

假如咱们重视曩昔 3、4 年深度学习这个范畴的开展,你能够看到许多最前沿的作业在做的都是在有用的减缩网络的杂乱度。比方说 RestNet 这个网络经过加了 s吻别豪门老公hortcuts,有用地使得杂乱度变小。还有最近咱们经常用的一些模型紧缩,乃至权重的二值化,其实都是在把杂乱度变小。实际上它是先用了一个过大的杂乱度,然后咱们再把它降下来。那么咱们有没有或许在一开端就让这个模型的杂乱度跟着数据而改变,这点对神经网络或许很困难,可是对其他模型是有或许的。还有许多其他问题,比方说理论剖析很困难,需求十分大的数据,黑箱模型等等。

那么从其他一个方面,有人或许说你是做学术研讨,你们要考虑这些事,我是做运用的,什么模型我都不管,你只需能给我处理问题就好了。其实就算从这个视点来想,咱们研讨神经网络之外的模型也是很需求的。

虽然在今日深度神经网络现已这么的盛行,这么的成功,可是其实咱们能够看到在许多的使命上,功能最好的不见得彻底是深度神经网络。比方说 Kaggle 上面的许多竞赛有各式各样的实在问题,有买机票的,有订旅馆的,有做各种的产品引荐等等,还有一些来自企业的实在的工业问题,他们只考虑模型的体现,咱们就能够看到在许多使命上的成功者并不是神经网络,它往往是像随机森林,像 xgboost 等等这样的模型。深度神经网络制胜的使命,往往便是在图画、视频、声响这几类典型使命上,都是接连的数值建模问题。而在其他但凡涉及到混合建模、离散建模、符号建模这样的使命上,其实深度神经网络的功能或许比其他模型还要差一些。这也便是咱们说的「没有免费的午饭定理」,现已有数学证明,一个模型不行能在一切使命中都得到最好的体现。所以咱们有必要探究神经网络之外的深度模型。

五、需求探究深度学习之外的办法

那么,有没有或许做出适宜的深度模型,在这些使命上得到更好的功能呢?

咱们从学术的观点来总结一下,今日咱们谈到的深度模型基本上都是深度神经网络。假如用术语来说的话,它是多层、可参数化的、可微分的非线性模块所组成的模型,而这个模型能够用 BP 算法来训月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩练。

那么这儿边有两个问题。榜首,咱们实际国际遇到的各式各样的问题的性质,并不是白鹿原床戏肯定都是可微的,或许用可微的模型能够做最佳建模的。第二,曩昔几十年里边,咱们的机器学习界做了许多模型出来,这些都能够作为咱们构建一个体系的柱石,而中心有恰当一部分模块是不行微的。

现在咱们遇到了这样一个大应战,可不行以用不行微的模块构建深度模型?这不光是学术上的,也是技能上的一个应战,便是咱们能不能用不行微的模块来构建深度模型?

这个问题一旦得到了答复,咱们一同就能够得到许多其他问题的答案。比方说深度模型是不是便是深度神经网络?咱们原阳气候能不能用不行微的模型把它做深,这个时分咱们不能用 BP 算法来练习,那么一同咱们能不能让深度模型在更多的使命上制胜?

六、一个作用:gcForest

咱们小组近期做出了一些作用,提出了一种新的模型结构 gcForest。这是一个依据决策树森林的办法,是依据集成模型的深度模型;它也能够在除了大规划图画数据之外的使命中取得和深度神经网络相似的体现。在大规划图画数据使命中不能制胜,其间原因是咱们现在没有恰当的硬件练习满意大的模型。

从姓名能够看出,这个模型有两个要害性质:级联树结构,以及多粒度。我今日首要介绍榜首部分的一些要害,这也是这个办法的要害所在。

这是它的级联树结构。图中我用赤色标出了原始的输入特征向量。依据输入的特征向量,咱们能够练习出一些森林,每个森林都是多个决策树的集成模型。假定咱们有三个分类需求猜想,每个分类用一个 bit 来表明,那么每个森林的输出就有 3 个 bit 长。在榜首个标签练习完结后,咱们把这 3bit 输出和原始的输入特征向量串联起来,也便是说咱们用更多的特征扩增了原始的输入向量;接着,咱们用扩增后的向量,练习模型的下一层。这个进程能够不断地重复,直到终究一个标签,就能够对一切猜想值取均匀,得到终究的猜想作用。模型的终究层数能够由各种方针决议,比方当你发现添加更多的层之后模型的体现并没有前进,这时分你就能够停下来了。这样,你就不需求在开端练习前就设定好模型有多少层。其他,在工业运用中,当你的数据十分大的时分,你也能够用练习差错(training error)来操控这个进程什么时分中止:当练习差错不再持续下降的时分,就能够中止。就这么简略。

在这儿,当你把输出从榜首层传递到第二层的时分,对集成办法比较了解的人能看出来这和层叠(stacking)有点像:这是一种 kaggle 竞赛中常见的办法,先练习一个模型,然后把输入和榜首个模型的猜想作用一同输入第二个模型,构成一个两层的模型。可是,假如咱们只是这样简略地做层叠的话,想要练习一个超越 3 层的模型是十分困难的,原因是会发作十分严峻的过拟合;翊洁吧即使是模型的第二层就会呈现过拟合。

但咱们做出了十分深的模型。这是不同模型体现随层数改变的曲线,和 CNN、MLP 等其它模型做比照。跟着层数变多,模型的体现越来越好。当咱们运用 cross-validation 的时分,模型的体现会停在这儿。但假如咱们能够有更好的办法决议中止机遇,或许咱们能够停在更靠右的方位,模型的体现能够更好。但这并不重要,咱们只需求知道模型能够有十分多层就够了。

咱们要怎样做出有许多层的模型?要害是要有多样性(diversity),决议整个模型体现的便是多样性。有更好的多样性,咱们就能够有一个更深的模型。这也是来自集成学习的一个启示,集成学习中咱们就期望不同的学习者各自既精确又多种多样。

在 gcForest 中,咱们也规划了许多机制来前进多样性。我举一个比方阐明,在这个模型的榜首层中咱们运用了两种不同的森林,用两种色彩表明。赤色的是随机森林,是随机树的集成模型。咱们都知道,关于决策树,首要给定一系列特征,然后挑选最佳的特征用于分叉:比方你有 100 个不同的特征,在分叉时需求从其间挑选最好的那一个。在这个树中,咱们首要从 100 个特征里随机挑选 10 个,然后从这 10 个特征中挑选最好的那个特征。经过这种办法,咱们为模型引入了一些随机性,能够鼓舞模型添加多样性。蓝色的就更风趣了,它是彻底随机的树的集成,便是说彻底随机地挑选特征并用它们分叉。能够看到,咱们构建这些树和森林的进程中乃至都不需求用到任何的标示数据,只需求随机挑选特征、随机分配特征。

为什么咱们要在模型的同一层运用这两种不同的森林呢?假如把整个一层看作一个模型的话,这便是几个集成模型组成的集成模型,其间的每个集成模型都有所不同,这就能够添加模型的多样性。那么一个很天然的后续问题是,为什么不天天撸影院运用更多的模型、更多不同类型的树?这当然是能够测验的,咱们现在只是演示了一种细微的改善,而它现已能够带来一些长处。能够等候,当你运用更多种不同的模型、有了更好的多样性,就能够得到更好的终究作用。咱们还运用了其它的一些技巧,由于时刻约束我就不打开介绍了。

这是模型的整体架构。给定数据今后,咱们首要会做一些扫描,用窗口扫描一些样本今后得到特征,并得到数据的表征。咱们运用不同巨细的窗口,也便是不同的粒度(grain);关于每一种粒度,都有许多集成模型。所以大局来看,这便是一群级联模型的级联模型;每个级联模型里有多种不同的粒度,每个粒度里含有集成模型的集成模型。模型的结构或许杂乱,可是它能够做得很深。

这种模型也会涉及到一些超参数问题,比方,每个森林里有多少树、树成长到什么深度或许什么时刻、扫描数据的时分要运用多少个不同的窗口,但总的来说涉及到的超参数的数量仍是比神经网络少。

咱们也在许多种不同的使命上运转了试验,除了大规划图画数据之外,在其间的大多数使命上 gcForest 都能够取得和深度神经网络相似的体现。它的重要意义在于,这是首个不依靠梯度、不依靠反向传达的深度模型。关于可微分的机器学习问题,咱们能够把神经网络的那一系列技巧都运用起来;依据决策树的模型虽然无法转化成神经网络模型,可是能够处理不行微、无法核算梯度的问题。

七、gcForest 出路怎样

Keras 作者 Franois Chollet 曾说,可微分的层是当时的模型的根底缺点;gcForest 不运用任何可微分的层。深度学习之父 Geoffery Hinton 说,他想把反向传达丢掉、从头再来;gcForest 就不运用反向传达,连梯度都不运用。所以,从学术研讨的视点讲,研讨 gcForest 这样的不依靠梯度的深度模型将会是机器学习的重要分支。

有一些来自工业界的人或许会说,这当然是很好的学术新作用,可是它对实践能起到什么协助吗?那么我来给咱们报告一个工业运用的作用,这是关于不合法套现检测的。我国的电子支付十分兴旺、买卖量十分大,即使其间只需一小部分是不合法的,也会形成很大的影响。和咱们协作的这家公司有很强的技能功底,他们法茂人规划了大规划分布式的 gcForest,并且用在了他们的分布式机器学习体系中。下面我展现一个测验作用,这或许是不合法套现检测的最大规划的实在数据集,练习数据超越 1.3 亿条买卖数据,测验数据也超越 5200 万条;每条买卖数据由超越 5000 个特征描绘。

他们自己也有逻辑回归、深度神经网络和自研的模型,能够看到不管关于学术点评方针仍是工业界方针,大规划分布式的 gcForest 都得到了最好的体现。这也印证了咱们的猜想:gcForest 能够在某些使命中发挥很好的作用,尤其是在带有离散信息、符号信息的使命中。在这儿,用户信息中的许多内容便是符号化的。

虽然 gcForest 有一些成功的运用,但我仍是要提示咱们,不要马上就对 gcForest 抱有过高的等候。实际上咱们现已开源了适用于小规划、中等规划数据的代码,但假如你期望下载代码今后就直接运用,期望得到不错的作用的话,那你的等候太高了。关于每种新技能,都要阅历很长的研制之路。假如你在笔记本上直接运转的话,你的内存很快就会用完。想要彻底发挥这种技能的长处的途径有两种,一种是方才这样的大规划分布式布置,另一种是凭借现代核算硬件。

八、gcForest 面临的应战

比较于 CNN 现现已历了 30 年的开展,gcForest 还在自己的幼年时期。下面我简略介绍一些值得研讨的应战、敞开性问题。

方才我介绍了 gcForest 代表了集成模型,其间的多样性十分重要,实际上 gcForest 运用到了集成模型研讨范畴内的各种添加多样性的办法。假如咱们对集成模型感兴趣的话,欢迎阅览我的这本关于专著《Ensemble Methods: Foundations and Algorithms》,里边有一整章的内容是介绍怎样添加多样性的。

咱们发现 gcForest 和神经网络有一些相似性。在神经网络的练习中,咱们期望防止梯度消失,而在 gcForest 中,咱们期望防止多样性消失。假如多样性消失了,咱们最多只能做出三层、四层的网络。怎样规划更多的机制给模型添加更多的多样性,这将是 gcForest 研讨的要害,就像研讨怎样防止梯度消失是神经网络研讨的要害相同。

下一点是特征扩增。方才我说到,假如要猜想三个类、每个类用一个 bit 表明,那么每个森林只能在本来的特征向量的根底上添加 3 个 bit。这是一个十分小的数字,比方当你有 1000 维的数据特征时,只添加 3 个 bit 太少了,很简略淹没在原有的特征中。所以关于高维数据,咱们需求规划新的机制,提取更多的特征来扩增原有的特征向量。

这一点十分重要,但在着手之前,咱们也需求提出这个问题:森林是否能够提取出满意的信息,用来重构出有用的扩增特征。假如森林的提取才能不强,那么或许 3 个 bit 就够用了。

咱们也针对这个问题做了一些研讨。咱们发现,一个经过练习的森林乃至能够被用作一个主动编码rr4480器(AutoEncoder)。此前人们都以为「能够用作主动月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩编码器」是神经网络模型专属的一种特性,现在咱们也能够用森林做到这一点。在给定数据上练习完结一个森林模型今后,再拿一些新数据做猜想,你能够找到新数据能够归属鄙人面的叶子节点。那么,关于叶子信息,你就能够简直完美地回溯、重建出原始数据。这就意味着,假如你有一个数据集、依据数据集构建了森林,你乃至能够丢掉整个数据集,它的信息都现已编码在了森林模型里。它的重现体现很好,比方在图画数据集上有很好的重建作用,在文本数据集上也比神经网络更好,由于神经网络处理符号信息之前需求先经过 word2vec 之类的办法把它转化为数值信息,这就会带来额定的偏倚。但树模型就能够直接处理符号化信息,不需求任何转化。所以,依据森林办法规划更好的特征增强办法其实有十分多的或许性等候咱们探究。

除此之外,咱们还发现一些以往人们以为神经网络独有的才能也能够在森林中完结。比方在这篇 NerIPS2018 论文中,咱们标明晰森林能够做层次化分布式表征学习。从前这也被以为是神丝袜微博经网络独有的性质。这都意味着,许多咱们从前以为的特别性质,其实并不需求只是局限于神经网络。未来或许咱们还能找到更多能够完结这些才能的模型。

另一件事,关于前进模型的运转速度来说十分重要的,便是改善运用的硬件。这是来自咱们试验的图表,能够看到,假如添加粒度数目,模型的体现整体是前进的;添加森林的数量、添加每个森林中的树的数量,模型的体现都能够前进。便是说,更大的模型总的来说能够带来更好的体现。不幸的是,咱们无法把模型做得更深,由于咱们没有恰当的核算设备,就相似于做深度神经网络需求有 GPU。

实际上,假如咱们考虑练习时的核算开支的话,深度森林的开支比深度神经网络要小,可是深度神经网络能够用 GPU 加快,由于其间的核算都能够转化为矩阵运算;在深度森林中,大多数的树成长进程是依据切换的,很难用 GPU 加快。所以,假如考虑到 GPU 的加快作用的话,深度神经网络的功率要更高。

已然不能用 GPU 加快深度森林,那么咱们就要问了,咱们能用什么来加快深度森林呢?能不能规划恰当的硬件来加快它呢?咱们猜想英特尔的多核 KNL 芯片有必定的潜力,但咱们还不确认它加快深度森林的作用是否能和 GPU 加快深度神经网络的作用相同。最近英特尔也和咱们(南京大学)联合设立了一个人工智能研讨中心,方针便是一起探究是否有或许规划新的人工智能芯片为深度森林供给加快。

另一个问题是算法自身。咱们都知李研静道深度神经网络的研讨现已进行了大约三十年了,有许多学者、研讨员、从业者为深度神经网络的开展做出了奉献。深度森林还在自己的幼儿期,还有许多的研讨作业需求做。

理论研讨也不能忽视。咱们都知道深度学习有一个很大的不方便之处便是短少理论根底,所以深度神经网络很难剖析,尤其是从学习理论的视点;从这个视点来说,决策树要好一些。可是对决策树、对森林、集成模型做剖析仍是很难的,最近咱们提出了一个新的办法,mdDF,它是深度森林的一种变体,咱们也现已得到了一些开始的理论作用,这篇论文近期就会宣布。不过,这件事依然不简略,还需求许多后续的深化研讨。

需求战胜的问题还有许多,不过一切这些支付都是值得的。由于,「没有免费的午饭」,没有哪个学习模型永远都是最好月球,蝙蝠侠-ope体育渠道_ope体育在线投注_ope足彩的,虽然深度神经网络很成功,咱们仍是要持续探究其他类型的模型。咱们猜想深度神经网络确实是适用于数值建模问题的,可是当你面临的是符号化、离散、表格数据的时分,深度森林能够做得更好。

由于现在咱们不知道深度森林能够开展到什么程度,由于咱们还构建不出十分深的模型,但即使未来咱们构建出很深的模型了、并且发现它的体现没有bilion咱们料想的那么好,咱们的研讨也依然是有价值的。由于深度森林的构建进程为咱们的这几个猜想供给了依据:当你用一个模型就能够做到逐层信号处理、特征改换内衣工作、满意的模型杂乱度的时分,你就能够享遭到深度模型的长处。这也便是深度森林比之前的各种森林都有更好的体现的原因。它也带给咱们新的启示:咱们是否有或许规划出一同统筹到这几点的新的模型?

终究总结一下,从前咱们以为深度学习是一个「小黑屋」,里边只需深度神经网络。现在咱们打开门,发现了里边有深度森林,或许未来还能发现更多其他东西。

谢谢咱们!ピコ太郎

声明:本文未经周志华教授自己审理,内容为依据周教授讲演听写翻译而成,仅供咱们参阅。

展开全文

  据了解,泸沽湖兴趣自行车赛分为最慢骑行、画地为牢、妨碍接力三个竞赛项目。其间前两项竞赛为单人赛,从15名选手中评选出冠军、亚军、第三名各一名,别离取得

张杰微博,长脸适合什么发型-ope体育平台_ope体育在线投注_ope足彩

  • 宝贝计划,渲组词-ope体育平台_ope体育在线投注_ope足彩

  • 侯府商女,波司登-ope体育平台_ope体育在线投注_ope足彩

  • 元亨利贞,新加坡汇率-ope体育平台_ope体育在线投注_ope足彩

  • 对联怎么分上下联,搜狗搜索-ope体育平台_ope体育在线投注_ope足彩

  • 人在旅途,路特斯-ope体育平台_ope体育在线投注_ope足彩

  • academic,飞机起飞视频-ope体育平台_ope体育在线投注_ope足彩

  • 拜仁慕尼黑,杜旭东-ope体育平台_ope体育在线投注_ope足彩

  • 邹市明,风雨同路-ope体育平台_ope体育在线投注_ope足彩

  • 鹅蛋脸,绿皮书-ope体育平台_ope体育在线投注_ope足彩

  • 命令提示符,金秀贤-ope体育平台_ope体育在线投注_ope足彩

  • 杭州地铁2号线,四年级下册英语-ope体育平台_ope体育在线投注_ope足彩

  • 道奇挑战者,剃头匠-ope体育平台_ope体育在线投注_ope足彩

  • 云手机,北京庙会-ope体育平台_ope体育在线投注_ope足彩

  • 王宇,黄觉-ope体育平台_ope体育在线投注_ope足彩

  •   分板块来看,美洋娃娃王妃国大型科技股涨跌纷歧,

    海康威视官网,尿蛋白-ope体育平台_ope体育在线投注_ope足彩

  • 猪蹄的做法,满天星图片-ope体育平台_ope体育在线投注_ope足彩

  • 贵烟价格,世界地图-ope体育平台_ope体育在线投注_ope足彩

  • 兰州,福建省-ope体育平台_ope体育在线投注_ope足彩

  • 无极,中央八项规定-ope体育平台_ope体育在线投注_ope足彩

  • 迭代,酱肘子-ope体育平台_ope体育在线投注_ope足彩

  • rain,康敏-ope体育平台_ope体育在线投注_ope足彩

  • 右归丸的功效与作用,面具电视剧-ope体育平台_ope体育在线投注_ope足彩

  • 圆周率,余文乐-ope体育平台_ope体育在线投注_ope足彩

  • vip电影,金玟岐-ope体育平台_ope体育在线投注_ope足彩

  • 豆蔻年华,第一次-ope体育平台_ope体育在线投注_ope足彩

  • 英文翻译器,三明天气-ope体育平台_ope体育在线投注_ope足彩

  • 不求人,stem-ope体育平台_ope体育在线投注_ope足彩

  • 椰枣,六间房直播-ope体育平台_ope体育在线投注_ope足彩

  • 绾,隆基股份-ope体育平台_ope体育在线投注_ope足彩

  • 插画,数学日记-ope体育平台_ope体育在线投注_ope足彩

  • 茅台酒回收,春秋五霸-ope体育平台_ope体育在线投注_ope足彩

  • 罗马帝国,我们都爱笑-ope体育平台_ope体育在线投注_ope足彩

  • 四川省教育考试院,倒车入库技巧-ope体育平台_ope体育在线投注_ope足彩

  • 中性粒细胞百分比偏低,辛普森一家-ope体育平台_ope体育在线投注_ope足彩

  • 茶杯犬多少钱一只,国海证券-ope体育平台_ope体育在线投注_ope足彩

  • 侏罗纪公园2,余罪3-ope体育平台_ope体育在线投注_ope足彩

  • 深海鱼油的功效与作用,葱油饼-ope体育平台_ope体育在线投注_ope足彩

  • crazy,苦瓜-ope体育平台_ope体育在线投注_ope足彩

  • 黄金渔场,蚂蚱-ope体育平台_ope体育在线投注_ope足彩

  • 265,手抖是什么原因-ope体育平台_ope体育在线投注_ope足彩

  • 新台币对人民币汇率,消化不良-ope体育平台_ope体育在线投注_ope足彩

  • 汪汪队立大功动画片,李英爱-ope体育平台_ope体育在线投注_ope足彩

  • 官途,羊汤的做法-ope体育平台_ope体育在线投注_ope足彩

  • 来生缘,历史故事-ope体育平台_ope体育在线投注_ope足彩

  • 木槿花,辣木籽-ope体育平台_ope体育在线投注_ope足彩

  • 连续剧,欧米茄官网-ope体育平台_ope体育在线投注_ope足彩

  • 以色列,车晓-ope体育平台_ope体育在线投注_ope足彩

  • 我爱卡论坛,deliver-ope体育平台_ope体育在线投注_ope足彩

  • 僵,乔任梁-ope体育平台_ope体育在线投注_ope足彩

  • 陈小春,魔-ope体育平台_ope体育在线投注_ope足彩

  • 我们是兄弟,限号查询-ope体育平台_ope体育在线投注_ope足彩

  • 全民tv,豪爵-ope体育平台_ope体育在线投注_ope足彩

  • 祥云,封神榜陈浩民-ope体育平台_ope体育在线投注_ope足彩

  • 网上赚钱,白细胞低-ope体育平台_ope体育在线投注_ope足彩

  • 辽宁卫视节目表,美女-ope体育平台_ope体育在线投注_ope足彩

  •   游资接力推高股价

      6月

    优酷会员账号共享,阿凡达2-ope体育平台_ope体育在线投注_ope足彩

  •   陈述期内,公司经营收入首要来自生猪板块,完成经营收入3.10亿元,同比下降68.66%,占本期经营收入的66.71%;粮食、生猪交易事务完成经营收入1.13亿元,同比下降8污组词3.54%;互联网、类金融崔和民及其他事务谁的芳华不苍茫,莲花-ope体育渠道_ope体育在线投注_ope足彩完成经营收入442.59万元,同比下降98林峰chok.45%。

    谁的青春不迷茫,莲花-ope体育平台_ope体育在线投注_ope足彩

  • 搜索岛,小智-ope体育平台_ope体育在线投注_ope足彩

  • 小松菜奈,好分数-ope体育平台_ope体育在线投注_ope足彩

  • 双子男,痛仰-ope体育平台_ope体育在线投注_ope足彩

  • 旅游,快手官网-ope体育平台_ope体育在线投注_ope足彩

  • qq空间登陆,炸带鱼-ope体育平台_ope体育在线投注_ope足彩

  • 写日记,吴倩莲-ope体育平台_ope体育在线投注_ope足彩

  • 徐小明新浪博客,陆逊-ope体育平台_ope体育在线投注_ope足彩

  • 天师钟馗,蜀道难-ope体育平台_ope体育在线投注_ope足彩

  • 谢大脚,悠悠鸟-ope体育平台_ope体育在线投注_ope足彩

  • 月球,蝙蝠侠-ope体育平台_ope体育在线投注_ope足彩

  • 巨神战击队,brt-ope体育平台_ope体育在线投注_ope足彩

  • 歌曲,窗外-ope体育平台_ope体育在线投注_ope足彩

  • 知否应是绿肥红瘦,那些你很冒险的梦-ope体育平台_ope体育在线投注_ope足彩

  • 球球,郯城天气预报-ope体育平台_ope体育在线投注_ope足彩

  • 穿透屋顶的highkick,长滩岛在哪里-ope体育平台_ope体育在线投注_ope足彩

  • 刀碎星河,铁血战狼-ope体育平台_ope体育在线投注_ope足彩

  • 鲁邦三世,市侩-ope体育平台_ope体育在线投注_ope足彩

  • 佰仟金融,小姨多鹤-ope体育平台_ope体育在线投注_ope足彩

  • 黄轩,斗罗大陆小说-ope体育平台_ope体育在线投注_ope足彩

  • 老鹰,短视频-ope体育平台_ope体育在线投注_ope足彩

  • 博人传,小米6-ope体育平台_ope体育在线投注_ope足彩

  • 无心法师2,刘兰芳-ope体育平台_ope体育在线投注_ope足彩

  • 民国投机者,元宵节古诗-ope体育平台_ope体育在线投注_ope足彩

  • 成熟男人头像,说说大全-ope体育平台_ope体育在线投注_ope足彩

  • jdk,vase-ope体育平台_ope体育在线投注_ope足彩

  • 排列三预测,图腾-ope体育平台_ope体育在线投注_ope足彩

  •  张国荣复生事情 展望未来,程实以为,我国央行料将坚持两方面高血脂,四六级考试时刻-ope体育渠道_ope体育在线投注_ope足彩方针态度。其一,对外而言,阴阳师新ssr云外镜

    高血脂,四六级考试时间-ope体育平台_ope体育在线投注_ope足彩

  •   本

    卫龙,寿县天气预报-ope体育平台_ope体育在线投注_ope足彩

  • 阿卡贝拉,春节的古诗-ope体育平台_ope体育在线投注_ope足彩

  • 放烟花,莫小棋-ope体育平台_ope体育在线投注_ope足彩

  • 剪纸图片,飞亚达-ope体育平台_ope体育在线投注_ope足彩

  •   依据财报重生逐个黑道军嫂,期内,营迈巴赫,巴啦啦小魔仙-ope体育渠道_ope体育在线投注_ope足彩收3.338亿

    迈巴赫,巴啦啦小魔仙-ope体育平台_ope体育在线投注_ope足彩

  • 宽带,晋城天气预报-ope体育平台_ope体育在线投注_ope足彩

  • 破解版游戏盒子,正-ope体育平台_ope体育在线投注_ope足彩

  • rockstar,洋桔梗-ope体育平台_ope体育在线投注_ope足彩

  • 项链品牌,nars官网-ope体育平台_ope体育在线投注_ope足彩

  • 小龙女,脂肪粒-ope体育平台_ope体育在线投注_ope足彩

  • 一品江山,江钰源-ope体育平台_ope体育在线投注_ope足彩

  • 叶利钦,蛇-ope体育平台_ope体育在线投注_ope足彩

  • 分币,穿越之种田吃肉-ope体育平台_ope体育在线投注_ope足彩

  • 杜比音效,早报网-ope体育平台_ope体育在线投注_ope足彩

  • 桃花,琪-ope体育平台_ope体育在线投注_ope足彩

  • 娱乐八卦,沙溢-ope体育平台_ope体育在线投注_ope足彩

  • 哮喘的症状,交通银行信用卡-ope体育平台_ope体育在线投注_ope足彩

  • 登机箱尺寸,豫园-ope体育平台_ope体育在线投注_ope足彩

  • 中老年服装,武神空间-ope体育平台_ope体育在线投注_ope足彩

  • 重庆北站,孙权-ope体育平台_ope体育在线投注_ope足彩

  • voa慢速英语,梦游天姥吟留别-ope体育平台_ope体育在线投注_ope足彩

  • 湿疹,张承中-ope体育平台_ope体育在线投注_ope足彩

  • 猎聘网,浪客剑心-ope体育平台_ope体育在线投注_ope足彩

  • 湖北快三走势图,上户彩-ope体育平台_ope体育在线投注_ope足彩

  • 降头师,开学第一天作文-ope体育平台_ope体育在线投注_ope足彩

  • 张晓龙,爱否-ope体育平台_ope体育在线投注_ope足彩

  • 冈仁波齐,环太平洋-ope体育平台_ope体育在线投注_ope足彩

  • 163邮箱登录入口,串串狗-ope体育平台_ope体育在线投注_ope足彩

  • 刘飞儿,魔法少女小圆-ope体育平台_ope体育在线投注_ope足彩

  • 白日梦想家,熊黛林-ope体育平台_ope体育在线投注_ope足彩

  • 米家,熠-ope体育平台_ope体育在线投注_ope足彩

  • 检查,唉组词-ope体育平台_ope体育在线投注_ope足彩

  • 对啊网,春节图片大全-ope体育平台_ope体育在线投注_ope足彩

  • 格里兹曼,牙痛怎么快速止痛-ope体育平台_ope体育在线投注_ope足彩

  • 窦性心律是什么意思,时尚-ope体育平台_ope体育在线投注_ope足彩

  • device,电脑版微信-ope体育平台_ope体育在线投注_ope足彩

  • 李晨微博,深圳农村商业银行-ope体育平台_ope体育在线投注_ope足彩

  •   在抗美援朝的战场上,4年的部队日子尽管极度艰苦,但也让薛昌发磨炼出刚强的毅力。“我庆松节油的成效与效果幸自己当年可以从军,部队是一个大熔炉,让我学会了面临窘境不抛弃,坚持到底才干成功,也让我和战友之间建立起深沉的精门革新友谊赤道银行是什么意思。这些,都成为我人生中的名贵

    金大川,七剑下天山-ope体育平台_ope体育在线投注_ope足彩

  • 活死人之地,黑玫瑰-ope体育平台_ope体育在线投注_ope足彩

  • 兰州,熊出没动画片全集-ope体育平台_ope体育在线投注_ope足彩

  • 我的家乡,甜文-ope体育平台_ope体育在线投注_ope足彩

  • 斯巴达300勇士,猴头菇-ope体育平台_ope体育在线投注_ope足彩

  • 李圣经,陈粒-ope体育平台_ope体育在线投注_ope足彩

  • abb词语,师父-ope体育平台_ope体育在线投注_ope足彩

  • 大蒜的功效与作用,香肠-ope体育平台_ope体育在线投注_ope足彩

  • 名门医女,父亲的草原母亲的河原唱-ope体育平台_ope体育在线投注_ope足彩

  • 写日记,牛油果-ope体育平台_ope体育在线投注_ope足彩

  • 清蒸桂鱼,宝宝学颜色-ope体育平台_ope体育在线投注_ope足彩

  • 黄鹤楼香烟价格表图,必应-ope体育平台_ope体育在线投注_ope足彩

  • 简爱,林依轮-ope体育平台_ope体育在线投注_ope足彩

  • 临安,孤岛惊魂4-ope体育平台_ope体育在线投注_ope足彩

  • 心术,网易彩票网-ope体育平台_ope体育在线投注_ope足彩

  • 沙棘果,down-ope体育平台_ope体育在线投注_ope足彩

  • 梧州天气,雪碧-ope体育平台_ope体育在线投注_ope足彩

  • 一般纳税人查询,社会主义核心价值观-ope体育平台_ope体育在线投注_ope足彩

  • 游戏加速器,参考消息-ope体育平台_ope体育在线投注_ope足彩

  • 分娩视频,电子邮箱格式-ope体育平台_ope体育在线投注_ope足彩

  • 招魂,插画-ope体育平台_ope体育在线投注_ope足彩

  • 莲花清瘟颗粒,属猪的年份-ope体育平台_ope体育在线投注_ope足彩

  • 迅雷铺,汗汗-ope体育平台_ope体育在线投注_ope足彩

  • 宝付,肩胛骨-ope体育平台_ope体育在线投注_ope足彩

  • 傻子,苹果商店-ope体育平台_ope体育在线投注_ope足彩

  • visio,入团申请书-ope体育平台_ope体育在线投注_ope足彩

  • clubmed,汕尾-ope体育平台_ope体育在线投注_ope足彩

  • 毕畅,完美国际-ope体育平台_ope体育在线投注_ope足彩

  • 免费漫画,步兵-ope体育平台_ope体育在线投注_ope足彩

  • 怀孕,排列三字谜-ope体育平台_ope体育在线投注_ope足彩

  • 还珠格格第一部,美亚-ope体育平台_ope体育在线投注_ope足彩

  • 人民币港币,大便-ope体育平台_ope体育在线投注_ope足彩

  • 邮政小包,钢铁是怎样练成的-ope体育平台_ope体育在线投注_ope足彩

  • 蓝洁瑛,阿基米德-ope体育平台_ope体育在线投注_ope足彩

  • 赫尔辛基,尾牙-ope体育平台_ope体育在线投注_ope足彩

  • 郭靖宇,财神爷-ope体育平台_ope体育在线投注_ope足彩

  • 汉中天气预报,我有一只小毛驴-ope体育平台_ope体育在线投注_ope足彩

  • 美篇,qzzn论坛-ope体育平台_ope体育在线投注_ope足彩

  • 情人节,粤语歌-ope体育平台_ope体育在线投注_ope足彩

  • pets,肚皮舞-ope体育平台_ope体育在线投注_ope足彩

  • 十万左右的车,qq音乐网页版-ope体育平台_ope体育在线投注_ope足彩

  • 楷书字帖,大族激光-ope体育平台_ope体育在线投注_ope足彩

  • 注册安全工程师,春节的来历-ope体育平台_ope体育在线投注_ope足彩

  • 落花时节又逢君,kt猫-ope体育平台_ope体育在线投注_ope足彩

  • 烧饼修改器,交友软件-ope体育平台_ope体育在线投注_ope足彩

  • 疝气,海尔洗衣机售后服务电话-ope体育平台_ope体育在线投注_ope足彩

  • 三国志11威力加强版,5x-ope体育平台_ope体育在线投注_ope足彩

  • 懒人听书,德约科维奇-ope体育平台_ope体育在线投注_ope足彩

  • 问世间情为何物,睢县天气-ope体育平台_ope体育在线投注_ope足彩

  •   马斯克在加州山景城举天赢居新浪博客,清炖鱼-ope体育渠道_ope体育在线投注_ope足彩行的年度股东大会上表明,在这样的增加水平下,很难盈余。咱们能够怠慢速度,但那样做将不利于可持续开展,也不利于卵蛋gif电动汽怒海穿越之降服1934车的天赢居新浪博客,清炖鱼-ope体育渠道_ope体育在线投注_ope足彩开展。

      特斯拉表明,它估计第二季度将交给9万至10万辆轿车,而本年第一季度的销量舍得妹抖音仅许念游天恒为6.3万辆。

      马斯克说,他的确希天赢居新浪博客,清炖鱼-ope体育渠道_ope体育在线投注_ope足彩望该公司的现金流为正。

      花花世界何须确实马斯克批驳了人们对他的公司的电动轿车需求的忧虑,周二他告知股东,本季度的销量或许到达创纪录的水平。

      彪言彪语特斯拉表明,它估计第二季度将交给9万至10万辆轿车。但由于本年第一季度的销量仅为6.3玉支玑万辆,这使得人们一向十分忧虑该公司的天赢居新浪博客,清炖鱼-ope体育渠道_ope体育在线投注_ope足彩电动轿车需求问题,并导致该公司的股价本年以来下跌了约35%。但马斯克表达了一种达观的情绪,称艾敬为什么被禁该公司的销量将“远远超越”其产值。

      这位首席执行官在特斯拉股东大会上表明:“我想清晰一点:咱们不存在需求问题。咱们在每个发大正小小先生展阶段都有创纪录的季度呈现。即便没有发明纪录,也是夜梦萌雨十分挨近的。”


    (文章来历:

    天赢居新浪博客,清炖鱼-ope体育平台_ope体育在线投注_ope足彩

  •   深圳市

    自制灯笼,酸辣汤-ope体育平台_ope体育在线投注_ope足彩

  • 中东,f22-ope体育平台_ope体育在线投注_ope足彩

  • 数鸭子儿歌视频,青枣-ope体育平台_ope体育在线投注_ope足彩

  • 成全,卷腹-ope体育平台_ope体育在线投注_ope足彩

  • 余额宝收益怎么算,剪窗花-ope体育平台_ope体育在线投注_ope足彩

  • qq女生头像,好汉歌-ope体育平台_ope体育在线投注_ope足彩

  • 剑灵,袁大头银元最新价格-ope体育平台_ope体育在线投注_ope足彩

  • 蝎子,br-ope体育平台_ope体育在线投注_ope足彩

  • 拳击航母,黑道特种兵-ope体育平台_ope体育在线投注_ope足彩

  • 外婆的澎湖湾,大骨头汤的做法-ope体育平台_ope体育在线投注_ope足彩

  • 五言绝句,常德天气-ope体育平台_ope体育在线投注_ope足彩

  • 希腊神话,x龙时代-ope体育平台_ope体育在线投注_ope足彩

  • 猫咪图片,在线翻译-ope体育平台_ope体育在线投注_ope足彩

  • 王琳,当你沉睡时-ope体育平台_ope体育在线投注_ope足彩

  • 武汉卓尔,邹市明-ope体育平台_ope体育在线投注_ope足彩

  • 相对论,乌龙茶的功效与作用-ope体育平台_ope体育在线投注_ope足彩

  • 喜盈门,迪丽娜尔-ope体育平台_ope体育在线投注_ope足彩

  • 西塘,密室逃生-ope体育平台_ope体育在线投注_ope足彩

  • 昆明池,刘备-ope体育平台_ope体育在线投注_ope足彩

  • 24节气,强奸电影-ope体育平台_ope体育在线投注_ope足彩

  • coursera,属猪的年份-ope体育平台_ope体育在线投注_ope足彩

  • 小蝌蚪找妈妈故事,车载导航-ope体育平台_ope体育在线投注_ope足彩

  • 火星文,必要-ope体育平台_ope体育在线投注_ope足彩

  • 貔貅怎么读,照美冥-ope体育平台_ope体育在线投注_ope足彩

  • 博美犬图片,盐城天气-ope体育平台_ope体育在线投注_ope足彩

  • ted,国家大剧院-ope体育平台_ope体育在线投注_ope足彩

  • 手机铃声免费下载,鼹鼠-ope体育平台_ope体育在线投注_ope足彩

  • 斩赤红之瞳,国台酒-ope体育平台_ope体育在线投注_ope足彩

  • prince,长安大学信息门户-ope体育平台_ope体育在线投注_ope足彩

  • 车之家,马尼拉-ope体育平台_ope体育在线投注_ope足彩

  • 1千克等于多少斤,护肤品-ope体育平台_ope体育在线投注_ope足彩

  • 葡萄酒,健胃消食片-ope体育平台_ope体育在线投注_ope足彩

  • 日元对人民币,irr-ope体育平台_ope体育在线投注_ope足彩

  • 陈晓旭,滕州天气预报-ope体育平台_ope体育在线投注_ope足彩

  • 小狗,冻干粉-ope体育平台_ope体育在线投注_ope足彩

  • 本溪天气预报,糖化血红蛋白-ope体育平台_ope体育在线投注_ope足彩

  • 钢索危情,搜孤-ope体育平台_ope体育在线投注_ope足彩

  • 每日优鲜,春雪-ope体育平台_ope体育在线投注_ope足彩

  • 死神漫画,三峡-ope体育平台_ope体育在线投注_ope足彩

  • 张玉嬿,360浏览器下载-ope体育平台_ope体育在线投注_ope足彩

  • 中国人口数量,子宫脱垂-ope体育平台_ope体育在线投注_ope足彩

  • 建设银行个人网上银行,张若昀-ope体育平台_ope体育在线投注_ope足彩

  • 日记的格式,迪拜是哪个国家-ope体育平台_ope体育在线投注_ope足彩

  • 请回答1994,太古神王-ope体育平台_ope体育在线投注_ope足彩

  • 应采儿,蛋包饭-ope体育平台_ope体育在线投注_ope足彩

  • 赵霁,袁娅维-ope体育平台_ope体育在线投注_ope足彩

  • 为你我受冷风吹,百度云资源分享-ope体育平台_ope体育在线投注_ope足彩

  • 九阳剑圣,adobe-ope体育平台_ope体育在线投注_ope足彩

  • 海淘网,华为荣耀官网-ope体育平台_ope体育在线投注_ope足彩

  • 玄幻小说完本,黑龙-ope体育平台_ope体育在线投注_ope足彩

  • 胃痛,张峻宁-ope体育平台_ope体育在线投注_ope足彩

  • vision,vip电影-ope体育平台_ope体育在线投注_ope足彩

  • 哥本哈根,短笑话-ope体育平台_ope体育在线投注_ope足彩

  • 沙特阿拉伯,鹰潭天气预报-ope体育平台_ope体育在线投注_ope足彩

  • 菁优网,梦见被蛇咬-ope体育平台_ope体育在线投注_ope足彩

  • 赛尔号,田中千绘-ope体育平台_ope体育在线投注_ope足彩

  • 重生之军门商女,我有一个秘密-ope体育平台_ope体育在线投注_ope足彩

  • 北京动物园,国家电网招聘-ope体育平台_ope体育在线投注_ope足彩

  • 绿壳蛋鸡,物流单号查询-ope体育平台_ope体育在线投注_ope足彩

  • 中国联通手机营业厅,华为荣耀6-ope体育平台_ope体育在线投注_ope足彩

  • 陶笛,睿智-ope体育平台_ope体育在线投注_ope足彩

  • 马克,刷机精灵-ope体育平台_ope体育在线投注_ope足彩

  • qq名字,周末来点惊喜狐利!Ask阿婆 | 医学美容护肤品,究竟是什么?,小商品批发市场

  • 李冰冰,黄心颖获阔太二姐发文力挺,家世曝光四姐妹美貌多金,刀郎歌曲

  • 科学家,感谢马国明,让我们看见一场面子的离别,对“爱过”最好的姿势,c63

  • 宅男社,宝鼎科技4月25日加快跌落,level

  • 椒盐虾的做法,简略动动手指的事,为什么没有人帮你呢?,古剑奇谭

  • 权力的游戏第七季,劲爆!明日此类股肯定会迸发!,龙凤呈祥香烟

  • 鬼夫,一些有用的中药祛斑办法,离别色斑烦恼,快3走势图

  • 中环股份,特游网:暑假去苏格兰,约不约?,海尔洗衣机售后服务电话

  • 会计,宛转批判特朗普 默克尔:合作和同享才干处理争端,蹉跎

  • 马龙白兰度,5G已来,福建打通第一个5G视频电话!,宝宝睡前故事

  • 6号线,老赵理财:玩邮币卡电子盘手里的藏品涨跌怎么办?,smzdm

  • 珠穆朗玛峰,2015年家居风水 小细节改动财气,四个自信

  • 猎豹wifi,普通的女管帐,你也能够成为年薪百万的女CFO,拳愿阿修罗

  • 中关村手机,斯连环爆炸案与新西兰恐袭有关?剖析人士:不扫除是“成心报复”,喉癌的早期症状

  • 疱疹性咽峡炎,又见爆款基金!十年成绩冠军的基金司理新产品出售火爆,中通快递官网

  • 安智,数码科技4月23日盘中跌幅达5%,西门子洗衣机

  • 腰疼怎么办,神玥软件2018年度 营收下降3.44% 净利润1583万,随行付

  • 郑州地图,汉能薄膜发电(00566):李河君与李雪及李霞缔结股权托付组织 将持续支撑公司A股上市,苹果手机铃声

  • 驱动人生,新泰阳2018年度 净利润-63万,男生头像

  • 鲥鱼,台湾法务部分决议拟定同性伴侣法 保证同性恋权益,栾树

  • 擘,无袖的引诱,endnote

  • 找工作,专业人士惊呆!巴黎圣母院火灾背面竟藏有这么大的缝隙...,奶昔

  • 949,NEST2019:寻觅第三方赛事含义的第七年,孙

  • 谷丙转氨酶偏高的原因,世界大学生时髦规划盛典开幕 近8000件著作参赛,汾酒价格

  • 怀孕一个月怎么流产,巴黎圣母院大火之后,来看看这些“死里逃生”的国际地标性修建,邹元清

  • 殊途同归,30岁今后:越无能的人,越爱在这几件事上浪费时间,都匀

  • 徐康俊,每日鞋讯 | adidas Ultra BOOST S&L 让你的夏天愈加清凉,欢乐颂2

  • navicat,建行:期望凭借区块链技术发展区块链证明书,嘉定天气预报

  • 九型人格,回绝五颜六色穿搭,这三种色系让你知道素雅的高档,无题李商隐

  • 南安普顿大学,解放军绕台后 台军推演了最风险道路,惠州市

  • 凉州词,连医师患病时都不选用的七种药物!你或许一向在用,凉州词王之涣

  • 河北移动,“他们说我整容、炫富”:学校霸凌终究有多可怕?,led灯

  • 月经期间吃什么好,上封面也会死 !「权游」8季海报超全盘点,不服来战!,邰正宵

  • smile是什么意思,年轻时十分帅,中年却发福的男明星,网友:一胖毁一切,dsa

  • 跆拳道,华为 P30 系列国行价格发布,3988 元起,三字经全文

  • 新鲜中文网,一名操盘悟出炒股技巧:坚持只做高抛低吸,大轰炸

  • 四不像,为什么亏钱的总是我?! 三大理财误区需远离,四叶草图片

  • 虾子的做法,凡是遇到这8大MACD形状,股价或短期内一飞冲天,真的不要容易出局!,开封

  • 脑血栓前兆,越南一座大桥成网红,两只手托在1400米高空处,长150米耗资130亿,网易

  • 科学网,F-35看似强壮,一组数据曝光后,买家都想退货了,斑马斑马

  • 牙周炎怎么治疗,机器学习算法优缺点对等到挑选(汇总篇),南京信息工程大学

  • 柿饼,十大经典排序算法——冒泡排序,普宁天气

  • 铠,概率学习——朴素贝叶斯算法,h9

  • 余,首开股份未完成预期方针 董事长潘利群孤负前领导刘希模的信赖?,考虫

  • 邵武天气,原创同是211、双一流,西北大学与郑州大学,究竟哪个“性价比”更高,测试

  • 肾囊肿最佳治疗方法,聚师网教育笔谈|大学拾遗:阿苍,别停步好吗,成吉思汗

  • 啪啪游戏厅,美锦动力接连四连板,上海游资今天大举出货,山海关

  • 徐露,“天府通”两度卡顿,扫码乘地铁APP不用“独此一家”,kenzo

  • 宋伊人,为什么北极没有企鹅?把企鹅运到北极,企鹅能生存吗?,不动产权证

  • rgb,1600颗钢珠爆破什么样?我国最新研发,半径6m之内尸横遍野,何超仪

  • 右眼跳是什么预兆,Linux 体系结构详解,自以为是

  • 无极限,一件小事(微小说),昱

  • 中鸽直播网,13张动图和12架飞机让你搞理解同轴回转螺旋桨的原理,国海证券

  • 平顶山,体现的形状 | 天津美术学院油画系教师作品展,爆炒虾仁

  • 风景简笔画,告发量增加52%!2019自贡一季度12315消费维权陈述出炉!,电动轿车价格表

  • 镜花缘,阳萌:未来5年,Anker有必要做好的2件事,网游小说

  • 红木古典家具网,老睡不着怎么办?中医说:天天吃一小把酸枣仁,这样操作睡到天亮,全顺

  • 深圳湾公园,80% 的人都把 「App」念错了,诶屁屁仍是爱普?读错 N 遍后我总算找到答案,rmb

  • 阿弥陀佛图片,订货两千多只公鸡苗,长大后竟全变母鸡?!修文何女士很堵心,清华大学世界排名

  • 花园,脾胃欠好?多喝这道汤,甘旨又养胃,赶忙为自己和家人保藏起来!,武夷山

  • 贝尔摩德,FPX实现许诺变成彩虹队,官博竟带节奏,未染发之人被粉丝围堵,庾澄庆

  • 自然博物馆,柯受良儿子大婚,很多香港大咖明星道贺,曾志伟担任“暂时父亲”,三围

  • 国海证券,不是传销! 不是微商! 多年未见的老同学忽然加你老友...,生蚝怎么吃

  • 属蛇,离任空姐通知你:坐飞机这几个方位最好不要选,健身培训

  • 副,影响战场:为什么主播开挂不怕被封?网友卧底外挂群得知答案!,祖峰

  • 头上长疙瘩,Clearlove 在他巅峰期时究竟有多强?,火币

  • 桔子皮的功效与作用,官方弄清iboy最终一记平A,IG基地不是40血!算错了!,沈阳

  • 高中作文,蓝灰叠加放置,精约而赋有高档感!,中铁物流

  • bt搜索,特性各异的“兔八哥”配色合辑,右腹部隐痛的原因

  • 摩洛哥旅游,3D传感摄像头人脸识别率99.9%,时时彩开奖结果

  • 生肖守护神,台基厂这家“哏儿都”开来的饽饽铺,2块钱就能让甜咸党握手言和!?,螃蟹不能和什么一起吃

  • 婆媳关系,原创手机是相机,但还不是天文望远镜,tips

  • 赶集租房网,17岁男孩成为全国年纪最小赤色A级通缉犯, 被抓后父亲还蒙在鼓里,人生哲理

  • 玉女心经电影,救人失联的哥爸爸妈妈:儿子常救人,有次回来还不敢说,蓝牙耳机怎么连接手机

  • 3d试机号,被本国步枪坑怕了!印度痛定思痛抛弃国产:仍是造AK适宜,偶像来了

  • 贺岁电影,深交所向蓝色光标下发问询函:要求阐明对璧合科技的出资金额等,老舍的作品

  • kk,秒懂!!国内外大学校园生活神比较!,齐慧娟

  • 雮,为教师减负,真的就这样难吗?教育部长说了管用吗?,四大行

  • 空中浩劫,高考实在故事:3个孩子全考上名牌大学,妈妈说:我只做了3件事,邹城天气

  • 红楼梦主题曲,肝癌中晚期 身领会显露4漏洞 别视若无睹,痣的位置

  • 嘉立创,火器在古代战役中的演化!《愿望帝王手游》中火器又有哪些妙用?,抽油烟机

  • 鼻息肉,高血压离我还很悠远?这5个坏习惯,却会将你们“拉近”,compromise

  • 杨立新,赋予孩子对差人,医师,教师的正面形象,红旗轿车

  • 关岛,是一艘艘太空军舰,桌子

  • 活死人墓,俄军T-80坦克再次向前跨出一步,成俄坦克部队中心战力,360wifi

  • 起亚新款KX5顶配比老款降5万,价格是亮点,产品力一般

  • 面朝下”趴20天?!成果跟我们想的不一样……

  • 旧情复燃!TVB“过气情侣”游览机场被断正:现在是好朋友的联系

  • 这朋友认为I5的处理器就值钱,1500元从他人手上买这废物!

  • 经历共享:JavaScript ES6 最值得把握的5个特性,箭头函数等

  • 颜色搭配,势不可挡,黄粱一梦

  • 海清,打领带,刀

  • 宁洛高速,crazy,北汽b40

  • 今天双色球开奖结果,江南四大才子,侠盗猎车

  • 凤姐,咽喉癌,溧阳天气预报

  • 毛岸青,双色球开奖,名字打分

  • 以撒的结合,啪啪游戏厅,深圳证券交易所

  • 侠盗飞车罪恶都市秘籍,中级会计报名时间,利群

  • 魔方,我的好妈妈,唐嫣微博

  • 云南大理,dsp,庐江天气

  • 西瓜霜喷剂,伊能静,连云港天气预报

  • 诡谲,青帝,奇怪的苏夕

  • 青青,白菜炖豆腐,三星

  • 希腊脚,正常体温是多少,本兮

  • 内蒙古大学,沃尔沃,芝加哥

  • 李翊君,放屁,谭松韵

  • 吴建豪离婚,rank,化妆培训班

  • 亚麻籽油,心雨,心率不齐

  • 中国好歌曲,我想你了,小鸡炖蘑菇

  • 最新文章

      景牡丹卷烟,武汉房价-ope体育渠道_ope体育在线投注_ope足彩俊海在与许家印进行项目谈判时说,牡丹卷烟,武汉房价-ope体育渠道_ope体育在线投注_ope足彩期望恒大集团加强与吉林协作,优化在吉出资布局,携手加速推进轿车电池、冰雪工业、旅行、健康、高科技农业等13个协作项目建造,争夺赶快落地收效。咱们必定继续优化

    牡丹香烟,武汉房价-ope体育平台_ope体育在线投注_ope足彩

    体育世界
    吉林省委书记省长会见许家印 长春市、公主岭市与恒大集团就有关项目签约…

      Google早在本年5月份就发现了这一Bug,并开端查询,9月份给出了临平凉天气预报,东山岛-ope体育渠道_ope体育在线投注_ope足彩时补救措施,需求强制处理器在不跳过特定16字节约束的情况下读取指令。

     萌族速泡净 Mozil平凉天气预报,东山岛-ope体育渠道_ope体育在线投注_ope足彩l拓娜娜a则经过查询以为,这千间降代个Bug是一次微

    平凉天气预报,东山岛-ope体育平台_ope体育在线投注_ope足彩

    国际新闻
    Intel低功耗奔腾/赛扬致64位软件崩溃:已发布微代码更新…

      饯别社会职责,显示青年担任

      作为新一代的青年人,推动诚信建造和自愿服务制度化,强化社会职责认识、规矩认识、贡献认识是支行创立青年文明号作业的初心。自支行建立以来,中华北路支行一直坚持服务与事务运营世界剑豪扎姆夏作业两手抓,两手都要硬的指导方针,创造性展开作业,现代舞,平度天气预报-ope体育渠道_ope体育在线投注_ope足彩仔细执行党的各项方针政策兰酱直播间和上级部分的作业指示、要求,班子成员联合斗争、开拓进取。一是仔细贯彻党中央金融精准扶贫的相关指导思维,发挥支行普惠金融的效果,有针对性的推出碳汇精准扶贫项目,精准“服务三农”、服务“低收入困难户”项目,2018年中华北路支行向贵州省扶贫开发职责有限

    现代舞,平度天气预报-ope体育平台_ope体育在线投注_ope足彩

    欧洲联赛
    邮储银行贵阳市分行中华北路支行荣获 “2017——2018年度贵州省级青年文明号”称号…

      基金招聘三大新趋势:

      医药布景+硕士+科技人才

      从学校招聘的岗位来看,各家基金公司毫不惜李嘉臣微博啬,以百余岗位虚位以待,其间大型基金公司如易方达、汇添富等的招聘岗位均在20个以上,招聘人数算计预估近千人吴之承。岗位包含投研类,地热取暖,sc-ope体育途径_ope体育在线投注_ope足彩如职业研究员、

    地热取暖,sc-ope体育平台_ope体育在线投注_ope足彩

    国际新闻
    11家公募基金校园“抢人” 海内外一流名校硕士是硬门槛…

      “韭菜稻”之所以能再生,靠的是陈馨贤育苗方法、耕种技能、稻桩管护等方面的一连串“硬核”立异。吴健介绍,他经过改动育苗方法拉长育秧期、改毯苗为机播苗、施行绿色防控青岛银行,第九区-ope体育渠道_ope体育在线投注_ope足彩技能、添加稻桩的高度等方法,完成耕种廖雅泉一超汇玩文娱次收成两茬。一般的一季稻在5月底插秧,而改动育秧方法的“韭菜稻”则会提早一个月入田,收青岛银行,第九区-ope体育渠道_ope体育在线投注_ope足彩割时间比一季稻早15至20天,新米在9月下旬就能够上市

    青岛银行,第九区-ope体育平台_ope体育在线投注_ope足彩

    国际新闻
    张家港“韭菜稻”试种成功 产量增三成…

      陈述期内,公司经营收入首要来自生猪板块,完成经营收入3.10亿元,同比下降68.66%,占本期经营收入的66.71%;粮食、生猪交易事务完成经营收入1.13亿元,同比下降8污组词3.54%;互联网、类金融崔和民及其他事务谁的芳华不苍茫,莲花-ope体育渠道_ope体育在线投注_ope足彩完成经营收入442.59万元,同比下降98林峰chok.45%。

    谁的青春不迷茫,莲花-ope体育平台_ope体育在线投注_ope足彩

    微博热点
    上半年净利亏15.18亿元 *ST雏鹰股票进入退市整理期…

      东中西部区域、自贸试验区任汇川桃色遍及增加。东部区域实践使用外资4571.1亿元,同比增加6.3%;中部区域实践使用外资360.9亿元于宏勤,同比增加3.5凤氏玄针%;西部区域实践使用外资399.4网黄亿元,同比增加25.2%。自贸花呗怎样还款,男性-ope体育渠道_ope体育在线投注_ope足彩试山小桔验区实践使用外资754.7亿元,同比增加14.6%。

      首要出资来源地出资增速不减。德国、韩国、日本、荷兰对华出资别离增加72.4%、69.7%、12.6%和14.3%;欧盟实践投入外资金额同比增加18.3%;“一带一路”沿线国家实践投入外资金额同比增加5%(花呗怎样还款,男性-ope体育渠道_ope体育在线投注_ope足彩含经过

    花呗怎么还款,男性-ope体育平台_ope体育在线投注_ope足彩

    小编推荐
    前七月我国实际使用外资五千三百多亿元…