写这篇文章是因为最近在阅读论文的过程中,接触到了“cardinality”这个概念,出自2017年CVPR何凯明大神组的论文Aggregated Residual Transformations for Deep Neural Networks,也是提出了ResNet的改进版ResNeXt。
重点介绍ResNeXt中block的结构及“cardinality”基数这个概念。
1. ResNeXt中block的结构
上图中左边是ResNet常用的卷积块结构,右边是ResNeXt的卷积块结构,输出可用下面的公式表示:
其中y是output, TTT 是任意函数,类似于几层卷积结构。它将x映射到一个embedding,之后变换它。C是变换集合的大小,也就是cardinality。本文中使所有的 TTT具有相同的拓扑结构。
2. 模型能力
图1(left)参数量 = 256 · 64 + 3 · 3 · 64 · 64 + 64 · 256 ≈ 70k
图2(right)参数量 = C · (256 · d + 3 · 3 · d · d + d · 256),当d=4,C=32,参数量≈ 70k