虚怀若谷，大智若愚

周末刷知乎看到一个问题，关于如何理解梯度消失和梯度爆炸的。有个回答讲的比较好，就和 sigmoid 函数一起总结一下吧。

PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。我之前也写过一篇简单的 PCA 的数学理解，日前看到一篇文章讲解的很棒，就整理转载过来，作为以后复习的总结。

交叉熵是机器学习中常用的一个概念，一般用来衡量目标值与预测值之间的差距。熵的概念源于信息论，因此，首先从信息论角度进行分析。

STL 中的算法都很精妙，有很多实现值得我们细究和学习。

神经网络虽然在多个领域取得了非常巨大的成就，但是其本质是大量参数的拟合和泛化，如果想处理更加复杂的任务，在没有过拟合的情况下，增加训练数据和加大网络规模无疑是简单有效的手段。现实情况就是这么做的，但是巨大的参数量和复杂的网络结构造成了两个主要的问题：模型体积和运算速度。这两个问题会带来诸如内存容量，内存存取带宽，移动端还有电量消耗等一系列问题，大大限制了神经网络的应用场景。

cuda 中核函数执行使用多线程并行（SIMD）的方式，同时计算多个数据，因此核函数的线程管理以及相应的任务分配就显得尤为重要。

C++11 带来了丰富便捷的随机数生成方法。

有时候需要将程序绑定到固定 CPU 的某个核心上运行。

GEMM 是矩阵乘法最成熟的优化计算方式，也有很多现成的优化好的库可以调用。

CUDA 函数前缀作为 CUDA 编程中一种特殊的使用技巧，其具有一定的限制意义。