虚怀若谷，大智若愚

PyTorch 可以通过 torch.nn.DataParallel 直接切分数据并行在单机多卡上，实践证明这个接口并行力度并不尽如人意，主要问题在于数据在 master 上处理然后下发到其他 slaver 上训练，而且由于 GIL 的存在只有计算是并行的。torch.distributed 提供了更好的接口和并行方式，搭配多进程接口 torch.multiprocessing 可以提供更加高效的并行训练。

我在之前的文章：机器学习中关于熵的一些概念 已经记录了机器学习中一些常见的关于熵的概念，最近看到一篇关于交叉熵和 KL 散度的英文文章，觉得不错，就大概翻译记录一下。

win10 已经使用的越来越顺手，而且越发喜爱在 win10 上工作了，随手记录一下一些使用的体验和配置。

ResNet 算是深度学习里程碑之作了，我平时接触也比较多，写一篇文章做一些记录总结。

TensorFlow 保存模型结构和参数的方法有几种，日常都会遇到这些不同格式的数据，做记录总结。

C/C++ 编程中常见的一个概念是内存对齐，这里的对齐简单来讲就是分配的内存地址的起始位置是某个数字的倍数。

最大似然估计和最大后验概率估计是概率论中应用很广泛的两个理论，之前的理解似是而非，因此查阅了一些资料，总结记录。

贝叶斯定理的理解对于概率计算是非常重要，而且日常使用非常常见。

最近遇到一个很有意思的问题，如果在父类成员函数中调用子类成员函数。这个应用场景不是很常见，但是有一些方法可以实现。

一篇关于 C++11 右值引用的一篇总结，觉得其中对于常见误用的总结很不错，想起来了当年自己走过的一些坑，转载做个记录。