目标检测中 Anchor 与 Loss 计算的梳理 发表于 2020-10-19 更新于 2021-10-13 分类于 DeepLearning 本文字数： 3.8k 阅读时长 ≈ 6 分钟 anchor 是一类目标检测方法种的一个核心概念，其本质是一个预设的框，但是这个框也为 loss 计算带来一些麻烦。 阅读全文 »
ReLU 激活函数中神经元死亡问题 发表于 2020-09-25 更新于 2021-10-13 分类于 DeepLearning 本文字数： 1.6k 阅读时长 ≈ 3 分钟 最近在看 MobileNetV3 的结构特征，又碰到了新的激活函数，查看了其与 ReLU 的联系，联想到之前看到过的 ReLU 的问题，做个记录。 阅读全文 »
PyTorch 多进程分布式训练实战 发表于 2020-09-24 更新于 2021-10-13 分类于 PyTorch 本文字数： 6.1k 阅读时长 ≈ 10 分钟 PyTorch 可以通过 torch.nn.DataParallel 直接切分数据并行在单机多卡上，实践证明这个接口并行力度并不尽如人意，主要问题在于数据在 master 上处理然后下发到其他 slaver 上训练，而且由于 GIL 的存在只有计算是并行的。torch.distributed 提供了更好的接口和并行方式，搭配多进程接口 torch.multiprocessing 可以提供更加高效的并行训练。 阅读全文 »
机器学习中熵、交叉熵和 KL 散度的介绍 发表于 2020-09-15 更新于 2021-10-13 分类于 MachineLearning 本文字数： 4.3k 阅读时长 ≈ 7 分钟 我在之前的文章：机器学习中关于熵的一些概念 已经记录了机器学习中一些常见的关于熵的概念，最近看到一篇关于交叉熵和 KL 散度的英文文章，觉得不错，就大概翻译记录一下。 阅读全文 »
win10 上使用 SSH 实践 发表于 2020-07-27 更新于 2021-10-13 分类于 Windows 本文字数： 1.4k 阅读时长 ≈ 2 分钟 win10 已经使用的越来越顺手，而且越发喜爱在 win10 上工作了，随手记录一下一些使用的体验和配置。 阅读全文 »
ResNet 原理剖析 发表于 2020-06-27 更新于 2021-10-13 分类于 DeepLearning 本文字数： 3.1k 阅读时长 ≈ 5 分钟 ResNet 算是深度学习里程碑之作了，我平时接触也比较多，写一篇文章做一些记录总结。 阅读全文 »
TensorFlow 序列化数据格式 发表于 2020-04-15 更新于 2021-10-13 分类于 DeepLearning 本文字数： 5.2k 阅读时长 ≈ 9 分钟 TensorFlow 保存模型结构和参数的方法有几种，日常都会遇到这些不同格式的数据，做记录总结。 阅读全文 »
浅谈内存对齐 发表于 2020-04-12 更新于 2021-10-13 分类于 C/C++ 本文字数： 4k 阅读时长 ≈ 7 分钟 C/C++ 编程中常见的一个概念是内存对齐，这里的对齐简单来讲就是分配的内存地址的起始位置是某个数字的倍数。 阅读全文 »
最大似然估计和最大后验概率估计 发表于 2020-03-18 更新于 2021-10-13 分类于 MachineLearning 本文字数： 2.8k 阅读时长 ≈ 5 分钟 最大似然估计和最大后验概率估计是概率论中应用很广泛的两个理论，之前的理解似是而非，因此查阅了一些资料，总结记录。 阅读全文 »
贝叶斯定理 发表于 2020-03-14 更新于 2021-10-13 分类于 MachineLearning 本文字数： 2.8k 阅读时长 ≈ 5 分钟 贝叶斯定理的理解对于概率计算是非常重要，而且日常使用非常常见。 阅读全文 »