作者：龙鹏
来源：https://zhuanlan.zhihu.com/p/34044634
softmax loss是我们最熟悉的loss之一，在图像分类和分割任务中都被广泛使用。Softmax loss是由softmax和交叉熵(cross-entropy loss)loss组合而成，所以全称是softmax with cross-entropy loss，在caffe，tensorflow等开源框架的实现中，直接将两者放在一个层中，而不是分开不同层，可以让数值计算更加稳定，因为正指数概率可能会有非常大的值。
Named entity recognition series:
写在前面：本文仅是自己的学习笔记，还有待完善的地方，如有不当，还请指正。【侵删】
解决机器学习问题花费的很多心思都是在准备数据上。为了让你的代码可读性更高，Pytorch提供了很多让加载数据更简单的工具。在这个教程中，我们将看到如何对不一般的数据进行加载和预处理/数据增强。
为了能够运行教程中的例子，请确保你已经安装了下面的包：
I was reading this paper titled “Character-Level Language Modeling with Deeper Self-Attention” by Al-Rfou et al., which describes some ways to use Transformer self-attention models to solve the language modeling problem. One big problem of Transformer models in this setting is that they cannot pass information from one batch to the next, so they have to make predictions based on limited contexts.
It becomes a problem when we have to compare the results with “traditional” RNN-based models, and what Al-Rfou et al. proposed is to use only the outputs at the last position in the sequence from the Transformers when evaluating. If we ignores the first batch, a sequence of length N will requires Nbatches to predict for Transformers, and only (N / M) batches for RNN models (M being the sequence length of a batch).
人工智能最近三年发展得如火如荼，学术界、工业界、投资界各方一起发力，硬件、算法与数据共同发展，不仅仅是大型互联网公司，包括大量创业公司以及传统行业的公司都开始涉足人工智能行业。2017年人工智能行业延续了2016年蓬勃发展的势头，那么在过去的一年里AI行业从技术发展角度有哪些重要进展？未来又有哪些发展趋势？本文从大家比较关注的若干领域作为AI行业代表，来归纳下AI领域一些方向的重要技术进展。
从AlphaGo Zero到Alpha Zero