人工智能

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

1 1 1 1 1 1 1 1 1 1 Rating 0.00 (0 Votes)

你所不知道的事

Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果，这个第二关键。客观的说，把Bert当做最近两年NLP重大进展的集大成者更符合事实。

本文的主题是自然语言处理中的预训练过程，会大致说下NLP中的预训练技术是一步一步如何发展到Bert模型的，从中可以很自然地看到Bert的思路是如何逐渐形成的，Bert的历史沿革是什么，继承了什么，创新了什么，为什么效果那么好，主要原因是什么，以及为何说模型创新不算太大，为何说Bert是近年来NLP重大进展的集大成者。我们一步一步来讲，而串起来这个故事的脉络就是自然语言的预训练过程，但是落脚点还是在Bert身上。要讲自然语言的预训练，得先从图像领域的预训练说起。

BERT-Pytorch demo初探

1 1 1 1 1 1 1 1 1 1 Rating 0.00 (0 Votes)

概述

本文基于 pytorch-pretrained-BERT(huggingface)版本的复现，探究如下几个问题：

pytorch-pretrained-BERT的基本框架和使用
如何利用BERT将句子转为词向量
如何使用BERT训练模型（针对SQuAD数据集的问答模型，篇幅问题，可能下篇再写）

因为已经有很多文章对BERT的结构和效果做了详尽的介绍，所以对于模型的效果和结构就不在这里赘述了。

基本框架和使用

环境

The Next Level of Data Visualization in Python

1 1 1 1 1 1 1 1 1 1 Rating 0.00 (0 Votes)

How to make great-looking, fully-interactive plots with a single line of Python

Will Koehrsen

Jan 8

The sunk-cost fallacy is one of many harmful cognitive biases to which humans fall prey. It refers to our tendency to continue to devote time and resources to a lost cause because we have already spent — sunk — so much time in the pursuit. The sunk-cost fallacy applies to staying in bad jobs longer than we should, slaving away at a project even when it’s clear it won’t work, and yes, continuing to use a tedious, outdated plotting library — matplotlib — when more efficient, interactive, and better-looking alternatives exist.

BERT相关论文、文章和代码资源汇总

1 1 1 1 1 1 1 1 1 1 Rating 0.00 (0 Votes)

BERT最近太火，蹭个热点，整理一下相关的资源，包括Paper, 代码和文章解读。

1、Google官方:

1) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

一切始于10月Google祭出的这篇Paper, 瞬间引爆整个AI圈包括自媒体圈: https://arxiv.org/abs/1810.04805

2) Github: https://github.com/google-research/bert

11月Google推出了代码和预训练模型，再次引起群体亢奋。

SVM（一）·最全面的感知机总结

1 1 1 1 1 1 1 1 1 1 Rating 0.00 (0 Votes)

SVM(一) 感知机

感知机是个相当简单的模型，但它既可以发展成支持向量机（通过简单地修改一下损失函数）、又可以发展成神经网络（通过简单地堆叠），所以它也拥有一定的地位。

为方便，我们统一讨论二分类问题，并将两个类别的样本分别称为正、负样本

感知机能做什么

Sidebar

最流行文章标签

人工智能

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

BERT-Pytorch demo初探

概述

基本框架和使用

环境

The Next Level of Data Visualization in Python

How to make great-looking, fully-interactive plots with a single line of Python

BERT相关论文、文章和代码资源汇总

SVM（一）·最全面的感知机总结

More Articles ...

Login Form