训练迭代过程早期的RNN预测能力非常弱，几乎不能给出好的生成结果。Teacher forcing直接使用训练数据的标准答案(ground truth)作为输入。

BERT进一步改进了11种自然语言处理任务的技术水平，这些任务分为以下几个大类：（1）单一文本分类（如情感分析）、（2）文本对分类（如自然语言推断）、（3）问答、（4）文本标记（如命名实体识别）。从上下文敏感的ELMo到任务不可知的GPT和BERT，它们都是在2018年提出的。概念上简单但经验上强大的自然语言深度表示预训练已经彻底改变了各种自然语言处理任务的解决方案。

动态学习率调整

草稿分享给朋友

BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量

tokenizer首先将给定的文本拆分为通常称为tokens的单词（或单词的一部分，标点符号等，在中文里可能就是词或字，根据模型的不同拆分算法也不同）。然后tokenizer能够将tokens转换为数字，以便能够构建张量并输入到模型中。

Datasets 提供了三大特性：1、用于许多公共数据集的单行数据加载器；2、高效的数据预处理；3、NLP 任务相关的许多内置评估指标。

使用spark分布式预测torch模型

lateral view 首先将utdf函数应用到每一行上，这时每一行经utdf处理后得到多行输出，这些输出将会组建成一张虚拟表，然后这张虚拟表会跟当前表进行join操作，join完成之后会得出一张结果虚拟表，这张结果表里就有了utdf生成的列

map、Array、json的常用方法与处理方式

事务是一组操作的集合，这些操作要么同时成功，要么同时失败。