动态学习率调整

草稿分享给朋友

BERT模型本质是一种词嵌入模型，也是句子嵌入模型，输入的最大长度是512BERT模型把离散的单词变成了空间中连续的向量，即把一个单词变成向量

tokenizer首先将给定的文本拆分为通常称为tokens的单词（或单词的一部分，标点符号等，在中文里可能就是词或字，根据模型的不同拆分算法也不同）。然后tokenizer能够将tokens转换为数字，以便能够构建张量并输入到模型中。

Datasets 提供了三大特性：1、用于许多公共数据集的单行数据加载器；2、高效的数据预处理；3、NLP 任务相关的许多内置评估指标。

使用spark分布式预测torch模型

lateral view 首先将utdf函数应用到每一行上，这时每一行经utdf处理后得到多行输出，这些输出将会组建成一张虚拟表，然后这张虚拟表会跟当前表进行join操作，join完成之后会得出一张结果虚拟表，这张结果表里就有了utdf生成的列

map、Array、json的常用方法与处理方式

事务是一组操作的集合，这些操作要么同时成功，要么同时失败。

MySQL的存储引擎与索引，以及利用索引优化sql语句。此外还包括评估优化效果的性能评估工具。

通俗的讲，视图只保存了查询的SQL逻辑，不保存查询结果

存储过程思想上很简单，就是数据库 SQL 语言层面的代码封装与重用。