llm微调实战
2024-6-6
| 2024-6-12
0  |  阅读时长 0 分钟
type
status
password
date
slug
summary
category
URL
tags
icon

代码实战

notion image

掩码模型(自编码)

输出

因果语言模型(自回归模型)

输出

T5模型实战

任务说明(摘要)

数据说明
  • 文档:某卖出自家的马自达后,又使用备用车钥匙将车盗走。因涉嫌盗窃,今天上午,肖某在大兴法院受审。肖某是本市丰台人大学毕业,无业。检方指控, 2013 年 5 月,肖某在大兴区某公司院内,使用其保留的车钥匙将此前卖给被害人的一辆马自达轿车(经鉴定价值 11.5 元),还有车内价值 800 元的加油卡、现金 600 元及台球杆 3 根及1 副太阳镜一并盗走。上午 9 时,肖某被带进法庭。庭审中,肖某对指控没有异议。肖某的辩护人向法庭提交了一份被告人母亲写的家庭情况说明、被告人母亲的医疗费票据及诊断证明,说明其家庭生活困难,且与被害人达成和解,请求法院轻判。公诉人表示,因被告人与被害人已和解,基于被告人母亲的情况,同意法庭综合考虑量刑。最后陈述阶段,肖某说,'我因为法律意识淡薄,给社会和被害人带来了危害,经过这段时间的改造和反省,我认识到了这一错误。我会尽力补偿被害人的损失,希望法庭给我一次机会,让我用实际行动弥补对家庭的创伤。“该案没有当庭判决。
  • 摘要:北京大学生卖掉自家私家车,又用备用钥匙偷回来,一并顺走车内现金 600 元;因家庭困难,法院同意综合量刑。
 
任务指标 pip install rouge-chinese
  • Rouge
    • Rouge-1 、 Rouge-2 、 Rouge-L
      分别基于 1 -gram 、 2-gram 、 LCS
  • 示例
    • 文本
      1-gram
      2-gram
      label
      今天不错
      今 天 不 错
      今天 天不 不错
      predict
      今天太阳不错
      今 天 太 阳 不 错
      今天 天太 太阳 阳不 不错
    • Rouge-1 P = 4/4, R = 4/6, F = 2*P*R/(P+R)
    • Rouge-2 P = 2/3, R = 2/5 ,F = 2*P*R/(P+R)
    • Rouge-L P = 4/4, R = 4/6 ,F = 2*P*R/(P+R)

模型说明

使用seq2seq模型,输入输出的数据格式如下所示。
input
文本摘要:某卖出自家的马自达后,又使用备用车钥匙将车盗走。因涉嫌盗窃,今天上午,肖某在大兴法院受审。肖某是本市丰台人大学毕业,无业。检方指控, 2013 年 5 月,肖某在大兴区某公司院内,使用其保留的车钥匙将此前卖给被害人的一辆马自达轿车(经鉴定价值 11.5 元),还有车内价值 800 元的加油卡、现金 600 元及台球杆 3 根及1 副太阳镜一并盗走。上午 9 时,肖某被带进法庭。庭审中,肖某对指控没有异议。肖某的辩护人向法庭提交了一份被告人母亲写的家庭情况说明、被告人母亲的医疗费票据及诊断证明,说明其家庭生活困难,且与被害人达成和解,请求法院轻判。公诉人表示,因被告人与被害人已和解,基于被告人母亲的情况,同意法庭综合考虑量刑。最后陈述阶段,肖某说,'我因为法律意识淡薄,给社会和被害人带来了危害,经过这段时间的改造和反省,我认识到了这一错误。我会尽力补偿被害人的损失,希望法庭给我一次机会,让我用实际行动弥补对家庭的创伤。“该案没有当庭判决。</s>
label
北京大学生卖掉自家私家车,又用备用钥匙偷回来,一并顺走车内现金 600 元;因家庭困难,法院同意综合量刑。</s>

GLM模型

任务说明(摘要)

数据说明
  • 文档:某卖出自家的马自达后,又使用备用车钥匙将车盗走。因涉嫌盗窃,今天上午,肖某在大兴法院受审。肖某是本市丰台人大学毕业,无业。检方指控, 2013 年 5 月,肖某在大兴区某公司院内,使用其保留的车钥匙将此前卖给被害人的一辆马自达轿车(经鉴定价值 11.5 元),还有车内价值 800 元的加油卡、现金 600 元及台球杆 3 根及1 副太阳镜一并盗走。上午 9 时,肖某被带进法庭。庭审中,肖某对指控没有异议。肖某的辩护人向法庭提交了一份被告人母亲写的家庭情况说明、被告人母亲的医疗费票据及诊断证明,说明其家庭生活困难,且与被害人达成和解,请求法院轻判。公诉人表示,因被告人与被害人已和解,基于被告人母亲的情况,同意法庭综合考虑量刑。最后陈述阶段,肖某说,'我因为法律意识淡薄,给社会和被害人带来了危害,经过这段时间的改造和反省,我认识到了这一错误。我会尽力补偿被害人的损失,希望法庭给我一次机会,让我用实际行动弥补对家庭的创伤。“该案没有当庭判决。
  • 摘要:北京大学生卖掉自家私家车,又用备用钥匙偷回来,一并顺走车内现金 600 元;因家庭困难,法院同意综合量刑。
 
任务指标 pip install rouge-chinese
  • Rouge
    • Rouge-1 、 Rouge-2 、 Rouge-L
      分别基于 1 -gram 、 2-gram 、 LCS
  • 示例
    • 文本
      1-gram
      2-gram
      label
      今天不错
      今 天 不 错
      今天 天不 不错
      predict
      今天太阳不错
      今 天 太 阳 不 错
      今天 天太 太阳 阳不 不错
    • Rouge-1 P = 4/4, R = 4/6, F = 2*P*R/(P+R)
    • Rouge-2 P = 2/3, R = 2/5 ,F = 2*P*R/(P+R)
    • Rouge-L P = 4/4, R = 4/6 ,F = 2*P*R/(P+R)

模型说明

GLM是自回归空白填充的通用语言模型(GLM)。
  • 输入:输入文本x=[x1,…,xn]被分为两部分,原文本保留部分PartA,被mask的span PartB。输入为PartA与PartB的拼接,且与PartB每部分由[S]隔开。
  • 位置编码:Position 1中,PartA的位置编码为从1递增,PartB的位置编码为原span在PartA中的起始位置编码;Position 2中,PartA的位置编码均为0,PartB的位置编码为span内从1开始递增。
notion image

Boolm模型实战

模型说明

notion image
 
  • NLP
  • 牛顿法和拟牛顿法huggingface的Trainer
    Loading...
    目录