Skip to content

这里是用torch写的简洁版的GLUE评测代码。This is the simpler code written by torch in GLUE.

Notifications You must be signed in to change notification settings

sherlcok314159/Pocket-GLUE

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

21 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Pocket GLUE in Torch

NLP做分类任务时常需要提交自己的算法到GLUE进行评测,可是就能找到的评测代码而言,它们不太容易读懂和修改(毕竟耦合了其他很多操作)。因此,就打算写一个袖珍版的GLUE评测代码,供大家使用。所有任务经过测试,已复现官方效果,且大多数高于官方。

GLUE benchmark: General Language UnderstandingEvaluation

⭐️欢迎star和提问~

实验结果:

  • val set:
Task Metric BERT-base* BERT-base#
CoLA Matthews corr 56.53 57.11
SST-2 Accuracy 92.32 92.66
MRPC F1/Accuracy 88.85/84.07 89.00/84.64
STS-B Pearson/Spearman corr 88.64/88.48 89.13/88.54
QQP Accuracy/F1 90.71/87.49 90.84/87.70
MNLI M acc/MisM acc 83.91/84.10 83.27/83.65
QNLI Accuracy 90.66 91.47
RTE Accuracy 65.70 72.20
WNLI Accuracy 56.34 56.34

* Huggingface # Our

  • test set:

使用

  • 下载GLUE数据集,若不方便可从以下链接下载:

    百度网盘 链接 提取码: 94jy
    腾讯微云 链接 无提取码
  • 下载bert预训练的权重(这里使用的是HuggingFace的bert)到指定文件夹;

  • 代码组成。运行时配置好超参和环境之后直接python main.py即可

    ├── main.py
    ├── config.py ## 配置超参数  
    ├── load_data.py ## 加载GLUE的数据
    ├── helper.py ## 设置随机种子
    ├── requirements.txt ## 环境
    

交流可加微信:Yunpengtai

About

这里是用torch写的简洁版的GLUE评测代码。This is the simpler code written by torch in GLUE.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages