진행 중 과제

진행 중인 인공 지능 언어 능력 평가 과제입니다.

과제 개수 : 1

전체 11

※ 2021년 10월 14일까지 제출된 모델 기준

리더보드 테이블: 번호, 팀명, 모델명, 평가 점수, MultiRC, ReCoRD, 제출 일시로 구성
순위 팀명 모델명 평가 점수 소과제명 제출 일시
판정의문문 인과관계 문법성 동형이의어
1 펼치기 화성갈끄니까! ROCKET-baseline 80.44
87.93
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 87.93
89.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 89.80
54.61
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 54.61
89.41
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 89.41
2021.10.06. 21:19
ROCKET-baseline 77.13
87.93
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 87.93
87.60
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 87.60
43.57
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 43.57
89.41
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 89.41
2021.09.26. 23:40
ROCKET-baseline 76.75
87.93
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 87.93
87.60
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 87.60
43.57
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 43.57
87.88
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 87.88
2021.09.22. 21:16
ROCKET-baseline 75.65
85.37
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 85.37
85.60
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 85.60
42.15
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 42.15
89.49
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 89.49
2021.09.17. 19:13
2 펼치기 DICE Lab NLP DICE-Korean-baseline 79.48
85.94
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 85.94
87.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 87.80
56.22
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 56.22
87.96
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 87.96
2021.09.27. 21:11
DICE-korean 78.03
85.94
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 85.94
87.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 87.80
50.42
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 50.42
87.96
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 87.96
2021.09.16. 22:25
DICE-Korean-baseline 76.21
82.10
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 82.10
84.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 84.80
53.02
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 53.02
84.91
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 84.91
2021.09.29. 15:05
3 펼치기 M1B1 M1B1-baseline 76.03
89.09
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 89.09
84.20
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 84.20
47.30
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 47.30
83.52
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 83.52
2021.10.13. 20:11
M1B1-baseline 75.96
84.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 84.80
84.20
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 84.20
46.14
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 46.14
88.68
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 88.68
2021.10.14. 18:48
M1B1-baseline 66.44
83.10
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 83.10
83.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 83.80
48.64
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 48.64
50.24
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 50.24
2021.10.09. 01:30
M1B1-baseline 25.08
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
50.10
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 50.10
50.24
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 50.24
2021.10.06. 14:24
M1B1-baseline 24.78
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
48.88
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 48.88
50.24
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 50.24
2021.10.07. 20:39
4 펼치기 KoLab KoLab_A_base_v2 69.40
81.96
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 81.96
80.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 80.80
30.73
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 30.73
84.11
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 84.11
2021.10.10. 23:52
KoLab_A_base 68.88
81.96
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 81.96
80.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 80.00
30.73
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 30.73
82.83
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 82.83
2021.10.02. 17:03
KoLab_B_v1 41.13
84.38
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 84.38
8.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 8.80
55.21
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 55.21
16.13
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 16.13
2021.10.14. 15:36
5 펼치기 eclipse eclipse-v1 67.70
74.89
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 74.89
71.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 71.80
43.77
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 43.77
80.34
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 80.34
2021.10.07. 12:15
eclipse-v2 66.01
73.58
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 73.58
76.40
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 76.40
29.95
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 29.95
84.11
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 84.11
2021.10.08. 04:01
6 SSH SSH-base 58.39
77.56
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 77.56
50.60
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 50.60
27.06
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 27.06
78.33
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 78.33
2021.09.28. 16:58
7 베이스라인 Ko-GPT-Trinity 1.2B 55.35
71.77
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 71.77
68.66
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 68.66
2.24
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 2.24
78.73
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 78.73
2021.09.01. 14:30
8 KNUAI KoELECTRA 54.45
50.71
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 50.71
48.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 48.80
44.54
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 44.54
73.76
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 73.76
2021.10.12. 19:57
9 펼치기 체크체크 cola_baseline 22.19
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
88.76
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 88.76
2021.10.14. 17:30
homonyms_imporved 22.19
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
88.76
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 88.76
2021.10.13. 23:39
koelectra-cls-cos 21.87
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
87.47
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 87.47
2021.10.05. 21:47
krbert-cls-cos 20.79
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
83.15
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 83.15
2021.10.01. 13:55
krbert-char-base 12.46
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
49.84
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 49.84
2021.09.30. 17:33
10 펼치기 omed demo 18.45
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
73.80
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 73.80
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 0.00
2021.10.01. 22:21
demo 17.10
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
68.40
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 68.40
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 0.00
2021.10.11. 16:38
demo 16.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
64.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 64.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 0.00
2021.09.30. 18:54
11 펼치기 두부두부 kobert 5.65
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
22.61
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 22.61
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 0.00
2021.09.30. 17:57
kobert 4.72
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
판정의문문 Accuracy 0.00
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
인과관계 Accuracy 0.00
18.87
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
문법성 Matthew’s Corr 18.87
0.00
과제명, 평가 지표, 평가 점수로 이루어진 테이블 입니다.
과제명 평가 지표 평가 점수
동형이의어 Accuracy 0.00
2021.09.29. 13:17