대회 사무국에서 알려드립니다.

문화체육관광부와 국립국어원이 '2022 국립국어원 인공 지능 언어 능력 평가' 대회를 개최합니다.

올해 대회의 주제는 '사람의 마음을 이해하는 인공 지능의 언어 능력'으로, 참가자는 문장이나 발화에서 명시적 혹은 암묵적으로 드러나는 감성을 분석하는 모델을 개발합니다. 참가자는 주어진 학습데이터를 사용하여 개발한 인공 능 모델로 주어진 문제에 대한 답안을 시스템에 제출합니다. 채점 결과는 순위표(리더 보드)에 게시됩니다.

1. 대회 개요

과제에서 사용하는 말뭉치는 국립국어원이 구축한 '속성 기반 감성 분석' 말뭉치입니다. 속성 기반 감성 분석이란 언어에 나타난 개체의 속성 정보에 대한 극성을 분류하는 과제입니다. 참가팀은 입력 문장에 대해 (1)속성 범주(예: 제품 전체#인지도)와 (2)감성(긍정/부정/중립)의 쌍을 추출하고, 정답 튜플과 예측된 튜플과의 비교를 통해 계산된 F1 점수로 참가팀의 인공 지능 모델의 성능을 평가합니다.

2. 데이터 규모



※시험용 자료에는 정답이 포함되어 있지 않음

3. 평가 방법

 • 정답 데이터셋과 예측 데이터셋의 annotation을 문장 단위로 비교하여 F1 점수를 측정합니다.  

    - True positive: 예측한 속성 범주와 감성 쌍이 정답에 있는 경우

    - False positive: 예측한 속성 범주와 감성 쌍이 정답에 없는 경우(속성 범주만 맞춘 경우 포함)

    - False negative: 정답 데이터셋에 있는 속성 범주와 감성 쌍을 예측하지 못한 경우(속성 범주만 맞춘 경우 포함)

 • 각 참가팀은 하루에 1회 결과 파일을 제출할 수 있으며, 제출된 결과는 다음 날 제출 상황이 '모델 평가 중'으로 변경되며, 대회 운영팀에서 평가 점수를 입력하고 결과가 순위표(리더 보드)에 게시됩니다.

4. 베이스라인 모델

  • github를 통해 다운로드 가능: https://github.com/teddysum/korean_ABSA_baseline

  • 속성 범주 탐지 및 속성 감성 분류 두 모델에 대한 베이스라인을 제공합니다. 

  • 속성 범주 탐지 모델은 입력 문장에 대해 주석이 가능한 속성 범주들을 각각 True/False 분류를 통해 적절한 속성 범주를 예측하며, 속성 감성 분류 모델은 문장과 속성 범주에 대해 긍정, 부정,  중립 중 하나의 레이블로 분류합니다.

5. 주요 일정

6. 시상 내역



※수상자 특전 : 후원 기업 지원 시 서류 전형 가점 등 채용 전형에서 우대(추후 안내)

7. 참고 사항

 - 과제용 말뭉치와 설명 자료는 '자료 받기'에서 내려받을 수 있습니다. 

 - 자료 받기 → 말뭉치 선택 → 신청서 자동 작성(신청 버튼 클릭 및 관리자 승인 필요) → 약정서 서명(별도 전자우편 발송) → 내려 받기(말뭉치 신청 내역에서 확인)

 - 자세한 과제 신청 및 제출 방법은 '자료 받기'를 통해 과제 기술서를 내려받아 확인하실 수 있습니다.

 - '문의 사항'에 내용을 남겨 주시면 대회 사무국에서 답변 드리겠습니다(2~3일 이내 답변).