2023년 국립국어원 인공 지능 언어 능력 평가: 감정 분석 과제

 감정 분석은 주어진 텍스트에 대한 화자의 감정 상태를 파악하는 과제이다. 이 과제는 텍스트에 드러나는 8가지 감정 유형을 분류하는 것을 목표로 한다.

감정 분석은 고객 서비스, 사회 네트워크 분석, 피드백 시스템, 인공지능 대화 시스템 등에 널리 활용된다.

(1) 팀 구성

ㅇ ‘모두의 말뭉치’ 회원만 참가할 수 있다.

ㅇ 참가자는 접수 기간 중 여러 개의 팀에 참여할 수 있으며, 팀 구성 시 인원 제한은 없다.

    - 다만, 최종 심사 대상 중 참가자가 속한 팀이 여러 개의 팀이면 참가자는 하나의 팀을 소속 팀으로 결정하여야 한다.

ㅇ 중복 참여는 가능하나 중복 수상은 할 수 없다.

(2) 답안 제출

ㅇ 참가자(팀)는 대회에서 제시한 과제를 해결한 결과를 표본(샘플) 파일과 동일한 형식으로 작성하여 제출한다.

ㅇ 한 참가자(팀)가 복수의 결과물을 제출할 경우 각 팀의 제출 모델 및 결과 중 가장 높은 성적만을 순위표(리더보드)에 게시한다.

(3) 모델 사용 및 제출

ㅇ 라이선스에 문제가 없는 모델 사용 가능(라이선스의 검토 책임은 참가팀에게 있음).

ㅇ 외부 데이터 추가 사용 불가

    - 외부 데이터로 학습된 사전학습 언어모델 중 8월 10일 이전에 공개된 언어모델 사용 가능(BERT, polyglot-ko, Llama-2 등)

    - 사용된 기본모델과 함께 제출(제출된 기본모델도 평가될 수 있음, 공개된 모델과 차이가 있는 경우 재현성 없음으로 판단될 수 있음)

ㅇ 경진대회 진행 시 외부 API(예: chatGPT api) 이용 불가

ㅇ 로컬 환경에서 동작하는 모든 모델 사용 가능(여러 LLM 포함)

   - 조건 1: 외부 API 이용 불가

     > 참가자(팀)의 서버에서 구동한 생성 AI의 경우에 한정함(프롬프트 엔지니어링 가능)

   - 조건 2: RTX 4090 24GB 1개에서 구동 가능한 모델만 사용 가능

     > 이 과제에서는 최근의 연구 동향을 반영하여 모델의 경량화에 초점을 맞추어 제한된 하드웨어에서 동작하도록 제한함

     > 기업 및 연구실 외에도 많은 개인 참가자가 참가하여 경쟁할 수 있도록 함

(4) 시스템 사용 안내

ㅇ 참가 신청(팀 구성)

    - 과제 목록 선택 후 참가 신청을 눌러 신청서를 작성한다.

    - 신청서는 '모두의 말뭉치' 회원만 작성할 수 있고, '모두의 말뭉치' 회원의 전자 우편 주소를 입력하여 팀을 구성할 수 있다(회원이 아닌 경우 팀원이 될 수 없음에 유의할 것).

    - 과제 참가 신청서에 작성한 팀원에게 과제 참가 신청 동의서가 발송된다.

    - 신청자가 구성한 팀원 모두가 전자 우편을 확인하고 과제 참가에 동의하면 신청서 접수가 완료된다.

ㅇ 제출 관리

    - 참가 신청을 완료한 후 '제출 관리'를 통해 예측 결과를 제출한다.

    - 모델명 및 모델 설명을 작성하고, 모델 예측 결과(JSON-L 파일)을 등록한다.

    - 하루에 5회까지 제출할 수 있으며, 제출 결과는 모두 순위표(리더보드)에 반영된다.

    - 매 시 정각에 모델 평가가 진행되나 서버 상황에 따라 결과 출력이 유동적일 수 있다.

ㅇ 순위표(리더보드)

    - '제출 관리'에서 등록한 예측 결과 중 일정 비율(예 70%)를 무작위 추출하여 평가한 후 순위표(리더보드)에 평가 점수 및 순위를 제공한다.

    - 제출한 결과 중 가장 높은 평가 점수가 순위표에 제공된다(좌측 화살표 버튼을 누르면 다른 결과물의 점수 및 순위 확인 가능).

ㅇ 참여자 게시판: 참가자들의 과제별 정보 공유를 위해 활용 가능하다.

(5) 기타: 시험 데이터의 정답 공개 계획은 없다.