LEET 의 경우 법적인 추론 내용을 중심으로 하고, 공식 풀이가 제공됨
직접 프롬프트를 개발하여 해당 시험에 대한 문제 해결을 진행
미국 LSAT 문제구성 분석 및 GPT-4 성능 평가
-
LSAT 은 논리 게임 위주인 섹션 1, 문장 단위 추론 문제인 섹션 2,3, 언어추리 문제 섹션 4로 구성되어 있음
-
Zero-Shot 과 Chain of Thought 방식을 채택하여 진행
- 지문에서 조건 추출
- 값 대입
- 반대가설 생성
- 추출한 조건을 확인하여 정답 추론
-
논리게임 섹션 1 은 낮은 점수가 나왔지만, 지문을 읽고 정보를 추출하는 섹션 4는 높은 정답률을 보임
LEET 는 ‘언어이해’ 영역과 ‘추리논증’ 영역으로 나눠짐
- LSAT 은 오지선다형으로 1개 답을 선택한다면, LEET 는 지문에 맞는 답을 모두 선택하는 방식
Pre-Processing
- 이미지 파일을 텍스트 형식으로 변환
프롬프트 디자인
- 단순 프롬프트
- ‘문제를 풀고 풀이과정을 설명하시오’ 라는 단순 프롬프트 진행
- 오지선다형 문제의 경우 결과형태를 ‘정답’ 과 ‘해설’ 로 출력
- 연쇄사고 프롬프트
- 제시문 분석 → 보기 분석 → 최종 결과 추론 방식
- ‘Step by Step’ , ‘제시문 반복하지 말기’ 등 주의사항 명시
- 연쇄사고 프롬프트 + 원샷 프롬프트 결합
- OpenAI 에서 공개한 다지선다형 문제의 프롬프트에 맞춰 작성
- 프롬프트 내 포함된 예제는 2022년 이전 LEET 문항 중 유사한 문제를 선정하여 사용
연구 결과
- 전체 50% 이해 정답수
- Simple 프롬프트가 가장 좋은 성과를 보임 (40개 중 18개)
- 2023년 기준 표준 점수 49.4점, 누적비율 89.7%로 상당히 저조한 점수
- 각각의 보기에 대해 참/거짓으로 나눴을 때 전체 평균은 66.4% 였으며, Simple 프롬프트는 76%에 도달 (특이점)
- Zero Shot 프롬프트가 더 좋은 성능을 보임
- 개방형 질문은 성능이 급감
- 서술형 문제의 경우 문제 식별에 어려움을 겪고 학생들과는 달리 피상적인 사실만에 규칙을 적용
GPT-4 문제
- 상식 추론과 관련한 능력 부재
- 일관성과 관련한 능력 부재
- 판단기준 제시를 못하는 문제
- 정답-풀이 근거의 타당성이 떨어짐
- 핵심 조건 적용을 못하는 경우 발생