38a텔howDB%}스웨디시DB^◀ > 자유게시판

38a텔howDB%}스웨디시DB^◀ NAACL서 단 한 편만 선정되는 최고상…구글 BERT 이어 글로벌 영향력 예고LG AI연구원이 생성형 인공지능(AI) 모델 평가 분야의 세계 최고 권위 학회로부터 최고논문상을 받았다. AI 기술 신뢰성과 평가 체계 정립에 중요한 이정표를 세우며 글로벌 연구 생태계 내 존재감을 강화할 수 있게 됐다.LG AI연구원은 이번 수상이 다음달 4일까지 미국 뉴멕시코 앨버커키에서 열리는 '북미 전산언어 학회(NAACL) 2025'에서 발표된 것이라고 30일 밝혔다. NAACL은 자연어 처리 분야 세계 3대 학회 중 하나로, 매년 채택된 1천400여 편 논문 가운데 단 한 편만 선정해 최고논문상을 수여한다.연구원은 생성형 AI 모델 평가 벤치마크 '빅젠 벤치(BIGGEN BENCH)' 논문으로 상을 받았다. 이 벤치마크는 생성형 AI 모델이 갖춰야 할 핵심 능력을 아홉 개 범주로 나누고 세부적으로는 77개 역할을 통해 총 765개 항목을 평가하는 벤치마크다. 실제 사용자 경험을 반영한 정교한 기준을 제시해 기존 평가지표의 한계를 극복했다는 평가를 받는다.빅젠(BIGGEN) 벤치마크는 생성형 AI 모델이 갖추어야 할 9가지 핵심 역량을 기준으로 77개의 세부 역할 수행 능력을 객관적이고 종합적으로 평가하도록 설계됐다. (사진=LG)이번 논문은 LG AI연구원 초지능랩 인턴으로 참여한 김승원 카네기멜론대 박사과정 연구생을 제1저자로, 이문태 초지능랩장, 이경재 데이터 스쿼드 리더, 서민준 카이스트 교수팀이 공동으로 연구를 주도했다. 여기에 연세대, 코넬대, 일리노이대, 매사추세츠 공대(MIT), 워싱턴대 등 국내외 유수 연구진도 참여했다.'빅젠 벤치'는 생성형 AI 모델을 평가할 때 인간이 실제 사용하는 맥락을 모사해 사람 중심의 평가 방식을 자동화하는 데 초점을 맞췄다. LG AI연구원은 이를 활용해 103개의 생성형 AI 모델을 평가했고 전문가 집단과의 교차 검증에서도 높은 신뢰도와 타당도를 확보했다.서민준 카이스트 교수는 "빅젠 벤치는 생성형 AI 모델을 평가할 때 사람들이 실제로 사용할 때 느끼는 실용성을 지표화 할 수 있다는 점이 가장 큰 장점"이라며 "빅젠 벤치에서 좋은 결과를 얻는다는 것은 실제로 사용할 때 만족스러운 성능을 보이는 생성형 AI 모델이라는 의미"라고 강조했다.김승원 카네기멜론대 박사과정 연구생 (사진=LG)프로젝트에서는 평가자 역할을 하는