(서울=민심뉴스) OpenAI가 GPT-6 Astra 모델의 벤치마크 평가 데이터 조정을 둘러싸고 의혹에 휩싸이고 있다. 9월 3일 GPT-6 Astra 출시 이후 여러 모델 평가 지표가 지속적으로 조정되었으며, 일부 조정은 Astra의 성능을 향상시킨 반면 경쟁 모델의 점수를 하락시켰다. 이러한 변화는 AI '벤치마크 조작'과 평가 투명성에 대한 외부의 회의론을 불러일으켰다.
특히 Astra의 환각률은 4.2%에서 2%로, GPT-5.6 Sol의 환각률은 12.2%에서 9.4%로 일시 하락했다가 각각 4.2%, 12.2%로 되돌아왔다. 또한 수학 평가에서 Anthropic의 Fable 5.1 점수는 87.8%에서 78%로 하락 후 83%로 반등했으며, GPT-5.6 Sol의 점수 또한 83%에서 80.5%로 하락했다가 83%로 복귀했다. ARC-AGI-3 벤치마크에서 Astra의 점수는 사전 공개 초안의 98.6%에서 최종 페이지 99.99%로 상승했으며, 프로그래밍 평가 점수 또한 57.7%에서 57.9%로 소폭 상승했다. OpenAI는 평가 결과가 모델 버전, 도구 구성, 추론 수준, 테스트 실행 등 여러 요인에 영향을 받으며, 데이터가 모델의 최적 성능을 더 정확하게 반영하도록 조정을 진행했다고 밝혔다. 그러나 스탠포드 대학 연구진은 잦은 평가 재실행이 벤치마크 점수 극대화를 위해 테스트 조건을 조정하는 '벤치맥싱' 관행을 포함할 수 있다고 주장한다. 업계 관계자들은 AI 모델 경쟁이 심화됨에 따라 평가 데이터가 모델 역량 측정 및 시장 점유율 확보의 핵심 도구가 되고 있으며, 벤치마크 테스트의 투명성과 재현성 향상이 주목받고 있다고 언급한다.
OpenAI는 평가 결과가 모델 버전, 도구 구성, 추론 수준, 테스트 실행 등 다양한 요인에 의해 영향을 받는다고 설명했다. 또한, 이러한 평가 지표 조정은 모델의 최적 성능을 더 정확하게 반영하기 위한 조치였다고 덧붙였다. 하지만 스탠포드 대학 연구진은 잦은 평가 재실행이 벤치마크 점수 극대화를 위한 '벤치맥싱' 관행일 수 있다고 지적했다. 이는 AI 모델 간의 경쟁이 치열해지면서 평가 데이터가 모델 역량을 측정하고 시장 점유율을 확보하는 데 중요한 도구가 되고 있음을 보여준다. 따라서 벤치마크 테스트의 투명성과 재현성을 높이는 것이 중요하며, 이에 대한 관심이 증가하고 있는 추세다.
경쟁 AI 모델들의 지표 변화GPT-6 Astra의 벤치마크 평가 지표 조정과 함께 경쟁 모델들의 성능 지표도 함께 변화했다. Astra의 환각률은 4.2%에서 2%로 일시 하락했으나, 이후 다시 4.2%로 복귀했다. 경쟁 모델인 GPT-5.6 Sol의 환각률 또한 12.2%에서 9.4%로 하락했다가 12.2%로 복귀하는 양상을 보였다. 수학 평가 영역에서도 변화가 감지되었는데, Anthropic의 Fable 5.1 모델은 87.8%에서 78%로 점수가 하락한 후 83%로 반등했으며, GPT-5.6 Sol 모델 역시 83%에서 80.5%로 하락 후 83%로 회복했다. ARC-AGI-3 벤치마크에서의 Astra의 점수는 사전 공개된 98.6%에서 최종 99.99%로 상당한 상승을 기록했다. 더불어 프로그래밍 평가 점수 역시 57.7%에서 57.9%로 소폭 상승한 것으로 확인되었다. 이러한 지표들의 변화는 AI 모델 간의 경쟁이 심화되고 있음을 시사한다.
크롤링 데이터 기준 확인되는 사실만 정리하고, 확인되지 않는 정보는 공개된 자료 기준 확인되지 않았다로만 처리한다.
#OpenAI #GPT6Astra #AI모델 #벤치마크 #평가데이터 #GPT5_6Sol #Anthropic #Fable5_1 #환각률 #수학평가 #ARC_AGI_3 #프로그래밍평가 #AI경쟁 #모델성능 #데이터조정 #투명성 #재현성 #벤치맥싱 #AI산업 #기술개발
![[2026년 10월 06일] MBTI 오늘의 운세 총정리(16유형)](https://www.minsimnews.com/news/thumbnail/202610/92211_54988_022_v150.jpg)
