Spaces:

upstage

/

open-ko-llm-leaderboard

like 475

Running on CPU Upgrade

안녕하세요. 확인해보니 Gemma가 최근에 transformers 와 lm-eval-harness 에 반영되어서 버전 이슈로 인한 제출 문제가 있는 것 같습니다.
해당 부분은 내부 테스트를 좀 해봐야해서 이번주말까지 작업하고 원하시는 모델 (model name , Revision commit, Revision commit 등) 알려주시면 제가 평가 큐에 넣어두겠습니다.

감사합니다.

@choco9966
확인 감사합니다. 제출하고자 하는 모델은 아래와 같습니다.

1. model name : "jylee420/gemma-2b-data-std" revision : "main"
2. model name : "jylee420/gemma-2b-data-std-v0" revision : "main"

@choco9966
안녕하세요

혹시 제 모델 업로드는 언제쯤 완료되는지 알 수 있을까요?

안녕하세요. 평가완료되어서 이미 올라와잇는 상태입니다. 현재는 show private 부분을 클릭해서 jylee 검색하면 결과 보실 수 있습니다. private 클릭해야 보이는 이유는 다른 문제가 있어서는 아니고 담당자님이 최신 pr 머지가 늦어져서 생기는 이슈라 금방 해결될 것 같습니다. 감사합니다.