-
Notifications
You must be signed in to change notification settings - Fork 10
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
HF Space #10
Comments
@avidale Если тебе это интересно, то могу попробовать добавить такую генерацию метрик |
Мне это не супер интересно, потому что в целом я скорее подумываю вообще закопать бенчмарк Encodechka как самостоятельную сущность, встроив его напрямую в MTEB. |
Да, там на mteb есть конфиг для теста русского языка, но его использования кем-то я не нашел |
Сейчас как раз активно начинают развивать русский язык там из Салюта embeddings-benchmark/mteb#815 embeddings-benchmark/mteb#962 |
В принципе, ruMTEB выехал (https://habr.com/ru/companies/sberdevices/articles/831150/), и Энкодечку можно с читсой совестью закапывать :) |
Скоро еще лидиерборд сделаю для русского, чтобы пользоваться можно было |
Теперь добавили https://huggingface.co/spaces/mteb/leaderboard |
Решил сделать отдельное issue для обсуждения leaderboard (из #9).
Я посмотрел как делает MTEB и они собирают evaluation metrics, которые хранятся в readme.md у каждой модели отдельно (например Alibaba-NLP/gte-Qwen2-7B-instruct), поэтому не думаю что получится подтягивать информацию о метриках. Пока можно просто какую-то мета-информамцию только получать о моделях.
Документация по evaluation metrics. Как запускать MTEB. Как метрики создаются в MTEB. Можно сделать по аналогии (генерировать yaml для каждой метрики), чтобы можно было сразу на карточку модели добавить.
The text was updated successfully, but these errors were encountered: