Модель при тестах потребляет в 50 раз больше VRAM

[JohnConnor123]

Решил сначала протестить скрипт run_mera.sh на малой модели. Выбрал модель, квантизация которой весит 400МБ. Запустил скрипт, а у меня сьело в 50 раз (!!!) больше! Потребляет аж 20ГБ - не понимаю почему так происходит. Это для 13b моделей мне нужно 13*50=650 гигов?)) Вот команда, которую я использовал для старта моего скрипта:

CUDA_VISIBLE_DEVICES=0 MERA_FOLDER="$PWD/mera_results/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM" MERA_MODEL_STRING="pretrained=/mnt/d/Python_Projects/Jupyter/other/call-center-prompter/debug/quantized_awq/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM,dtype=auto" bash run_mera.sh

P.s. Очень сильно хотелось бы для модели на 500Мб потребления хотя бы до гигабайта((( Наверное это какой-то баг.
OS: WSL ubuntu