Такую оптимизацию можно попробовать (для ограниченного количества моделей она готова к использованию).

https://github.com/lyogavin/airllm

Суть в том что по очереди загружаются-выгружаются порции слоёв во время выполнения инференца.