nostr:nprofile1qy2hwumn8ghj7un9d3shjtnyd968gmewwp6kyqpqhwpljwphhhe9dn8u83e0jd8dmckcm2q0dxpaxznafpkl4jw4zgeq82zv2x просто её очень хвалят, активных параметров использует только 3B, и прям очень умная. У меня самого пок...

Такую оптимизацию можно попробовать (для ограниченного количества моделей она готова к использованию). https://github.com/lyogavin/airllm Суть в том что по очереди загружаются-в...