Nem... Testei a qwen2.5:0.5b no meu motorola com 3gb de ram, rodou até que rapidinha...
Modelo escolhida de forma arbitrária, poderia ser o tinygpt ou llama3.2:1b...
Mas você usa ela mais para gerar textos mesmo, ou pra outras coisas também? Não conheço muito de modelos menores e locais.
1