Büyük dil modellerinin yanında, çok daha küçük ölçekli ama belirli görevlerde şaşırtıcı derecede yetkin olan modeller giderek daha fazla ilgi görüyor. Bu modeller, bir telefon ya da dizüstü bilgisayarın kendi donanımında çalışabilecek kadar hafif olabiliyor.
Bunun en somut avantajı, verinin cihazdan hiç çıkmadan işlenebilmesi. Bu da hem gecikmeyi ortadan kaldırıyor hem de hassas verilerin bulutta işlenmesiyle ilgili endişeleri azaltıyor. Özellikle sağlık, finans gibi düzenlemeye tabi sektörlerde bu özellik oldukça değerli.
Küçük modellerin bir diğer avantajı, belirli bir görev için ince ayar yapıldığında, çok daha büyük genel amaçlı modellere yakın performans gösterebilmesi. Bu da şirketlerin, her ihtiyaç için devasa modellere bağımlı kalmadan, göreve özel ve daha ekonomik çözümler üretebilmesini sağlıyor.
Kısa vadede, birçok ürünün büyük ve küçük modelleri bir arada kullanan hibrit bir mimariye yönelmesi bekleniyor: karmaşık görevler buluttaki büyük modele, hızlı ve gizlilik hassasiyeti yüksek görevler ise cihaz üzerindeki küçük modele yönlendiriliyor.
