İtiraf edeyim, son birkaç aydır YouTube’da aynı videoyu on farklı kanaldan izliyorum: “Bilgisayarında bedava yapay zeka çalıştır”, “Kimi K3’ü lokalinde kur, OpenAI’a para verme”. Başlıkta hep aynı vaat var: internetsiz, ücretsiz, sınırsız. Ben de merak edip kendi makinemde denedim. Sonuç mu? Videolardaki gibi değildi.
Bu yazıda size ne gördüğümü anlatacağım: LM Studio ile lokalde model çalıştırmanın gerçekte ne demek olduğunu, 4 bit ile 8 bit arasındaki farkın aslında ne anlama geldiğini, model boyutu ile RAM’iniz arasındaki acımasız ilişkiyi, ve o “bedava” dedikleri işin aslında kaç paraya patladığını. Sahada gördüğüm şu: bu konuda insanlara gerçekten yanlış bir umut satılıyor.
Önce şu LM Studio’yu tanıyalım
LM Studio, bilgisayarınızda büyük dil modeli çalıştırmak için kullanılan bir uygulama. Eskiden bu iş için Ollama kullanılıyordu, LM Studio ona benziyor ama arayüzü daha kolay, model indirme ve öneri kısmı daha kullanıcı dostu. Uygulama sisteminize bakıp “bu modeli senin donanımın kaldırır” ya da “kaldırmaz” gibi tavsiyeler bile veriyor.
Bunun dışında bir de özel sunucu kurma özelliği var. Yani lokalinizde çalışan modeli Claude Code benzeri bir araca ya da kendi yazdığınız bir uygulamaya bağlayabiliyorsunuz. Kulağa güzel geliyor değil mi? Ben de ilk başta öyle düşündüm. Sonra rakamlara baktım.
4 bit, 8 bit dedikleri ne demek
LM Studio’da bir model aradığınızda karşınıza GGUF ya da MLX gibi format etiketlerinin yanında bir de “4bit”, “8bit”, “16bit” gibi ibareler çıkıyor. Bunlar aslında modelin ne kadar sıkıştırıldığını gösteriyor, ve burada gözden kaçırılan asıl konu bu.
Şöyle anlatayım: quantization dediğimiz şey aslında bir silme işlemi değil, bir hassasiyet azaltma işlemi. Model üretilirken normalde 16 bit hassasiyetle eğitiliyor; her bir ağırlık değeri epey ince, epey detaylı bir sayıyla tutuluyor. Bunu 8 bit’e indirdiğinizde parametrelerin sayısı değişmiyor, hiçbiri silinmiyor. Değişen şey, o sayıların ne kadar hassas tutulduğu. Kulağa küçük bir fark gibi geliyor ama pratikte performans kaybı genelde yüzde bir iki gibi ufak bir şey kalıyor, çünkü kaybolan kısım modelin ince ayrıntıları oluyor, model genel olarak yine de doğru genelleme yapabiliyor. Ticari şirketlerin bile (mesela Opus tarzı modellerin) bize veriyi vermeseler de aslında 8 bit civarında bir hassasiyetle sunduğu tahmin ediliyor, çünkü bu iş için gerçek “sweet spot” yani doğru denge noktası burası. 16 bit’i tam haliyle sunmak gereksiz yere pahalıya geliyor, mantığı yok.
4 bit’e indiğinizde ise iş değişiyor. Parametreler yine yerinde duruyor, ama her birinin hassasiyeti çok daha sert kısılıyor, artık gözle görülür bir kalite kaybı başlıyor. Cevaplar bazen daha yüzeysel kalıyor, ince nüansları kaçırıyor, karmaşık konularda tutarlılığı düşüyor. Ama avantajı şu: dosya boyutu epey küçülüyor. Az sonra göstereceğim modelde 4 bit versiyon 6,8 GB iken 8 bit versiyonu 9 GB. Şirketler bilerek 4 bit’i tercih ediyor, çünkü kendi sunucularında hem daha ucuz hem daha hızlı çalışıyor. Sizin için de aynı mantık geçerli: 4 bit, kendi bilgisayarınızda çalıştırmayı kolaylaştırıyor ama karşılığında bir miktar kaliteden ödün veriyorsunuz.
Model boyutu dedikleri şey aslında ne demek
Bir model, aslında devasa bir kütüphane gibi düşünün. Raflardaki kitap sayısı, yani parametre sayısı, hep aynı kalıyor. Değişen şey, her kitabın ne kadar detaylı yazıldığı. O kütüphanenin tamamını (16 bit, tam sürüm) evinize taşımak isterseniz kamyon dolusu kutu gerekir. 8 bit’e indirdiğinizde her kitabı biraz daha sade bir dille, ama içeriğini kaybetmeden yeniden basarsınız; kitap sayısı aynı, hacim küçülür. 4 bit’e indiğinizde ise artık daha sert bir özetleme yaparsınız, bazı ince ayrıntılar kayboluyor ama eve sığar.
Aradığım Fable tabanlı bir modelde (27 milyar parametreli, aslında Qwen mimarisi üzerine eğitilmiş) tam bunu gördüm:
Görüyorsunuz, model 55,59 GB. Bu sadece indirme boyutu değil. Bu modeli çalıştırmak için RAM’inizde bu kadar yer olması gerekiyor, sırf açık kalabilsin diye. Küçük bir model bu arada, karşılaştırma yapayım: büyük ticari modeller (Opus tarzı) tahminen 3 trilyon parametre civarında, bu konuştuğum model ise 27 milyar. Yani ondan yüz kat küçük. Buna rağmen 56 GB RAM istiyor.
RAM yeterse iş biter mi sanıyorsunuz? Keşke o kadar basit olsa
Burada işin gerçek sıkıntılı kısmına geliyoruz: context penceresi. Yani modelin bir seferde hatırlayabildiği metin miktarı. Kendi bilgisayarımda küçük bir kodlama modelini (Gemma 4, sadece 12 milyar parametre) yüklemeye çalıştığımda karşıma şu ekran çıktı:
Model 262 bin token’a kadar context’i destekliyor diyor, güzel. Ama bunu tam kapasite yüklemeye kalktığımda GPU’ma sığmadı bile. KV cache dedikleri mekanizma yüzünden context’i büyüttükçe bellek ihtiyacı da katlanarak artıyor. Bu kadar küçük bir modeli 260 bin context’le çalıştırmaya kalksanız 50 GB’lık bir GPU bellek gerekiyor. Karşılaştırma olsun diye söyleyeyim, ticari modeller bunu 1 milyon token’a kadar sorunsuz yapıyor, çünkü arkalarında bambaşka bir donanım mimarisi var.
Bu arada ufak bir gözlem: model yüklenirken bilgisayarımın fanları anında açılmaya başladı. 12 milyarlık, yani gerçekten mütevazı bir model için bile bu kadar zorlanıyorsa makine, “bedava ve rahat” tarifine hiç uymuyor bu tablo.
Gerçek maliyet: 80 bin dolar mı, 2 milyon dolar mı?
Şimdi gelelim işin asıl can alıcı sorusuna. Diyelim ki gerçekten büyük ve güçlü bir açık kaynak modeli (Kimi K3 gibi, toplam 2,8 trilyon parametreli, MoE mimarili) ciddi anlamda, yani ticari bir model gibi kullanılabilir hızda çalıştırmak istiyorsunuz. Bunu bir yapay zeka ile birlikte oturup hesapladım:
Ucuz kurulumla saniyede 5-12 token alırsınız, yani “çalıştırdım” diyebilirsiniz ama gerçekte kullanamazsınız. Ticari seviyede bir hız isterseniz fatura 2 milyon dolara çıkıyor.
Bunu tekrar okuyun isterseniz. 80 bin dolarlık bir donanım yatırımıyla bile kullanılabilir bir hız elde edemiyorsunuz. Ticari modellerin sunduğu performansa yakın bir şey istiyorsanız rakam 2 milyon dolara fırlıyor. YouTube’daki o “bedava” videoları çeken kişi bunu size neden anlatmıyor sanıyorsunuz? “Bedava yapay zeka” başlığı, “aslında 2 milyon dolarlık bir iş bu” başlığından kat kat fazla izleniyor da ondan.
Açık kaynak modeller, aslında zengin ya da donanımı yüksek olan kullanıcıların hobisi. Herkesin cebine göre bir iş değil bu; ciddi bir bütçeniz ya da elinizde zaten güçlü bir GPU’nuz yoksa bu işten gerçek anlamda verim almanız mümkün değil.
MoE nedir, neden herkes bundan bahsediyor
Kısaca değineyim çünkü konuyu anlamak için önemli. MoE (mixture of experts) dediğiniz mimaride model tamamen belleğe yüklense de her token için modelin sadece küçük bir kısmı çalıştırılıyor, tıpkı büyük bir hastanede yatan hastaya sadece ilgili uzmanın bakması gibi. Kimi K3’te toplam parametrenin sadece yaklaşık yüzde 3,7’si aktif oluyor token başına (104 milyar aktif parametre). Bu, maliyeti epey düşürüyor ama modelin tamamını RAM’de tutma zorunluluğunu ortadan kaldırmıyor. Yani 2,8 trilyon parametrenin hepsini yine de bir yerde saklamanız gerekiyor, sadece hepsini aynı anda çalıştırmıyorsunuz. Karşılaştırma olsun diye söyleyeyim: bir önceki nesil Kimi K2 (ve K2.6), 1 trilyon toplam parametre ile 32 milyar aktif parametreye sahipti; K3 hem toplamda hem aktif parametrede epey büyüdü.
Bu iş kimin için mantıklı, kimin için değil
Burada dürüst olmak lazım. Lokal model çalıştırmanın gerçekten anlamlı olduğu birkaç durum var. Şirketinizin verisi Anthropic’e ya da OpenAI’a gönderilemiyorsa, yasal ya da sözleşmesel bir zorunluluk varsa, lokalde çalıştırmak tek seçenek olabilir. İnternetin hiç olmadığı bir ortamda anlık ve basit bir yardım almak istiyorsanız da iş görür. Bir de tabii hobi tarafı var: bilgisayarınızda bir modelin çalıştığını görmek, denemek, öğrenmek gerçekten keyifli, ben de bunu kabul ediyorum. Ama yukarıda dediğim gibi bu keyfin bir bedeli var, bu bedeli de genelde bütçesi ya da donanımı güçlü olanlar karşılıyor.
Bunun dışında “iş yapmak”, ciddi bir proje üretmek için kullanmayı düşünüyorsanız aldanmayın. Küçük bir modele basit bir kod isteği yazdırdığımda ortaya anlamsız, mantıksız bir çıktı çıktı. Aynı isteği büyük bir ticari modele yaptırdığımda arada uçurum vardı. Bu iki modeli karşılaştırmak zaten adil değil, biliyorum, ama farkın büyüklüğünü görmeniz için bilerek yaptım.
Gelecekte durum değişir mi peki
Burada da bir gerçeği söylemem lazım: bugün lokalinizde çalıştırdığınız modeller, birkaç yıl önceki GPT seviyesine denk. Yani teknoloji ucuzluyor, bu doğru. Ama büyük şirketler de aynı hızla ileri gidiyor, o compute avantajını hep en büyük modele harcıyorlar. Yani siz iki üç yıl arayla o zamanın “eski” seviyesine ulaşırken, önde giden model bambaşka bir yerde oluyor. Bu açık ne kapanıyor ne de küçülüyor, sadece kayıyor.
Toparlayalım
- 4 bit, 8 bit, 16 bit dediğiniz şey modelin ne kadar sıkıştırıldığı; 8 bit’te kayıp az, 4 bit’te kayıp belirgin ama dosya küçük.
- Lokal LLM çalıştırmak mümkün ama “bedava” değil; RAM, GPU ve elektrik faturası gerçek maliyetler.
- Büyük ve güçlü bir açık kaynak modeli ticari kalitede çalıştırmak, hesaplarına göre 80 bin dolarla 2 milyon dolar arasında bir yatırım istiyor.
- Açık kaynak modeller aslında zengin ya da donanımı yüksek kullanıcıların hobisi, herkesin işine yarayan bir çözüm değil.
- Veri güvenliği zorunluluğu varsa lokal model mantıklı bir seçenek; bunun dışında “bedava yapay zeka” vaadine kanmayın.
Bu işin zevkli bir tarafı olduğunu inkar etmiyorum, ben de arada denemeye devam edeceğim. Ama kimse size bunun bedava ya da kolay olduğunu söylemesin. Sorularınız olursa yorumlarda buluşalım.
