Editör: Enver Adıgüzel
Açık ağırlıklı yapay zekâ modelleri, en iyi kapalı modellerin yalnızca ortalama dört ay gerisinde kalıyor. Epoch AI’ın 29 Mayıs tarihli analizine göre bu fark, Ocak 2026’dan bu yana bu düzeyde seyrediyor. Üstelik bu modellerin pek çoğu, muhtemelen zaten sahip olduğunuz donanımda çalışabiliyor.
Açık ağırlık, şirketin modelin öğrendiği her şeyi barındıran dosyaları yayımlaması anlamına geliyor. Böylece herkes bu dosyaları indirip çalıştırabiliyor. Ollama ve LM Studio adlı iki ücretsiz program bu süreci yönetiyor. Ollama kütüphanesindeki Gemma 4 indirmeleri yaklaşık 4,6 GB ile 20 GB arasında değişiyor.
Ayrıca Okuyun
Yerel çalıştırmanın avantajları
Açık modellerle ayda 20 dolarlık bir abonelik ödemeden ya da konuşmalarınızı başkasının sunucularına göndermeden işe yarar bir sohbet robotu kullanabilirsiniz. Bu rehber, modelleri doğrudan bilgisayarınıza nasıl indireceğinizi, hangi donanıma ihtiyacınız olacağını ve Ollama ile LM Studio gibi ücretsiz araçlarla nasıl başlayacağınızı anlatıyor.
Bulut tabanlı bir sohbet robotu her istemi şirketin sunucularına gönderiyor. Decrypt’in gizlilik odaklı yapay zekâ araçlarına dair incelemesinde aktarıldığına göre, bir mahkeme OpenAI’a silinenler dahil ChatGPT kayıtlarını saklama emri verdi. Yerel bir model işe konuşmayı bilgisayarınızda tutuyor; sizin izniniz olmadan kimse bu konuşmaya erişemiyor.
LM Studio’nun belgelerine göre uygulama, “tamamen çevrim dışı çalışabiliyor”; yeter ki önce model dosyalarını edinilmiş olun. Sohbete eklenen belgeler de çevrim dışı kullanılabiliyor.
Donanımınız neleri kaldırır
Modeller, eğitim sırasında ayarlanan iç sayılar olan parametrelerle ölçülüyor ve indirme boyutu da parametre sayısıyla birlikte artıyor. Modelin, ekran kartınızın video belleğine (VRAM) ya da Mac’lerdeki, işlemci ile grafik çipinin paylaştığı birleşik belleğe sığması gerekiyor.
Genel bir kural olarak en az 8 GB VRAM öneriliyor. Daha ciddi kullanımlar için 24 GB ve üzeri VRAM’e sahip bir oyun ekran kartı ya da birleşik belleğe sahip Mac Mini veya Nvidia DGX Spark gibi yapay zekâ makineleri düşünülebilir.
Nicemleme, her ağırlığı daha az bitle saklayarak modeli küçültür. Hugging Face belgelerinde bu işlem, ağırlıkların 32 bitlik kayan nokta yerine 8 bitlik tam sayı gibi düşük hassasiyetli veri tipleriyle temsil edilmesi olarak tanımlanıyor. Bellek kullanımı azalıyor, bunun bedeli işe bir miktar doğrulukta kayıp.
LM Studio, macOS 14 ve sonrası çalışan Apple Silicon Mac’lerde en az 16 GB RAM öneriyor; daha küçük modeller 8 GB’lık Mac’lerde de çalışabiliyor. Windows’ta işe en az 16 GB RAM ile 4 GB ayrılmış VRAM ve AVX2 destekli işlemci gerekiyor. Intel tabanlı Mac’ler desteklenmiyor.
Ollama ve LM Studio kurulumu
Görsel arayüzü daha cilalı olduğu için çoğu kullanıcı için LM Studio daha uygun. Ollama işe terminalde çalışmayı tercih eden geliştiriciler ve daha deneyimli kullanıcılar için tasarlanmış.
LM Studio’da işletim sisteminize uygun kurulum dosyasını lmstudio.ai adresinden indirip uygulama içinde bir model arayabilirsiniz. Uygulama, açık modellerin yayımlandığı genel merkez Hugging Face’i tarıyor. Model ağırlıklarını indirdikten sonra sohbeti başlatabilirsiniz.
Ollama için macOS ve Linux kullanıcıları, kurulum komutu olarak curl -fsSL https://ollama.com/install.sh | sh satırını çalıştırabilir. Windows kullanıcıları işe PowerShell’de irm https://ollama.com/install.ps1 | iex komutunu kullanabilir. Her iki komut da Ollama’nın indirme sayfasında yer alıyor.
ollama pull gemma4:e2b komutu modeli indirir, ollama run gemma4:e2b işe sohbeti açar. Çıkmak için /bye yazmak yeterli. Program ayrıca http://localhost:11434 adresinde yerel bir arayüz açıyor; bilgisayarınızdaki diğer uygulamalar da modeli bu adres üzerinden kullanabiliyor.
Adı “:cloud” ile biten modeller, örneğin gemma4:cloud, bulut üzerinde çalışır ve indirme gerektirmez. Gizlilik öncelikliyse bunları atlamak gerekiyor. Yine de daha güçlü modellere ihtiyaç duyanlar için bu bir alternatif olabilir; bu yolla yapılan çağrılar ve istemler sağlayıcının sunucularında saklanmıyor ve model eğitiminde kullanılmıyor.
Yerel modellerin hâlâ geride kaldığı yerler
Dört aylık ortalama, en yetenekli açık modeller için geçerli. En büyük modeller işe tüketici donanımının çok ötesinde. Alibaba’nın Qwen3,8-Max modeli toplam 2,4 trilyon parametreye sahip; her an bunların 95 milyarı etkin durumda. Bu, gpt-oss-120b’nin 80 GB bellekle çalışabildiği düzeyin çok üzerinde.
Bir model VRAM’e sığmadığında sistem RAM’ine taşabiliyor ve yanıtlar belirgin biçimde yavaşlayabiliyor. Daha geniş bağlam pencereleri de daha fazla bellek gerektiriyor. Gemma 4’ün küçük modelleri 128 bin, daha büyük olanları işe 256 bin tokenlik bağlam penceresi sunuyor.
Bulut hizmetlerinde bu tür bir planlamaya gerek yok ve arkalarındaki en gelişmiş modeller, en zor testlerde hâlâ öne çıkıyor.
Kaynak: Epoch AI
