❤️ Bağış

Brainy, açık kaynak bir araştırma asistanıdır; askbrainy.com ve Telegram üzerinde sunulmaktadır. Proje ücretsiz araçlar ve sınırlı bütçe ile yürütülmektedir. Şu anda Mac mini A1347 (2012, MD387D/A) üzerinde çalışmaktadır (eBay: 56 €, kargo hariç). Bu donanım hizmeti erişilebilir kılar; ancak modern LLM’leri yerelde çalıştırmak için uygun değildir.

16 GB RAM ve SSD olmasına rağmen Intel Core i5‑2415M ile Intel HD 3000 yerel çıkarım performansını sınırlar. Bu nedenle Brainy, çıkarım için Together AI kullanır. Kısıtları:

  • Ücretsiz uç noktalarda bağlam sınırlıdır (giriş+çıkış toplam 8.193 token). Çok belgeli sorgular ve uzun geçmişler hızlıca sınıra ulaşır.
  • RPM/TPM kotaları kullanım arttığında erken devreye girer.
  • Ücretsiz model havuzları zaman zaman yoğunlaşır ve talepleri reddedebilir.

Cihaz 7/24 açıktır (yaklaşık aylık 10 € elektrik). Bağışlar doğrudan ve ölçülebilir etki sağlar.

Brainy ücretsiz ve açık kaynak kalacaktır. Bağışlar paywall’ları önler ve kodun açık kalmasına katkı verir.


🎯 Hedefler

1) 50 $ (mikro) — Together AI bakiyesinin artırılması (Build Tier 2).
2) 750 $ (makro)Mac mini (M4, 10 çekirdek CPU / 10 çekirdek GPU, 16 GB birleşik) temini (örn. computeruniverse.net). Amaç: ~14B (kuantize) modelleri yerelde çalıştırmak ve Together yükünü azaltmak. Apple: 4 W boşta / 65 W azami; 2012 Mini 85 W’a kadar.


⏳ İlerleme

Hedef: 750 $

0 $   [>-----------------------] 0%

İletişim: [email protected] (reklam/sponsor/iş birlikleri mümkündür).


🧠 Performans (14B, kuantize)

Makine Yığın Model / Kuant Token/s (TG) Not
Mac mini (2012) i5‑3210M, CPU llama.cpp (CPU), Q4 ~0.5–1.5 t/s (tah.) Daha yeni CPU’larda 13–34B ~1.5–4 t/s; eski çift çekirdek daha yavaştır.
Mac mini (M4, 16 GB, 10‑GPU) Metal/MLX, Q4/Q5 ~15–20 t/s (tah.) M4 Pro (64 GB) için 30–35 t/s raporlanmıştır; temel M4 daha düşüktür.
PC (RTX 3060, 12 GB) llama.cpp (CUDA), Qwen2 14B Q5_K_M 28.9 t/s (ölç.) Referans ~28.88 t/s; dosya ~9.8 GiB.

⚡ Verimlilik (token/W)

  • M4 (temel): 4 W boşta / 65 W azami; 2012 Mini: 85 W’a kadar; RTX 3060: TGP ≈ 170 W (GPU).
  • Yaklaşık: 2012 Mini ≈ 0.012 t/s/W; M4 ≈ 0.28 t/s/W; 3060 (GPU) ≈ 0.17 t/s/W.

🔧 Together AI

Model bazlı kotalar yoğunlukta 429 hatalarına yol açabilir. Build Tier 2 daha az yoğun havuzlar sunar.


📦 Bağış etkisi

  • 50 $: free modellerde 60 RPM’e kadar → daha az 429.
  • 750 $: yerel ~14B çıkarım; daha az API çağrısı.

Faydalar: daha fazla bağlam, piklerde daha stabil çalışma, hızlı iterasyon.