❤️ Donasi
Brainy adalah asisten riset open‑source yang tersedia di askbrainy.com dan Telegram. Proyek ini memakai alat gratis dan anggaran kecil. Saat ini berjalan di Mac mini A1347 (2012, MD387D/A) yang dibeli di eBay seharga €56 (belum ongkir). Perangkat ini menjaga layanan tetap tersedia, namun tidak sesuai untuk menjalankan LLM modern secara lokal.
Meski memiliki RAM 16 GB dan SSD, Intel Core i5‑2415M dan Intel HD 3000 membatasi kinerja inferensi lokal. Karena itu, Brainy menggunakan Together AI untuk inferensi. Ini berfungsi dengan beberapa batasan:
- Pada endpoint gratis, konteks terbatas (8.193 token gabungan masuk+keluar). Riset multi‑dokumen dan riwayat percakapan panjang cepat mencapai batas.
- Batas RPM/TPM tercapai lebih cepat saat penggunaan meningkat.
- Pool model gratis bisa padat dan menolak permintaan.
Perangkat menyala 24/7 (≈ €10/bulan listrik). Donasi memberi dampak langsung dan terukur.
Brainy akan tetap gratis dan open‑source. Donasi membantu menghindari paywall serta menjaga keterbukaan kode.
🎯 Target
1) $50 (mikro) — isi saldo Together AI untuk meningkatkan throughput (Build Tier 2).
2) $750 (makro) — beli Mac mini (M4, CPU 10‑inti / GPU 10‑inti, 16 GB unified) (mis. computeruniverse.net). Tujuan: menjalankan model ~14B (terkuantisasi) secara lokal dan mengurangi beban Together. Apple: 4 W idle / 65 W maks; Mini 2012 hingga 85 W.
⏳ Progres
Target: $750
$0 [>-----------------------] 0%
Kontak: [email protected] (iklan/sponsor/kolaborasi memungkinkan).
🧠 Performa (14B, kuantisasi)
| Mesin | Stack | Model / Kuant | Token/det (TG) | Catatan |
|---|---|---|---|---|
| Mac mini (2012) i5‑3210M, CPU | llama.cpp (CPU), Q4 | ~0.5–1.5 t/det (estimasi) | Pada CPU lebih baru: 13–34B ~1.5–4 t/det; dual‑core lebih lambat. | |
| Mac mini (M4, 16 GB, 10‑GPU) | Metal/MLX, Q4/Q5 | ~15–20 t/det (estimasi) | M4 Pro (64 GB) dilaporkan 30–35 t/det; M4 dasar lebih rendah. | |
| PC RTX 3060 (12 GB) | llama.cpp (CUDA), Qwen2 14B Q5_K_M | 28.9 t/det (terukur) | Referensi ~28.88 t/det; berkas ~9.8 GiB. |
⚡ Efisiensi (token/W)
- M4 (dasar): 4 W idle / 65 W maks; Mini 2012: hingga 85 W; RTX 3060: TGP ≈ 170 W (GPU).
- Estimasi: Mini 2012 ≈ 0.012 t/det/W; M4 ≈ 0.28 t/det/W; 3060 (GPU) ≈ 0.17 t/det/W.
🔧 Together AI
Ada batas per‑model; kemacetan dapat memicu 429 meski dalam batas nominal. Build Tier 2 mengurangi kemacetan pool.
📦 Dampak donasi
- $50: hingga 60 RPM pada model gratis → lebih sedikit 429.
- $750: inferensi lokal ~14B; lebih sedikit panggilan API.
Manfaat: lebih banyak konteks, stabil pada lonjakan trafik, iterasi fitur lebih cepat.