ru de en es fr id pt tr

❤️ Пожертвовать

Брейни — ваш бесплатный AI-чатбот с открытым исходным кодом, доступный на сайте askbrainy.com и в Telegram. Сейчас он работает на условно бесплатных API (есть лимиты) и стареньком железе: Mac Mini A1347 (2012, MD387D/A), купленном на eBay за €56 (плюс стоимость доставки). Устройство имеет 16 ГБ ОЗУ и SSD — для MVP подходит, но морально (и физически) устаревшие Intel Core i5-2415M и Intel HD 3000 Graphics не позволяют запускать современные языковые модели локально.

Поэтому Брейни использует Together AI для инференса. Это решает задачу, но есть нюансы:

  • Маленькое контекстное окно (8,193 токена на ввод+вывод), поэтому сейчас он не помнит историю чата.
  • Бесплатные модели перегружены и часто выдают ошибки.

Mac Mini потребляет электричества на ≈ 10 €/мес.. Любое ваше пожертвование позволяет оплачивать текущие счета.

Брейни останется бесплатным и открытым навсегда, даже если он никогда не выйдет на самоокупаемость.

🎯 Цели финансирования

1) Цель 1 — $50 (микро)
Пополнить Together AI на $50 для перехода на план Build Tier 2, чтобы обслуживать больше пользователей одновременно.

2) Цель 2 — $750 (макро)
Купить новый Mac mini (M4, 10‑ядерный CPU / 10‑ядерный GPU, 16 ГБ униф.) — например, вот такой: www.computeruniverse.net

Почему именно его? Чип M4 обладет высочайшей энергоэффективностью (4 Вт в режиме простоя / до 65 Вт под нагрузкой против 85 Вт у Mac Mini 2012), а его мощности с лихвой хватает для локального запуска моделей с ~14B параметров (в квантованном виде). Это позволит увеличить контекстное окно до 131,000 токенов и снизить нагрузку на Together AI. В итоге — выиграют все бесплатные пользователи.

⏳ Прогресс (онлайн)

Цель: $750

$0   [>-----------------------] 0%

Реклама / спонсорство / коллабы тоже идут в зачёт цели.
✉️ Контакт: [email protected]

🧠 Почему именно M4

1) Производительность моделей: старый Mini vs M4 Mini vs RTX 3060 (14B, квант.)

Возьмём популярное семейство 14B (напр., Qwen 2 14B в Q4/Q5) и локальный инференс в духе llama.cpp/MLX как эталон.

Машина Стек Модель / Квант Токенов/с (TG) Заметки
Старый Mac mini (2012) i5‑3210M, только CPU llama.cpp (CPU), Q4 ~0.5–1.5 t/s (оценка) Сообщения сообщества на гораздо более новых многоканальных CPU дают 13–34B ~1.5–4 t/s; у двухъядерного Ivy Bridge сильно хуже. Порядок величины.
Mac mini (M4, 16 ГБ, 10‑GPU) Metal/MLX, Q4/Q5 ~15–20 t/s (оценка) На M4 Pro (64 ГБ) сообщают 30–35 t/s для Qwen 2.5 14B (MLX + speculative decoding). База M4 (меньше ядер и памяти) будет ниже; оценка консервативная.
ПК с RTX 3060 (12 ГБ) llama.cpp (CUDA), Qwen2 14B Q5_K_M 28.9 t/s (замер) Бенчмарк показывает 28.88 t/s и файл ~9.8 GiB — легко помещается в 12 ГБ VRAM.

Итог: M4 Mini на порядок быстрее Mini 2012 и сопоставим с ПК на RTX 3060 для нагрузок ~14B в INT4/INT5 — при гораздо меньшем энергопотреблении.

2) Энергоэффективность (токенов на ватт)

Официальные цифры Apple:

  • Mac mini (M4, базовый): 4 Вт idle / 65 Вт макс
  • Mac mini (конец 2012): до 85 Вт макс

Для ПК‑эталона:

  • RTX 3060 TGP ≈ 170 Вт (только GPU; вся система — больше).

Приблизительные оценки эффективности (фаза генерации):

  • Старый Mini (2012, CPU): ~1 t/s ÷ 85 Вт ≈ 0.012 t/s/W.
  • M4 Mini: ~18 t/s ÷ 65 Вт ≈ 0.28 t/s/W.
  • ПК с RTX 3060 (только GPU): 28.9 t/s ÷ 170 Вт ≈ 0.17 t/s/W (без остальной системы).

Вывод: M4 Mini уступает ПК на базе NVIDIA GeForce RTX 3060 12 GB по абсолютной скорости, но обеспечивает ~1.6× больше токенов/Вт (для части «только GPU») и существенно меньшее энергопотребление всей системы. Для 24/7-сервиса это практичнее и дешевле.

🔧 Together AI: плюсы и ограничения

Together предоставляет широкий выбор бесплатных моделей, но с ограничениями.
Часть бесплатных эндпойнтов вводит строгие лимиты по конкретным моделям, например, "meta-llama/Llama-3.3-70B-Instruct-Turbo-Free". Кроме того, бесплатные пулы часто перегружены и выдают ошибку 429 даже при работе в рамках номинальных лимитов.

Типичная ошибка:

together.error.RateLimitError: Error code: 429
{"message":"You have reached the rate limit specific to this model meta-llama/Llama-3.3-70B-Instruct-Turbo-Free.
The maximum rate limit for this model is 6.0 queries and 180000 tokens per minute."}

📦 Что дают пожертвования

  • $50 (Build Tier 2):
  • Увеличение RPM на бесплатных моделях в 10 раз: c 6 до 60 RPM.
  • $750 (M4 Mini):
  • Локальный 14B‑инференс на приемлемой скорости (см. таблицу).
  • Существенно лучше по энергоэффективности, чем ПК с GPU.
  • Together AI остаётся для задач, требующих 70B+.

📦 Что это даст всем

  • Улучшение качества ответов.
  • Повышение надежности работы.
  • Обслуживание большего количества пользователей одновременно.

💸 Как пожертвовать (пока только крипта)

  • USDT (TRC‑20): TK5uyyAbuchtBS4hwWwtQA4G15MA54RDkG
  • USDT (BSC): 0x942891F9a02632d67C496305c9746ACedfC0eb2D
  • USDT (SOL): 5yzcNUo8r7goHZMzwF9hPS8MVqXevwuyT4S8hhyHQVqK

Если хотите разместить рекламу, стать спонсором или сделать коллаб — пишите:
✉️ [email protected]

📝 TL;DR

  • Брейни всегда будет помогать бесплатно. 100% от ваших пожертвований пойдут на оплату электричества, API-сервисов и на новое железо.
  • Страница будет обновляться по мере заполнения прогресс-бара с подтверждением расходов (скриншоты/ссылки).
  • Если хотите указать назначение средств (например, «только на пополнение Build Tier 2»), сообщите об этом по электронной почте — это будет учтено.
  • Пожертвования не возвращаются. См. Условия использования.

Спасибо, что дочитали ❤️ Даже небольшое пожертвование в 1-2 USDT мотивирует Брейни работать усерднее и заниматься саморазвитием (внедрением новых фич).