
Fabrika, Memo'nun yerleşik model mağazasıdır. GGUF modellerini keşfetmek, indirmek ve yönetmek için birleşik bir arayüz sunar — terminal gerekmez.
┌──────────────────────────────┐ ┌──────────────────────────────┐
│ MODELLERİM │ │ HUGGINGFACE KATALOĞU │
│ │ │ │
│ ✓ llama-3.1-8b-instruct │ │ 🔍 Model ara... │
│ Q4_K_M · 4.9 GB · GPU │ │ │
│ │ │ llama-3.2-3b-instruct │
│ ✓ nomic-embed-text-v1.5 │ │ Q4_K_M · 2.0 GB · CPU │
│ F32 · 548 MB · CPU │ │ ⬇ İndir │
│ │ │ │
│ ⬇ qwen2.5-7b-instruct │ │ phi-4-mini-instruct │
│ %78 · 3.8 / 4.9 GB │ │ Q4_0 · 2.4 GB · GPU │
│ │ │ ⬇ İndir │
└──────────────────────────────┘ └──────────────────────────────┘
Fabrika, uyumlu modelleri listelemek için HuggingFace Hub API'sini sorgular:
İndirmeler tam ilerleme takibiyle arka planda çalışır:
type DownloadState struct {
ModelID string `json:"model_id"`
FileName string `json:"file_name"`
Progress float64 `json:"progress"` // 0.0 – 1.0
Downloaded int64 `json:"downloaded"` // bayt
Total int64 `json:"total"` // bayt
Speed float64 `json:"speed"` // bayt/sn
Status string `json:"status"` // indiriliyor | tamamlandı | başarısız
}
İlk başlatmada Memo, model uyumluluğunu belirlemek için donanım teşhisleri çalıştırır:
| Teşhis | Algılama Yöntemi |
|---|---|
| NVIDIA VRAM | nvidia-smi veya CUDA kütüphane sorgusu |
| AMD VRAM | rocm-smi veya ROCm kütüphane sorgusu |
| Sistem RAM | İşletim sistemi düzeyinde bellek sorgusu |
| Apple Metal | MPS cihaz kontrolü (macOS) |
| CPU Çekirdekleri | runtime.NumCPU() |
| Disk Alanı | Model dizini için dosya sistemi istatistiği |
Katalogdaki her model bir veya daha fazla rozet gösterir:
| Rozet | Anlamı |
|---|---|
GPU |
NVIDIA/AMD GPU'ya katman aktarabilir |
Metal |
Apple Metal hızlandırma ile uyumlu |
CPU |
Yalnızca CPU'da çalışır |
8 GB |
Gereken minimum sistem RAM'i |
4 GB VRAM |
Önerilen GPU belleği |
Rozet, model boyutunun algılanan donanım kapasiteleriyle karşılaştırılmasıyla belirlenir.
GGUF niceleme türleri sade dilde açıklamalara dönüştürülür:
| GGUF Etiketi | Görünen | Kalite | Hız |
|---|---|---|---|
Q8_0 |
"Maksimum kalite" | ★★★★★ | ★★ |
Q6_K |
"Mükemmel kalite" | ★★★★ | ★★★ |
Q5_K_M |
"Harika kalite, dengeli" | ★★★★ | ★★★★ |
Q4_K_M |
"Harika kalite, hızlı" | ★★★ | ★★★★ |
Q4_0 |
"İyi kalite, çok hızlı" | ★★★ | ★★★★★ |
Q3_K_M |
"Yeterli kalite, en hızlı" | ★★ | ★★★★★ |
Q2_K |
"Düşük kalite, maksimum hız" | ★ | ★★★★★ |
F16 |
"Nicelemesiz, orijinal" | ★★★★★ | ★ |
F32 |
"Tam hassasiyet" | ★★★★★ | ★ |
Çoğu model içinQ4_K_Mile başla. Kalite, hız ve bellek kullanımı arasında en iyi dengeyi sunar. Yalnızca daha büyük bir modeli sınırlı RAM'e sığdırman gerekiyorsa nicelemeyi düşür.