kecil-cache kodekecil.ai.id · gateway
Memuat status...

Kode Kecil · Semantic LLM Gateway

Uji kemiripan vektor & hemat latensi LLM secara langsung.

Proxy POST /v1/chat/completions dengan pencarian cosine similarity di memori Go dan penyimpanan persisten SQLite WAL. Geser ambang batas kemiripan, kirim variasi kalimat, dan amati perbandingan waktu respons nyata.

Embedding memuat...
Dimensi Vektor memuat
Mode Upstream memuat

Telemetri Server Langsung

Data diambil langsung dari penghitung atomik gateway dan runtime.MemStats proses Go.

Rasio Cache Hit 0.0% 0 hit · 0 miss · 0 bypass
Rata-Rata Hit vs Miss N/A vs N/A Latensi respons gateway (ms)
Token Dihemat 0 Prompt + completion dari cache
Estimasi Biaya Dihemat $0.0000 Tarif $0.60 / 1M token
RAM Proses Go (Alloc / Sys) memuat Indeks: 0 / 10.000 slot

Penguji Prompt & Ambang Kemiripan

Kirim prompt pertama untuk mengisi cache (MISS), lalu kirim parafrasa atau geser slider threshold untuk menguji HIT dan BYPASS.

Skenario cepat:
0.85

Skor cosine >= nilai ini menghasilkan HIT. Dikirim via header X-Kecil-Threshold.

0.20

Otomatis bypass cache bila nilai di atas 0.70.

Opsi Namespace & Header HTTP Tambahan

Belum Ada Permintaan Diuji

Tekan tombol Kirim ke /v1/chat/completions di sebelah kiri atau pilih skenario cepat untuk melihat status HIT/MISS, skor cosine similarity, dan perbandingan latensi.

Inspektor Entri Cache Terbaru

Daftar vektor prompt yang sedang aktif di memori dan database SQLite WAL beserta hitung mundur masa berlaku (TTL).

Indeks Cache Masih Kosong

Belum ada prompt tersimpan di SQLite maupun memori. Kirim permintaan pertama melalui panel Penguji Prompt di atas untuk melihat entri muncul di sini.

Integrasi Langsung ke Aplikasi

Arahkan baseURL SDK OpenAI ke alamat gateway ini tanpa mengubah struktur payload aplikasi.


    

Kosongkan seluruh cache vektor?

Tindakan ini akan menghapus semua prompt dan vektor dari SQLite serta mereset penghitung telemetri di memori.