Jurang Kandungan, soalan pengguna di mana chatbot mendapat sumber lemah (≤2 rujukan) atau jawab "tidak terdapat dalam dokumen". Tindakan: tambah dokumen rujukan baru untuk topik ini supaya chatbot boleh menjawab dengan tepat pada masa depan.
#
Masa
Soalan
Petikan Jawapan
Sumber
Signal
Tiada jurang kandungan dikesan. Bagus!
Penilaian Kualiti (LLM-as-judge), Qwen3.5-27B menilai sampel perbualan harian pada tiga dimensi: grounded (berdasarkan dokumen), helpful (membantu pengguna), safe (tiada halusinasi). Skor 0–5. Berjalan setiap malam 02:30.
Tarikh
Saiz Sampel
Grounded
Helpful
Safe
Ralat
Model
Tiada keputusan penilaian lagi. Tunggu sehingga 02:30 untuk run pertama, atau jalankan secara manual: scripts/daily_eval.py
Penggunaan Token & Anggaran Kos, jumlah token dikira dari conversations.csv. Anggaran kos diunjur ke pelbagai pembekal AI komersial berdasarkan harga senarai awam (USD per 1 juta token). Tukaran USD ke MYR boleh diubah melalui env USD_TO_MYR. Harga boleh diubah melalui env TOKEN_PRICING_JSON.
Jumlah Penggunaan:
Pecahan Mengikut Model
Model
Rekod
Input
Cached
Output
Total
Anggaran Kos Mengikut Pembekal
Disusun dari termurah ke termahal. Harga per 1 juta token (USD).
Pembekal/Model
Input/1M
Cached/1M
Output/1M
Anggaran (USD)
Anggaran (MYR)
Tiada data token lagi. Hantar beberapa soalan dahulu.
Penggunaan API Luar, panggilan ke perkhidmatan luar seperti enjin carian (Tavily, Brave) yang dilog dalam api_calls.csv. STT/TTS/LLM tempatan tidak dikira di sini (lihat tab Tokens). Harga per panggilan boleh diubah melalui env API_PRICING_JSON.
Jumlah Sebenar:
Penggunaan Sebenar Mengikut Perkhidmatan
Perkhidmatan
Panggilan
Berjaya
Gagal
Hasil
Purata Latensi (ms)
Harga/Panggilan
Kos (USD)
Kos (MYR)
What-If: Kos Jika Semua Panggilan Berjaya Menggunakan Perkhidmatan Lain
Unjuran kos hipotetikal jika seluruh beban kerja dialihkan ke setiap pembekal. Disusun dari termurah ke termahal.
Perkhidmatan
Harga/Panggilan (USD)
Unjuran (USD)
Unjuran (MYR)
Nota
Tiada panggilan API luar lagi. Pertanyaan luaran/hibrid belum mencetuskan carian web.
