test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo

- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte
  çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet
  gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı,
  2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı
  → güvenlik ağı), 23-08 (r04 tekrar).
- akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte
  beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
bilalgursen
2026-10-09 02:10:59 +03:00
parent bad5856a52
commit e9dfa354f8
7 changed files with 1564 additions and 64 deletions

View File

@@ -0,0 +1,117 @@
{
"tur": "revizyon-koda-bagli",
"tarih": "2026-10-08T22:57:23.751Z",
"git": {
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
"dal": "v2",
"srcKirli": [
"M src/app/api/soru/route.ts",
" M src/app/layout.tsx",
" M src/components/site-footer.tsx",
" M src/features/pazarlama/components/huni-semasi.tsx",
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
" M src/features/rapor/liste-revizyon.ts",
" M src/lib/ai/araclar.ts",
" M src/lib/ai/cagri.ts",
" M src/lib/ai/cikti-denetimi.ts",
" M src/lib/ai/client.ts",
" M src/lib/ai/danisman-prompt.ts",
" M src/lib/ai/sohbet-akisi.ts",
" M src/lib/ai/sohbet-gecmisi.ts",
"?? src/lib/ai/revizyon-niyeti.ts"
]
},
"argv": [
"--senaryo",
"r03,r09"
],
"ozet": {
"sohbetModeli": "deepseek/deepseek-v4-flash",
"niyetModeli": "deepseek/deepseek-v4-flash",
"saglayici": "openrouter.ai",
"n": 2,
"gecti": 2,
"revizyonBeklenen": 1,
"koddanRevizyon": 1,
"kuralDogru": 1,
"sahteBeyan": 0,
"niyetCagri": 2,
"niyetMaliyet": 0.0001497496,
"niyetMsOrt": 3374,
"harcama": {
"cagri": 4,
"girdiToken": 32182,
"ciktiToken": 701,
"maliyet": 0.00048822592,
"maliyetBilinmeyenCagri": 0
}
},
"senaryolar": [
{
"id": "r03",
"tekrar": 0,
"aciklama": "2 başarılı revizyon geçmişte (QA 3. istek)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"BURSA"
]
},
"not": "İlk 5 tercih Bursa ilinde olsun"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2105,
"sohbetMs": 5663,
"ms": 7768,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000713804,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0002913274,
"cevap": "Liste yenilendi — ilk 5 tercihin Bursa'daki programlara kaydı. Yeni ilk 5'in şöyle:\n\n1. **Kimya Mühendisliği** — Bursa Teknik Üniversitesi\n2. **Endüstri Mühendisliği** — Mudanya Üniversitesi\n3. **Bilgisayar Mühendisliği** — Bursa Teknik Üniversitesi\n4. **Bilgisayar Mühendisliği** — Bursa Uludağ Üniversitesi\n5. **Mekatronik Mühendisliği** — Bursa Teknik Üniversitesi\n\nDiğer 19 tercih de dengeli ve güvenli dilimlerle birlikte ekrana geldi. Dilersen belirli bir programın ayrıntısına bakabilir ya da risk dağılımıyla ilgili soru sorabilirsin."
},
{
"id": "r09",
"tekrar": 0,
"aciklama": "2 geçmiş, belirsiz istek → form",
"beklenen": "soru",
"regex": true,
"niyet": "revizyon",
"dal": "form",
"kural": null,
"eksik": [
"istek"
],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": null,
"araclar": [
"soru_sor"
],
"hata": null,
"niyetMs": 4643,
"sohbetMs": 2208,
"ms": 6851,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000783692,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00004714892,
"cevap": "Tabii, neyi değiştirmek istediğini kısaca yazar mısın? Örneğin: ilk 5'in hangi ile göre güncellenmesi, belirli bir bölümün eklenmesi/çıkarılması, vakıf üniversitelerinin çıkarılması ya da daha güvenli bir liste gibi. Net bir istek yazarsan hemen yeniden kurabilirim."
}
]
}