test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo

- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte
  çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet
  gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı,
  2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı
  → güvenlik ağı), 23-08 (r04 tekrar).
- akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte
  beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
bilalgursen
2026-10-09 02:10:59 +03:00
parent bad5856a52
commit e9dfa354f8
7 changed files with 1564 additions and 64 deletions

View File

@@ -0,0 +1,88 @@
{
"tur": "revizyon-koda-bagli",
"tarih": "2026-10-08T23:08:21.137Z",
"git": {
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
"dal": "v2",
"srcKirli": [
"M src/app/api/soru/route.ts",
" M src/app/layout.tsx",
" M src/components/site-footer.tsx",
" M src/features/pazarlama/components/huni-semasi.tsx",
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
" M src/features/rapor/liste-revizyon.ts",
" M src/lib/ai/araclar.ts",
" M src/lib/ai/cagri.ts",
" M src/lib/ai/cikti-denetimi.ts",
" M src/lib/ai/client.ts",
" M src/lib/ai/danisman-prompt.ts",
" M src/lib/ai/sohbet-akisi.ts",
" M src/lib/ai/sohbet-gecmisi.ts",
"?? src/lib/ai/revizyon-niyeti.ts"
]
},
"argv": [
"--senaryo",
"r04"
],
"ozet": {
"sohbetModeli": "deepseek/deepseek-v4-flash",
"niyetModeli": "deepseek/deepseek-v4-flash",
"saglayici": "openrouter.ai",
"n": 1,
"gecti": 1,
"revizyonBeklenen": 1,
"koddanRevizyon": 1,
"kuralDogru": 1,
"sahteBeyan": 0,
"niyetCagri": 1,
"niyetMaliyet": 0.0000806078,
"niyetMsOrt": 5374,
"harcama": {
"cagri": 1,
"girdiToken": 4265,
"ciktiToken": 82,
"maliyet": 0.0000806078,
"maliyetBilinmeyenCagri": 0
}
},
"senaryolar": [
{
"id": "r04",
"tekrar": 0,
"aciklama": "form cevabı (QA'da araçsız kaldı)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"İSTANBUL"
]
},
"universiteTipi": "devlet",
"iskelet": "hayal-agirlikli",
"not": "Dilim hayal ağırlıklı, sadece devlet üniversitesi, İstanbul eklendi"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 5374,
"sohbetMs": 11,
"ms": 5385,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000806078,
"sohbetCagri": 0,
"sohbetMaliyet": null,
"cevap": "Listeni yeniden kurdum — iller: İstanbul eklendi; üniversite tipi: devlet; iskelet: hayal ağırlıklı (7/12/5). 24 tercih: 7 hayal / 12 dengeli / 5 güvenli.\n\nİlk 5:\n1. Bilgisayar Mühendisliği — Bursa Uludağ Üniversitesi (Bursa)\n2. Bilgisayar Mühendisliği — İzmir Katip Çelebi Üniversitesi (İzmir)\n3. Biyomühendislik — Ege Üniversitesi (İzmir)\n4. Yazılım Mühendisliği — Ostim Teknik Üniversitesi (Ankara)\n5. Yazılım Mühendisliği — Türk Hava Kurumu Üniversitesi (Ankara)\n\nEkrandaki liste yenilendi. Bir programı sormak ya da başka bir şey değiştirmek istersen yaz."
}
]
}