test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo
- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı, 2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı → güvenlik ağı), 23-08 (r04 tekrar). - akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
88
scripts/eval/sonuc/2026-10-08T23-08-21-revizyon.json
Normal file
88
scripts/eval/sonuc/2026-10-08T23-08-21-revizyon.json
Normal file
@@ -0,0 +1,88 @@
|
||||
{
|
||||
"tur": "revizyon-koda-bagli",
|
||||
"tarih": "2026-10-08T23:08:21.137Z",
|
||||
"git": {
|
||||
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
|
||||
"dal": "v2",
|
||||
"srcKirli": [
|
||||
"M src/app/api/soru/route.ts",
|
||||
" M src/app/layout.tsx",
|
||||
" M src/components/site-footer.tsx",
|
||||
" M src/features/pazarlama/components/huni-semasi.tsx",
|
||||
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
|
||||
" M src/features/rapor/liste-revizyon.ts",
|
||||
" M src/lib/ai/araclar.ts",
|
||||
" M src/lib/ai/cagri.ts",
|
||||
" M src/lib/ai/cikti-denetimi.ts",
|
||||
" M src/lib/ai/client.ts",
|
||||
" M src/lib/ai/danisman-prompt.ts",
|
||||
" M src/lib/ai/sohbet-akisi.ts",
|
||||
" M src/lib/ai/sohbet-gecmisi.ts",
|
||||
"?? src/lib/ai/revizyon-niyeti.ts"
|
||||
]
|
||||
},
|
||||
"argv": [
|
||||
"--senaryo",
|
||||
"r04"
|
||||
],
|
||||
"ozet": {
|
||||
"sohbetModeli": "deepseek/deepseek-v4-flash",
|
||||
"niyetModeli": "deepseek/deepseek-v4-flash",
|
||||
"saglayici": "openrouter.ai",
|
||||
"n": 1,
|
||||
"gecti": 1,
|
||||
"revizyonBeklenen": 1,
|
||||
"koddanRevizyon": 1,
|
||||
"kuralDogru": 1,
|
||||
"sahteBeyan": 0,
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000806078,
|
||||
"niyetMsOrt": 5374,
|
||||
"harcama": {
|
||||
"cagri": 1,
|
||||
"girdiToken": 4265,
|
||||
"ciktiToken": 82,
|
||||
"maliyet": 0.0000806078,
|
||||
"maliyetBilinmeyenCagri": 0
|
||||
}
|
||||
},
|
||||
"senaryolar": [
|
||||
{
|
||||
"id": "r04",
|
||||
"tekrar": 0,
|
||||
"aciklama": "form cevabı (QA'da araçsız kaldı)",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"universiteTipi": "devlet",
|
||||
"iskelet": "hayal-agirlikli",
|
||||
"not": "Dilim hayal ağırlıklı, sadece devlet üniversitesi, İstanbul eklendi"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 5374,
|
||||
"sohbetMs": 11,
|
||||
"ms": 5385,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000806078,
|
||||
"sohbetCagri": 0,
|
||||
"sohbetMaliyet": null,
|
||||
"cevap": "Listeni yeniden kurdum — iller: İstanbul eklendi; üniversite tipi: devlet; iskelet: hayal ağırlıklı (7/12/5). 24 tercih: 7 hayal / 12 dengeli / 5 güvenli.\n\nİlk 5:\n1. Bilgisayar Mühendisliği — Bursa Uludağ Üniversitesi (Bursa)\n2. Bilgisayar Mühendisliği — İzmir Katip Çelebi Üniversitesi (İzmir)\n3. Biyomühendislik — Ege Üniversitesi (İzmir)\n4. Yazılım Mühendisliği — Ostim Teknik Üniversitesi (Ankara)\n5. Yazılım Mühendisliği — Türk Hava Kurumu Üniversitesi (Ankara)\n\nEkrandaki liste yenilendi. Bir programı sormak ya da başka bir şey değiştirmek istersen yaz."
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user