test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo
- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı, 2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı → güvenlik ağı), 23-08 (r04 tekrar). - akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
bilalgursen
383
scripts/eval/sonuc/2026-10-08T23-02-50-revizyon.json
Normal file
383
scripts/eval/sonuc/2026-10-08T23-02-50-revizyon.json
Normal file
@@ -0,0 +1,383 @@
|
||||
{
|
||||
"tur": "revizyon-koda-bagli",
|
||||
"tarih": "2026-10-08T23:02:50.624Z",
|
||||
"git": {
|
||||
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
|
||||
"dal": "v2",
|
||||
"srcKirli": [
|
||||
"M src/app/api/soru/route.ts",
|
||||
" M src/app/layout.tsx",
|
||||
" M src/components/site-footer.tsx",
|
||||
" M src/features/pazarlama/components/huni-semasi.tsx",
|
||||
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
|
||||
" M src/features/rapor/liste-revizyon.ts",
|
||||
" M src/lib/ai/araclar.ts",
|
||||
" M src/lib/ai/cagri.ts",
|
||||
" M src/lib/ai/cikti-denetimi.ts",
|
||||
" M src/lib/ai/client.ts",
|
||||
" M src/lib/ai/danisman-prompt.ts",
|
||||
" M src/lib/ai/sohbet-akisi.ts",
|
||||
" M src/lib/ai/sohbet-gecmisi.ts",
|
||||
"?? src/lib/ai/revizyon-niyeti.ts"
|
||||
]
|
||||
},
|
||||
"argv": [],
|
||||
"ozet": {
|
||||
"sohbetModeli": "deepseek/deepseek-v4-flash",
|
||||
"niyetModeli": "deepseek/deepseek-v4-flash",
|
||||
"saglayici": "openrouter.ai",
|
||||
"n": 10,
|
||||
"gecti": 10,
|
||||
"revizyonBeklenen": 8,
|
||||
"koddanRevizyon": 8,
|
||||
"kuralDogru": 8,
|
||||
"sahteBeyan": 0,
|
||||
"niyetCagri": 9,
|
||||
"niyetMaliyet": 0.0007219968330000001,
|
||||
"niyetMsOrt": 3939,
|
||||
"harcama": {
|
||||
"cagri": 19,
|
||||
"girdiToken": 177844,
|
||||
"ciktiToken": 3161,
|
||||
"maliyet": 0.002504755993,
|
||||
"maliyetBilinmeyenCagri": 0
|
||||
}
|
||||
},
|
||||
"senaryolar": [
|
||||
{
|
||||
"id": "r01",
|
||||
"tekrar": 0,
|
||||
"aciklama": "geçmiş yok, net istek",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"not": "İlk 5 tercih İstanbul'daki programlardan olsun."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 4,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2553,
|
||||
"sohbetMs": 4956,
|
||||
"ms": 7509,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000072709,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00022602944,
|
||||
"cevap": "Listeyi revize etmek için isteğini aldım. Şu an ilk 5 tercihin tamamı İstanbul dışındaki illerde (Bursa, İzmir, Ankara). Sunucu listeyi yeniden kuruyor — birkaç saniye sürebilir.\n\n---\n\n**Liste yenilendi!** Ekranda göreceksin. Şöyle özetleyeyim:\n\n- İlk 5 tercihin artık **İstanbul'daki** programlardan oluşuyor. \n- Hayal dilimindeki riskli programlar İstanbul'a kaydı; dengeli ve güvenli satırlar da buna göre yeniden dağıtıldı. \n- Toplam 24 tercih korundu; dağılım: **5 Hayal, 13 Dengeli, 6 Güvenli**.\n\nİlk 5 tercihin (İstanbul):\n\n1. **Bilgisayar Mühendisliği — İSTANBUL ÜNİVERSİTESİ-CERRAHPAŞA** \n2. **Bilgisayar Mühendisliği — İSTANBUL MEDENİYET ÜNİVERSİTESİ** \n3. **Bilgisayar Mühendisliği — YILDIZ TEKNİK ÜNİVERSİTESİ** \n4. **Yazılım Mühendisliği — İSTANBUL TOPKAPI ÜNİVERSİTESİ** \n5. **Yazılım Mühendisliği — İSTANBUL KÜLTÜR ÜNİVERSİTESİ**\n\nListeyi inceleyip sorularını beklerim."
|
||||
},
|
||||
{
|
||||
"id": "r02",
|
||||
"tekrar": 0,
|
||||
"aciklama": "1 başarılı revizyon geçmişte",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"İZMİR"
|
||||
]
|
||||
}
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1116,
|
||||
"sohbetMs": 3975,
|
||||
"ms": 5091,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000715806,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.0002866136,
|
||||
"cevap": "Listeyi yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5:\n\n1. **Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR)**\n2. **Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR)**\n3. **Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)**\n4. **Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)**\n5. **İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR)**\n\nHayal dilimindeki yazılım ve bilgisayar mühendislikleri İzmir ağırlıklı; dengeli ve güvenli kısım da yine İzmir, Ankara ve Bursa'daki mühendislik programlarıyla desteklenmiş. Listeyi ekranda görebilirsin."
|
||||
},
|
||||
{
|
||||
"id": "r03",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 başarılı revizyon geçmişte (QA 3. istek)",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"BURSA"
|
||||
]
|
||||
},
|
||||
"not": "İlk 5 tercih Bursa'ya göre güncellensin."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1450,
|
||||
"sohbetMs": 2828,
|
||||
"ms": 4278,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00002045316,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00016813888,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5: 1. Kimya Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA) 2. Endüstri Mühendisliği — MUDANYA ÜNİVERSİTESİ (BURSA) 3. Bilgisayar Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA) 4. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 5. Mekatronik Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA)"
|
||||
},
|
||||
{
|
||||
"id": "r04",
|
||||
"tekrar": 0,
|
||||
"aciklama": "form cevabı (QA'da araçsız kaldı)",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"universiteTipi": "devlet",
|
||||
"iskelet": "hayal-agirlikli",
|
||||
"not": "Form cevapları: hayal ağırlıklı, sadece devlet, İstanbul ekle."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 2,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2006,
|
||||
"sohbetMs": 4143,
|
||||
"ms": 6149,
|
||||
"niyetSaglayici": "Wafer",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00008379,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00017989608,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (11 hayal / 7 dengeli / 6 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — İSTANBUL ÜNİVERSİTESİ-CERRAHPAŞA (İSTANBUL) 2. Bilgisayar Mühendisliği — YILDIZ TEKNİK ÜNİVERSİTESİ (İSTANBUL) 3. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 4. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 5. Bilgisayar Mühendisliği — ESKİŞEHİR OSMANGAZİ ÜNİVERSİTESİ (ESKİŞEHİR)\n\nHayal ağırlıklı ve tamamen devlet oldu. İstanbul, İzmir, Ankara, Bursa ve Eskişehir'e yayıldı. Detaylarına bakmak istediğin bir tercih olursa söyle."
|
||||
},
|
||||
{
|
||||
"id": "r05",
|
||||
"tekrar": 0,
|
||||
"aciklama": "geçmişte sahte beyan + düzeltme notu",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 3,
|
||||
"iller": [
|
||||
"İZMİR"
|
||||
]
|
||||
},
|
||||
"not": "İlk 3 tercih İzmir'de olsun"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1383,
|
||||
"sohbetMs": 2621,
|
||||
"ms": 4004,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000734552,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00023487464,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (7 hayal / 12 dengeli / 5 güvenli). İlk 3: 1. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR) 2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 3. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)"
|
||||
},
|
||||
{
|
||||
"id": "r06",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, tip kuralı",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"universiteTipi": "devlet",
|
||||
"not": "Sadece devlet üniversiteleri tercih edilmek istendi."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 3,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1230,
|
||||
"sohbetMs": 2825,
|
||||
"ms": 4055,
|
||||
"niyetSaglayici": "Parasail",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00022694,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00016473912,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli), tamamı devlet üniversiteleri. İlk 5: 1. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 3. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 4. Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA) 5. Çevre Mühendisliği — HACETTEPE ÜNİVERSİTESİ (ANKARA)"
|
||||
},
|
||||
{
|
||||
"id": "r07",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, iskelet kuralı",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iskelet": "guvenli-agirlikli",
|
||||
"not": "Listem daha güvenli olsun"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 3,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 12504,
|
||||
"sohbetMs": 4904,
|
||||
"ms": 17408,
|
||||
"niyetSaglayici": "OpenInference",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000031638873,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00016883048,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (0 hayal / 11 dengeli / 13 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 3. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 4. Maden Mühendisliği — HACETTEPE ÜNİVERSİTESİ (ANKARA) 5. Endüstri Mühendisliği (İngilizce) (%50 İndirimli) — TED ÜNİVERSİTESİ (ANKARA)"
|
||||
},
|
||||
{
|
||||
"id": "r08",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, il ekleme",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"KOCAELİ"
|
||||
]
|
||||
},
|
||||
"not": "Kocaeli ili eklenmesi istendi"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2996,
|
||||
"sohbetMs": 3932,
|
||||
"ms": 6928,
|
||||
"niyetSaglayici": "Wafer",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00006339,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00010895612,
|
||||
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — KOCAELİ ÜNİVERSİTESİ (KOCAELİ) 2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 3. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 4. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR) 5. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)"
|
||||
},
|
||||
{
|
||||
"id": "r09",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, belirsiz istek → form",
|
||||
"beklenen": "soru",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "form",
|
||||
"kural": null,
|
||||
"eksik": [
|
||||
"Değişiklik isteğiniz net değil. Hangi konuda değişiklik yapm"
|
||||
],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": null,
|
||||
"araclar": [
|
||||
"soru_sor"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 10209,
|
||||
"sohbetMs": 1,
|
||||
"ms": 10210,
|
||||
"niyetSaglayici": "Wafer",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00007804,
|
||||
"sohbetCagri": 0,
|
||||
"sohbetMaliyet": null,
|
||||
"cevap": "Birkaç kısa soru hazırladım; cevaplarsan listeni ona göre yeniden kurarım."
|
||||
},
|
||||
{
|
||||
"id": "r10",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, revizyon değil (kontrol)",
|
||||
"beklenen": "hicbiri",
|
||||
"regex": false,
|
||||
"niyet": "—",
|
||||
"dal": "sohbet",
|
||||
"kural": null,
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": null,
|
||||
"araclar": [
|
||||
"program_detay"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 0,
|
||||
"sohbetMs": 6991,
|
||||
"ms": 6991,
|
||||
"niyetSaglayici": null,
|
||||
"niyetCagri": 0,
|
||||
"niyetMaliyet": 0,
|
||||
"sohbetCagri": 2,
|
||||
"sohbetMaliyet": 0.0002446808,
|
||||
"cevap": "Detayına bakıyorum\n\nListendeki 1. sıradaki program **İzmir Kâtip Çelebi Üniversitesi – Bilgisayar Mühendisliği (İngilizce)**:\n\n- **2026 kontenjanı:** 80\n- **Geçen yıl (2025) yerleşen:** 82 kişi (kontenjan 80'di, 2 kişi okul birincisi kontenjanından yerleşmiş)\n- **Özel kontenjan (okul birincisi):** 2 kontenjan, 2 yerleşen — ama bunun ayrı taban sırası elimizde yok, genel taban sırası 71.833.\n\nÖzetle: normal kontenjan 80, okul birincisi kontenjanı 2. 2025'te toplam 82 öğrenci yerleşmiş. Bu program **Riskli** etiketli, son taban sırası 71.833 (senin sıran 85.000'in üzerinde kapandı)."
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user