Files
kolaytercih/scripts/eval/sonuc/2026-10-08T23-02-50-revizyon.json
bilalgursen e9dfa354f8 test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo
- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte
  çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet
  gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı,
  2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı
  → güvenlik ağı), 23-08 (r04 tekrar).
- akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte
  beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-09 02:10:59 +03:00

383 lines
13 KiB
JSON
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
{
"tur": "revizyon-koda-bagli",
"tarih": "2026-10-08T23:02:50.624Z",
"git": {
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
"dal": "v2",
"srcKirli": [
"M src/app/api/soru/route.ts",
" M src/app/layout.tsx",
" M src/components/site-footer.tsx",
" M src/features/pazarlama/components/huni-semasi.tsx",
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
" M src/features/rapor/liste-revizyon.ts",
" M src/lib/ai/araclar.ts",
" M src/lib/ai/cagri.ts",
" M src/lib/ai/cikti-denetimi.ts",
" M src/lib/ai/client.ts",
" M src/lib/ai/danisman-prompt.ts",
" M src/lib/ai/sohbet-akisi.ts",
" M src/lib/ai/sohbet-gecmisi.ts",
"?? src/lib/ai/revizyon-niyeti.ts"
]
},
"argv": [],
"ozet": {
"sohbetModeli": "deepseek/deepseek-v4-flash",
"niyetModeli": "deepseek/deepseek-v4-flash",
"saglayici": "openrouter.ai",
"n": 10,
"gecti": 10,
"revizyonBeklenen": 8,
"koddanRevizyon": 8,
"kuralDogru": 8,
"sahteBeyan": 0,
"niyetCagri": 9,
"niyetMaliyet": 0.0007219968330000001,
"niyetMsOrt": 3939,
"harcama": {
"cagri": 19,
"girdiToken": 177844,
"ciktiToken": 3161,
"maliyet": 0.002504755993,
"maliyetBilinmeyenCagri": 0
}
},
"senaryolar": [
{
"id": "r01",
"tekrar": 0,
"aciklama": "geçmiş yok, net istek",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"İSTANBUL"
]
},
"not": "İlk 5 tercih İstanbul'daki programlardan olsun."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 4,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2553,
"sohbetMs": 4956,
"ms": 7509,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.000072709,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00022602944,
"cevap": "Listeyi revize etmek için isteğini aldım. Şu an ilk 5 tercihin tamamı İstanbul dışındaki illerde (Bursa, İzmir, Ankara). Sunucu listeyi yeniden kuruyor — birkaç saniye sürebilir.\n\n---\n\n**Liste yenilendi!** Ekranda göreceksin. Şöyle özetleyeyim:\n\n- İlk 5 tercihin artık **İstanbul'daki** programlardan oluşuyor. \n- Hayal dilimindeki riskli programlar İstanbul'a kaydı; dengeli ve güvenli satırlar da buna göre yeniden dağıtıldı. \n- Toplam 24 tercih korundu; dağılım: **5 Hayal, 13 Dengeli, 6 Güvenli**.\n\nİlk 5 tercihin (İstanbul):\n\n1. **Bilgisayar Mühendisliği — İSTANBUL ÜNİVERSİTESİ-CERRAHPAŞA** \n2. **Bilgisayar Mühendisliği — İSTANBUL MEDENİYET ÜNİVERSİTESİ** \n3. **Bilgisayar Mühendisliği — YILDIZ TEKNİK ÜNİVERSİTESİ** \n4. **Yazılım Mühendisliği — İSTANBUL TOPKAPI ÜNİVERSİTESİ** \n5. **Yazılım Mühendisliği — İSTANBUL KÜLTÜR ÜNİVERSİTESİ**\n\nListeyi inceleyip sorularını beklerim."
},
{
"id": "r02",
"tekrar": 0,
"aciklama": "1 başarılı revizyon geçmişte",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"İZMİR"
]
}
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1116,
"sohbetMs": 3975,
"ms": 5091,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000715806,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0002866136,
"cevap": "Listeyi yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5:\n\n1. **Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR)**\n2. **Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR)**\n3. **Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)**\n4. **Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)**\n5. **İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR)**\n\nHayal dilimindeki yazılım ve bilgisayar mühendislikleri İzmir ağırlıklı; dengeli ve güvenli kısım da yine İzmir, Ankara ve Bursa'daki mühendislik programlarıyla desteklenmiş. Listeyi ekranda görebilirsin."
},
{
"id": "r03",
"tekrar": 0,
"aciklama": "2 başarılı revizyon geçmişte (QA 3. istek)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"BURSA"
]
},
"not": "İlk 5 tercih Bursa'ya göre güncellensin."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1450,
"sohbetMs": 2828,
"ms": 4278,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.00002045316,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00016813888,
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5: 1. Kimya Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA) 2. Endüstri Mühendisliği — MUDANYA ÜNİVERSİTESİ (BURSA) 3. Bilgisayar Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA) 4. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 5. Mekatronik Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ (BURSA)"
},
{
"id": "r04",
"tekrar": 0,
"aciklama": "form cevabı (QA'da araçsız kaldı)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"İSTANBUL"
]
},
"universiteTipi": "devlet",
"iskelet": "hayal-agirlikli",
"not": "Form cevapları: hayal ağırlıklı, sadece devlet, İstanbul ekle."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 2,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2006,
"sohbetMs": 4143,
"ms": 6149,
"niyetSaglayici": "Wafer",
"niyetCagri": 1,
"niyetMaliyet": 0.00008379,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00017989608,
"cevap": "Listeni yeniden kurdum: 24 tercih (11 hayal / 7 dengeli / 6 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — İSTANBUL ÜNİVERSİTESİ-CERRAHPAŞA (İSTANBUL) 2. Bilgisayar Mühendisliği — YILDIZ TEKNİK ÜNİVERSİTESİ (İSTANBUL) 3. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 4. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 5. Bilgisayar Mühendisliği — ESKİŞEHİR OSMANGAZİ ÜNİVERSİTESİ (ESKİŞEHİR)\n\nHayal ağırlıklı ve tamamen devlet oldu. İstanbul, İzmir, Ankara, Bursa ve Eskişehir'e yayıldı. Detaylarına bakmak istediğin bir tercih olursa söyle."
},
{
"id": "r05",
"tekrar": 0,
"aciklama": "geçmişte sahte beyan + düzeltme notu",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 3,
"iller": [
"İZMİR"
]
},
"not": "İlk 3 tercih İzmir'de olsun"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1383,
"sohbetMs": 2621,
"ms": 4004,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000734552,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00023487464,
"cevap": "Listeni yeniden kurdum: 24 tercih (7 hayal / 12 dengeli / 5 güvenli). İlk 3: 1. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR) 2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 3. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)"
},
{
"id": "r06",
"tekrar": 0,
"aciklama": "2 geçmiş, tip kuralı",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"universiteTipi": "devlet",
"not": "Sadece devlet üniversiteleri tercih edilmek istendi."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 3,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1230,
"sohbetMs": 2825,
"ms": 4055,
"niyetSaglayici": "Parasail",
"niyetCagri": 1,
"niyetMaliyet": 0.00022694,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00016473912,
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli), tamamı devlet üniversiteleri. İlk 5: 1. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ (BURSA) 2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 3. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 4. Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA) 5. Çevre Mühendisliği — HACETTEPE ÜNİVERSİTESİ (ANKARA)"
},
{
"id": "r07",
"tekrar": 0,
"aciklama": "2 geçmiş, iskelet kuralı",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iskelet": "guvenli-agirlikli",
"not": "Listem daha güvenli olsun"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 3,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 12504,
"sohbetMs": 4904,
"ms": 17408,
"niyetSaglayici": "OpenInference",
"niyetCagri": 1,
"niyetMaliyet": 0.000031638873,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00016883048,
"cevap": "Listeni yeniden kurdum: 24 tercih (0 hayal / 11 dengeli / 13 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 3. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 4. Maden Mühendisliği — HACETTEPE ÜNİVERSİTESİ (ANKARA) 5. Endüstri Mühendisliği (İngilizce) (%50 İndirimli) — TED ÜNİVERSİTESİ (ANKARA)"
},
{
"id": "r08",
"tekrar": 0,
"aciklama": "2 geçmiş, il ekleme",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"KOCAELİ"
]
},
"not": "Kocaeli ili eklenmesi istendi"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2996,
"sohbetMs": 3932,
"ms": 6928,
"niyetSaglayici": "Wafer",
"niyetCagri": 1,
"niyetMaliyet": 0.00006339,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00010895612,
"cevap": "Listeni yeniden kurdum: 24 tercih (5 hayal / 13 dengeli / 6 güvenli). İlk 5: 1. Bilgisayar Mühendisliği — KOCAELİ ÜNİVERSİTESİ (KOCAELİ) 2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR) 3. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR) 4. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR) 5. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)"
},
{
"id": "r09",
"tekrar": 0,
"aciklama": "2 geçmiş, belirsiz istek → form",
"beklenen": "soru",
"regex": true,
"niyet": "revizyon",
"dal": "form",
"kural": null,
"eksik": [
"Değişiklik isteğiniz net değil. Hangi konuda değişiklik yapm"
],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": null,
"araclar": [
"soru_sor"
],
"hata": null,
"niyetMs": 10209,
"sohbetMs": 1,
"ms": 10210,
"niyetSaglayici": "Wafer",
"niyetCagri": 1,
"niyetMaliyet": 0.00007804,
"sohbetCagri": 0,
"sohbetMaliyet": null,
"cevap": "Birkaç kısa soru hazırladım; cevaplarsan listeni ona göre yeniden kurarım."
},
{
"id": "r10",
"tekrar": 0,
"aciklama": "2 geçmiş, revizyon değil (kontrol)",
"beklenen": "hicbiri",
"regex": false,
"niyet": "—",
"dal": "sohbet",
"kural": null,
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": null,
"araclar": [
"program_detay"
],
"hata": null,
"niyetMs": 0,
"sohbetMs": 6991,
"ms": 6991,
"niyetSaglayici": null,
"niyetCagri": 0,
"niyetMaliyet": 0,
"sohbetCagri": 2,
"sohbetMaliyet": 0.0002446808,
"cevap": "Detayına bakıyorum\n\nListendeki 1. sıradaki program **İzmir Kâtip Çelebi Üniversitesi – Bilgisayar Mühendisliği (İngilizce)**:\n\n- **2026 kontenjanı:** 80\n- **Geçen yıl (2025) yerleşen:** 82 kişi (kontenjan 80'di, 2 kişi okul birincisi kontenjanından yerleşmiş)\n- **Özel kontenjan (okul birincisi):** 2 kontenjan, 2 yerleşen — ama bunun ayrı taban sırası elimizde yok, genel taban sırası 71.833.\n\nÖzetle: normal kontenjan 80, okul birincisi kontenjanı 2. 2025'te toplam 82 öğrenci yerleşmiş. Bu program **Riskli** etiketli, son taban sırası 71.833 (senin sıran 85.000'in üzerinde kapandı)."
}
]
}