Files
kolaytercih/scripts/eval/sonuc/2026-10-08T22-59-20-revizyon.json
bilalgursen e9dfa354f8 test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo
- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte
  çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet
  gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı,
  2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı
  → güvenlik ağı), 23-08 (r04 tekrar).
- akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte
  beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-09 02:10:59 +03:00

382 lines
13 KiB
JSON
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
{
"tur": "revizyon-koda-bagli",
"tarih": "2026-10-08T22:59:20.245Z",
"git": {
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
"dal": "v2",
"srcKirli": [
"M src/app/api/soru/route.ts",
" M src/app/layout.tsx",
" M src/components/site-footer.tsx",
" M src/features/pazarlama/components/huni-semasi.tsx",
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
" M src/features/rapor/liste-revizyon.ts",
" M src/lib/ai/araclar.ts",
" M src/lib/ai/cagri.ts",
" M src/lib/ai/cikti-denetimi.ts",
" M src/lib/ai/client.ts",
" M src/lib/ai/danisman-prompt.ts",
" M src/lib/ai/sohbet-akisi.ts",
" M src/lib/ai/sohbet-gecmisi.ts",
"?? src/lib/ai/revizyon-niyeti.ts"
]
},
"argv": [],
"ozet": {
"sohbetModeli": "deepseek/deepseek-v4-flash",
"niyetModeli": "deepseek/deepseek-v4-flash",
"saglayici": "openrouter.ai",
"n": 10,
"gecti": 9,
"revizyonBeklenen": 8,
"koddanRevizyon": 8,
"kuralDogru": 7,
"sahteBeyan": 0,
"niyetCagri": 9,
"niyetMaliyet": 0.000732399606,
"niyetMsOrt": 3425,
"harcama": {
"cagri": 20,
"girdiToken": 192262,
"ciktiToken": 3205,
"maliyet": 0.002377075365999999,
"maliyetBilinmeyenCagri": 0
}
},
"senaryolar": [
{
"id": "r01",
"tekrar": 0,
"aciklama": "geçmiş yok, net istek",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"İSTANBUL"
]
},
"ilkTercihler": {
"adet": 5,
"iller": [
"İSTANBUL"
]
},
"not": "İlk 5 tercih İstanbul'dan olsun."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 4,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 3059,
"sohbetMs": 25058,
"ms": 28117,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000711984,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00016346148,
"cevap": "Liste yeniden kuruldu ve ekranda güncellendi. Ne değişti: Hayal dilimindeki ilk 5 tercihin İstanbul'daki programlarla değiştirildi. Yeni ilk 5 tercihin şöyle:\n\n1. Bilgisayar Mühendisliği (İngilizce) — GALATASARAY ÜNİVERSİTESİ (İSTANBUL)\n2. Bilgisayar Mühendisliği (İngilizce) — İSTANBUL KÜLTÜR ÜNİVERSİTESİ (İSTANBUL)\n3. Yazılım Mühendisliği (İngilizce) (Burslu) — İSTANBUL MEDİPOL ÜNİVERSİTESİ (İSTANBUL)\n4. Bilgisayar Mühendisliği — İSTANBUL AREL ÜNİVERSİTESİ (İSTANBUL)\n5. Yazılım Mühendisliği (İngilizce) — İSTANBUL AREL ÜNİVERSİTESİ (İSTANBUL)"
},
{
"id": "r02",
"tekrar": 0,
"aciklama": "1 başarılı revizyon geçmişte",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"İZMİR"
]
},
"not": "İlk 5 tercih İzmir iline göre güncellensin."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1881,
"sohbetMs": 5127,
"ms": 7008,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000712712,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00016892148,
"cevap": "Listen yeniden kuruldu. Artık ilk 5 tercihin İzmir'deki programlardan oluşuyor:\n\n1. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR)\n2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR)\n3. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)\n4. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)\n5. İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR)\n\nToplamda 5 hayal, 13 dengeli, 6 güvenli tercihin var. Devamında dengeli ve güvenli dilimlerde Ankara ve Bursa'dan seçenekler de yer alıyor. Listeye göz atmak istediğin başka bir şey var mı?"
},
{
"id": "r03",
"tekrar": 0,
"aciklama": "2 başarılı revizyon geçmişte (QA 3. istek)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"ilkTercihler": {
"adet": 5,
"iller": [
"BURSA"
]
}
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2276,
"sohbetMs": 6814,
"ms": 9090,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.000070616,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00011478012,
"cevap": "Listen yine yenilendi. İlk 5 tercihin artık Bursa'daki programlardan oluşuyor:\n\n1. **Kimya Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n2. **Endüstri Mühendisliği — MUDANYA ÜNİVERSİTESİ**\n3. **Bilgisayar Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n4. **Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ**\n5. **Mekatronik Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n\nHayal dilimindeki ilk 3 sıra Bursa Teknik ve Uludağ'ın Bilgisayar Mühendisliği ile Mekatronik'e kaydı; listenin geri kalanındaki denge ve güvenli satırlar da buna göre yeniden düzenlendi. Dilersen belirli bir program hakkında ayrıntıya bakabilir ya da başka bir şehre göre tekrar güncelleyebilirim."
},
{
"id": "r04",
"tekrar": 0,
"aciklama": "form cevabı (QA'da araçsız kaldı)",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"İSTANBUL"
]
},
"universiteTipi": "devlet",
"iskelet": "hayal-agirlikli",
"not": "İlk 5 İzmir olsun; Ankara, İzmir, Bursa, İstanbul illeriyle devlet üniversiteleri hayal ağırlıklı listelensin."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 3,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2894,
"sohbetMs": 5073,
"ms": 7967,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000802256,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00018126108,
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (10 hayal / 8 dengeli / 6 güvenli); ilk 5: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Elektrik-Elektronik Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Endüstri Mühendisliği — MANİSA CELÂL BAYAR ÜNİVERSİTESİ (MANİSA); Bilgisayar Mühendisliği — İSTANBUL MEDENİYET ÜNİVERSİTESİ (İSTANBUL). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
},
{
"id": "r05",
"tekrar": 0,
"aciklama": "geçmişte sahte beyan + düzeltme notu",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"universiteTipi": "farketmez",
"iskelet": "standart"
},
"eksik": [],
"kuralTuttu": false,
"tuttu": false,
"sahteBeyan": false,
"adEslesme": 3,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 2680,
"sohbetMs": 3121,
"ms": 5801,
"niyetSaglayici": "DigitalOcean",
"niyetCagri": 1,
"niyetMaliyet": 0.000146412,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0002991898,
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (9 hayal / 10 dengeli / 5 güvenli); ilk 3: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
},
{
"id": "r06",
"tekrar": 0,
"aciklama": "2 geçmiş, tip kuralı",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"universiteTipi": "devlet"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 3,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 11128,
"sohbetMs": 4195,
"ms": 15323,
"niyetSaglayici": "OpenInference",
"niyetCagri": 1,
"niyetMaliyet": 0.000024712206,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0000680134,
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (5 hayal / 13 dengeli / 6 güvenli); ilk 5: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR); Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
},
{
"id": "r07",
"tekrar": 0,
"aciklama": "2 geçmiş, iskelet kuralı",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iskelet": "guvenli-agirlikli",
"not": "Aday listesinin daha güvenli olmasını istiyor."
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 0,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1622,
"sohbetMs": 3915,
"ms": 5537,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.000070889,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0002909998,
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (2 hayal / 8 dengeli / 14 güvenli); ilk 5: İnşaat Mühendisliği — ATILIM ÜNİVERSİTESİ (ANKARA); Elektrik-Elektronik Mühendisliği — TOBB EKONOMİ VE TEKNOLOJİ ÜNİVERSİTESİ (ANKARA); İnşaat Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA); İnşaat Mühendisliği — BAŞKENT ÜNİVERSİTESİ (ANKARA); Endüstri Mühendisliği — TED ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
},
{
"id": "r08",
"tekrar": 0,
"aciklama": "2 geçmiş, il ekleme",
"beklenen": "revizyon",
"regex": true,
"niyet": "revizyon",
"dal": "revizyon",
"kural": {
"iller": {
"ekle": [
"KOCAELİ"
]
},
"not": "Kocaeli de listeye eklensin"
},
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": 5,
"araclar": [
"liste_revize"
],
"hata": null,
"niyetMs": 1959,
"sohbetMs": 2909,
"ms": 4868,
"niyetSaglayici": "Baidu",
"niyetCagri": 1,
"niyetMaliyet": 0.0000707252,
"sohbetCagri": 1,
"sohbetMaliyet": 0.0000663936,
"cevap": "Listeyi yeniden kurdum. İlk 5 tercihin şöyle oldu:\n\n1. Bilgisayar Mühendisliği — KOCAELİ ÜNİVERSİTESİ\n2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ\n3. Biyomühendislik — EGE ÜNİVERSİTESİ\n4. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ\n5. Yazılım Mühendisliği — KOCAELİ ÜNİVERSİTESİ\n\nListede Kocaeli ağırlığı arttı, ilk 5'te 2 tercih Kocaeli'den geldi."
},
{
"id": "r09",
"tekrar": 0,
"aciklama": "2 geçmiş, belirsiz istek → form",
"beklenen": "soru",
"regex": true,
"niyet": "revizyon",
"dal": "form",
"kural": null,
"eksik": [
"Nasıl bir değişiklik istersiniz?"
],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": null,
"araclar": [
"soru_sor"
],
"hata": null,
"niyetMs": 3325,
"sohbetMs": 3452,
"ms": 6777,
"niyetSaglayici": "StreamLake",
"niyetCagri": 1,
"niyetMaliyet": 0.00012635,
"sohbetCagri": 1,
"sohbetMaliyet": 0.00005093452,
"cevap": "Anladım, neyi değiştirmek istediğini biraz açıklaman gerekiyor. Şu seçeneklerden hangisi sana uygun?\n\n- **Vakıf üniversitelerini çıkar, yalnız devlet kalsın.**\n- **Sadece belli bir ildeki (Ankara / İzmir / Bursa) programlar kalsın.**\n- **Daha güvenli bir liste istiyorum (Az riskli ve Güvenli etiketli tercihler ağırlıklı olsun).**\n- **Başka bir şehir / bölüm türü / özellik ekle ya da çıkar.**\n- **Listeyi tamamen sıfırla, yeniden baştan kuralım.**\n\nHangisini istediğini kısaca yaz, ona göre güncelleyeyim."
},
{
"id": "r10",
"tekrar": 0,
"aciklama": "2 geçmiş, revizyon değil (kontrol)",
"beklenen": "hicbiri",
"regex": false,
"niyet": "—",
"dal": "sohbet",
"kural": null,
"eksik": [],
"kuralTuttu": true,
"tuttu": true,
"sahteBeyan": false,
"adEslesme": null,
"araclar": [
"program_detay"
],
"hata": null,
"niyetMs": 0,
"sohbetMs": 4337,
"ms": 4337,
"niyetSaglayici": null,
"niyetCagri": 0,
"niyetMaliyet": 0,
"sohbetCagri": 2,
"sohbetMaliyet": 0.00024072048000000002,
"cevap": "Detayına bakıyorum\n\nİşte 1. sıradaki **Bilgisayar Mühendisliği – İzmir Kâtip Çelebi Üniversitesi**'nin verileri:\n\n- **2026 yerleştirmesi kontenjanı:** 80 kişi\n- **2025 yerleştirmesinde yerleşen:** 82 kişi (80 genel kontenjan + 2 okul birincisi kontenjanı dolmuş)\n- **Geçmiş yıllar:** 2024'te 80 kontenjanın 80'i dolmuş; 2023'te 75 kontenjanın 75'i dolmuş.\n\nYani son iki yıldır kontenjan 80, yerleşen sayısı da genelde kontenjanı doldurmuş."
}
]
}