test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo
- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı, 2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı → güvenlik ağı), 23-08 (r04 tekrar). - akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
bilalgursen
382
scripts/eval/sonuc/2026-10-08T22-59-20-revizyon.json
Normal file
382
scripts/eval/sonuc/2026-10-08T22-59-20-revizyon.json
Normal file
@@ -0,0 +1,382 @@
|
||||
{
|
||||
"tur": "revizyon-koda-bagli",
|
||||
"tarih": "2026-10-08T22:59:20.245Z",
|
||||
"git": {
|
||||
"commit": "128c1753279d5234f8cca2e6d8e6a3d346d7ce4d",
|
||||
"dal": "v2",
|
||||
"srcKirli": [
|
||||
"M src/app/api/soru/route.ts",
|
||||
" M src/app/layout.tsx",
|
||||
" M src/components/site-footer.tsx",
|
||||
" M src/features/pazarlama/components/huni-semasi.tsx",
|
||||
" M src/features/pazarlama/components/meraklisina-icerik.tsx",
|
||||
" M src/features/rapor/liste-revizyon.ts",
|
||||
" M src/lib/ai/araclar.ts",
|
||||
" M src/lib/ai/cagri.ts",
|
||||
" M src/lib/ai/cikti-denetimi.ts",
|
||||
" M src/lib/ai/client.ts",
|
||||
" M src/lib/ai/danisman-prompt.ts",
|
||||
" M src/lib/ai/sohbet-akisi.ts",
|
||||
" M src/lib/ai/sohbet-gecmisi.ts",
|
||||
"?? src/lib/ai/revizyon-niyeti.ts"
|
||||
]
|
||||
},
|
||||
"argv": [],
|
||||
"ozet": {
|
||||
"sohbetModeli": "deepseek/deepseek-v4-flash",
|
||||
"niyetModeli": "deepseek/deepseek-v4-flash",
|
||||
"saglayici": "openrouter.ai",
|
||||
"n": 10,
|
||||
"gecti": 9,
|
||||
"revizyonBeklenen": 8,
|
||||
"koddanRevizyon": 8,
|
||||
"kuralDogru": 7,
|
||||
"sahteBeyan": 0,
|
||||
"niyetCagri": 9,
|
||||
"niyetMaliyet": 0.000732399606,
|
||||
"niyetMsOrt": 3425,
|
||||
"harcama": {
|
||||
"cagri": 20,
|
||||
"girdiToken": 192262,
|
||||
"ciktiToken": 3205,
|
||||
"maliyet": 0.002377075365999999,
|
||||
"maliyetBilinmeyenCagri": 0
|
||||
}
|
||||
},
|
||||
"senaryolar": [
|
||||
{
|
||||
"id": "r01",
|
||||
"tekrar": 0,
|
||||
"aciklama": "geçmiş yok, net istek",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"not": "İlk 5 tercih İstanbul'dan olsun."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 4,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 3059,
|
||||
"sohbetMs": 25058,
|
||||
"ms": 28117,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000711984,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00016346148,
|
||||
"cevap": "Liste yeniden kuruldu ve ekranda güncellendi. Ne değişti: Hayal dilimindeki ilk 5 tercihin İstanbul'daki programlarla değiştirildi. Yeni ilk 5 tercihin şöyle:\n\n1. Bilgisayar Mühendisliği (İngilizce) — GALATASARAY ÜNİVERSİTESİ (İSTANBUL)\n2. Bilgisayar Mühendisliği (İngilizce) — İSTANBUL KÜLTÜR ÜNİVERSİTESİ (İSTANBUL)\n3. Yazılım Mühendisliği (İngilizce) (Burslu) — İSTANBUL MEDİPOL ÜNİVERSİTESİ (İSTANBUL)\n4. Bilgisayar Mühendisliği — İSTANBUL AREL ÜNİVERSİTESİ (İSTANBUL)\n5. Yazılım Mühendisliği (İngilizce) — İSTANBUL AREL ÜNİVERSİTESİ (İSTANBUL)"
|
||||
},
|
||||
{
|
||||
"id": "r02",
|
||||
"tekrar": 0,
|
||||
"aciklama": "1 başarılı revizyon geçmişte",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"İZMİR"
|
||||
]
|
||||
},
|
||||
"not": "İlk 5 tercih İzmir iline göre güncellensin."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1881,
|
||||
"sohbetMs": 5127,
|
||||
"ms": 7008,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000712712,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00016892148,
|
||||
"cevap": "Listen yeniden kuruldu. Artık ilk 5 tercihin İzmir'deki programlardan oluşuyor:\n\n1. Yazılım Mühendisliği — YAŞAR ÜNİVERSİTESİ (İZMİR)\n2. Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR)\n3. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)\n4. Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR)\n5. İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR)\n\nToplamda 5 hayal, 13 dengeli, 6 güvenli tercihin var. Devamında dengeli ve güvenli dilimlerde Ankara ve Bursa'dan seçenekler de yer alıyor. Listeye göz atmak istediğin başka bir şey var mı?"
|
||||
},
|
||||
{
|
||||
"id": "r03",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 başarılı revizyon geçmişte (QA 3. istek)",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"ilkTercihler": {
|
||||
"adet": 5,
|
||||
"iller": [
|
||||
"BURSA"
|
||||
]
|
||||
}
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2276,
|
||||
"sohbetMs": 6814,
|
||||
"ms": 9090,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000070616,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00011478012,
|
||||
"cevap": "Listen yine yenilendi. İlk 5 tercihin artık Bursa'daki programlardan oluşuyor:\n\n1. **Kimya Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n2. **Endüstri Mühendisliği — MUDANYA ÜNİVERSİTESİ**\n3. **Bilgisayar Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n4. **Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ**\n5. **Mekatronik Mühendisliği — BURSA TEKNİK ÜNİVERSİTESİ**\n\nHayal dilimindeki ilk 3 sıra Bursa Teknik ve Uludağ'ın Bilgisayar Mühendisliği ile Mekatronik'e kaydı; listenin geri kalanındaki denge ve güvenli satırlar da buna göre yeniden düzenlendi. Dilersen belirli bir program hakkında ayrıntıya bakabilir ya da başka bir şehre göre tekrar güncelleyebilirim."
|
||||
},
|
||||
{
|
||||
"id": "r04",
|
||||
"tekrar": 0,
|
||||
"aciklama": "form cevabı (QA'da araçsız kaldı)",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"İSTANBUL"
|
||||
]
|
||||
},
|
||||
"universiteTipi": "devlet",
|
||||
"iskelet": "hayal-agirlikli",
|
||||
"not": "İlk 5 İzmir olsun; Ankara, İzmir, Bursa, İstanbul illeriyle devlet üniversiteleri hayal ağırlıklı listelensin."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 3,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2894,
|
||||
"sohbetMs": 5073,
|
||||
"ms": 7967,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000802256,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00018126108,
|
||||
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (10 hayal / 8 dengeli / 6 güvenli); ilk 5: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Elektrik-Elektronik Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Endüstri Mühendisliği — MANİSA CELÂL BAYAR ÜNİVERSİTESİ (MANİSA); Bilgisayar Mühendisliği — İSTANBUL MEDENİYET ÜNİVERSİTESİ (İSTANBUL). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
|
||||
},
|
||||
{
|
||||
"id": "r05",
|
||||
"tekrar": 0,
|
||||
"aciklama": "geçmişte sahte beyan + düzeltme notu",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"universiteTipi": "farketmez",
|
||||
"iskelet": "standart"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": false,
|
||||
"tuttu": false,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 3,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 2680,
|
||||
"sohbetMs": 3121,
|
||||
"ms": 5801,
|
||||
"niyetSaglayici": "DigitalOcean",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000146412,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.0002991898,
|
||||
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (9 hayal / 10 dengeli / 5 güvenli); ilk 3: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
|
||||
},
|
||||
{
|
||||
"id": "r06",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, tip kuralı",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"universiteTipi": "devlet"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 3,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 11128,
|
||||
"sohbetMs": 4195,
|
||||
"ms": 15323,
|
||||
"niyetSaglayici": "OpenInference",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000024712206,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.0000680134,
|
||||
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (5 hayal / 13 dengeli / 6 güvenli); ilk 5: Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); Biyomühendislik — EGE ÜNİVERSİTESİ (İZMİR); Gemi ve Deniz Teknolojisi Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ (İZMİR); İnşaat Mühendisliği — EGE ÜNİVERSİTESİ (İZMİR); Otomotiv Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
|
||||
},
|
||||
{
|
||||
"id": "r07",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, iskelet kuralı",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iskelet": "guvenli-agirlikli",
|
||||
"not": "Aday listesinin daha güvenli olmasını istiyor."
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 0,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1622,
|
||||
"sohbetMs": 3915,
|
||||
"ms": 5537,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.000070889,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.0002909998,
|
||||
"cevap": "[Sunucu kaydı: bu cevapta liste sunucu tarafından yeniden kuruldu — 24 tercih (2 hayal / 8 dengeli / 14 güvenli); ilk 5: İnşaat Mühendisliği — ATILIM ÜNİVERSİTESİ (ANKARA); Elektrik-Elektronik Mühendisliği — TOBB EKONOMİ VE TEKNOLOJİ ÜNİVERSİTESİ (ANKARA); İnşaat Mühendisliği — GAZİ ÜNİVERSİTESİ (ANKARA); İnşaat Mühendisliği — BAŞKENT ÜNİVERSİTESİ (ANKARA); Endüstri Mühendisliği — TED ÜNİVERSİTESİ (ANKARA). Bu kayıt sunucu işleminin sonucudur, örnek cevap değildir.]"
|
||||
},
|
||||
{
|
||||
"id": "r08",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, il ekleme",
|
||||
"beklenen": "revizyon",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "revizyon",
|
||||
"kural": {
|
||||
"iller": {
|
||||
"ekle": [
|
||||
"KOCAELİ"
|
||||
]
|
||||
},
|
||||
"not": "Kocaeli de listeye eklensin"
|
||||
},
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": 5,
|
||||
"araclar": [
|
||||
"liste_revize"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 1959,
|
||||
"sohbetMs": 2909,
|
||||
"ms": 4868,
|
||||
"niyetSaglayici": "Baidu",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.0000707252,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.0000663936,
|
||||
"cevap": "Listeyi yeniden kurdum. İlk 5 tercihin şöyle oldu:\n\n1. Bilgisayar Mühendisliği — KOCAELİ ÜNİVERSİTESİ\n2. Bilgisayar Mühendisliği — İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ\n3. Biyomühendislik — EGE ÜNİVERSİTESİ\n4. Bilgisayar Mühendisliği — BURSA ULUDAĞ ÜNİVERSİTESİ\n5. Yazılım Mühendisliği — KOCAELİ ÜNİVERSİTESİ\n\nListede Kocaeli ağırlığı arttı, ilk 5'te 2 tercih Kocaeli'den geldi."
|
||||
},
|
||||
{
|
||||
"id": "r09",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, belirsiz istek → form",
|
||||
"beklenen": "soru",
|
||||
"regex": true,
|
||||
"niyet": "revizyon",
|
||||
"dal": "form",
|
||||
"kural": null,
|
||||
"eksik": [
|
||||
"Nasıl bir değişiklik istersiniz?"
|
||||
],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": null,
|
||||
"araclar": [
|
||||
"soru_sor"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 3325,
|
||||
"sohbetMs": 3452,
|
||||
"ms": 6777,
|
||||
"niyetSaglayici": "StreamLake",
|
||||
"niyetCagri": 1,
|
||||
"niyetMaliyet": 0.00012635,
|
||||
"sohbetCagri": 1,
|
||||
"sohbetMaliyet": 0.00005093452,
|
||||
"cevap": "Anladım, neyi değiştirmek istediğini biraz açıklaman gerekiyor. Şu seçeneklerden hangisi sana uygun?\n\n- **Vakıf üniversitelerini çıkar, yalnız devlet kalsın.**\n- **Sadece belli bir ildeki (Ankara / İzmir / Bursa) programlar kalsın.**\n- **Daha güvenli bir liste istiyorum (Az riskli ve Güvenli etiketli tercihler ağırlıklı olsun).**\n- **Başka bir şehir / bölüm türü / özellik ekle ya da çıkar.**\n- **Listeyi tamamen sıfırla, yeniden baştan kuralım.**\n\nHangisini istediğini kısaca yaz, ona göre güncelleyeyim."
|
||||
},
|
||||
{
|
||||
"id": "r10",
|
||||
"tekrar": 0,
|
||||
"aciklama": "2 geçmiş, revizyon değil (kontrol)",
|
||||
"beklenen": "hicbiri",
|
||||
"regex": false,
|
||||
"niyet": "—",
|
||||
"dal": "sohbet",
|
||||
"kural": null,
|
||||
"eksik": [],
|
||||
"kuralTuttu": true,
|
||||
"tuttu": true,
|
||||
"sahteBeyan": false,
|
||||
"adEslesme": null,
|
||||
"araclar": [
|
||||
"program_detay"
|
||||
],
|
||||
"hata": null,
|
||||
"niyetMs": 0,
|
||||
"sohbetMs": 4337,
|
||||
"ms": 4337,
|
||||
"niyetSaglayici": null,
|
||||
"niyetCagri": 0,
|
||||
"niyetMaliyet": 0,
|
||||
"sohbetCagri": 2,
|
||||
"sohbetMaliyet": 0.00024072048000000002,
|
||||
"cevap": "Detayına bakıyorum\n\nİşte 1. sıradaki **Bilgisayar Mühendisliği – İzmir Kâtip Çelebi Üniversitesi**'nin verileri:\n\n- **2026 yerleştirmesi kontenjanı:** 80 kişi\n- **2025 yerleştirmesinde yerleşen:** 82 kişi (80 genel kontenjan + 2 okul birincisi kontenjanı dolmuş)\n- **Geçmiş yıllar:** 2024'te 80 kontenjanın 80'i dolmuş; 2023'te 75 kontenjanın 75'i dolmuş.\n\nYani son iki yıldır kontenjan 80, yerleşen sayısı da genelde kontenjanı doldurmuş."
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user