bilalgursen
151e44780f
fix(danisman): olasılık/vaat dili — prompt kalıpları, anahtarsız regex denetimi, Jev sorusu ve sürümü (iş 1) [KARAR]
...
(a) Prompt: yasak kalıp listesi + yerine ne denir örnekleri; 'olasılığı düşük' de yasak.
(b) cikti-denetimi.ts: anahtarsız regex (vaatDiliBul). Akışta Jev VEYA regex yakalarsa düzeltme notu.
Ek model çağrısı yok, kredi etkilenmez; Jev atlanırsa regex yine koşar.
(c) Jev: model jev-1.13.0'a sabitlendi; soruya ölçüt (criteria) eklendi. 01 raporundaki ek cümle
TEK BAŞINA gerçek cevaplarda 15 ihlalin 8'ini kaçırdı; 'olumsuz yöndeki tahmin de ihlaldir'
cümlesiyle birlikte eklendi. Canlı eşik 0,50 kaldı (73 örnek: yanlış alarm 0/40, kaçan 3/33;
regex ile birlikte 0/40 ve 0/33). Eval: danışmanda yerlesme_vaadi eşiği 0,25/0,35.
Kanıt (aynı 23 soru × 2, deepseek-v4-flash): geçen 13/46 → 25/46; jev:yerlesme_vaadi 'kaldı' 20 → 1;
canlı not eklenen cevap 2/46. Dosyalar: sonuc/*-sohbet-vaat-once.json, *-vaat-sonra.json, *-jev-kesif.json.
Akış tamponlanmadı: ihlalli cümle ekranda kalır, altına not düşer (bilinçli; [BİLAL] kararı).
Eval verisi: s060/s061/s062/s064 icermemeli kalıpları reddeden cümleye takılıyordu, kaldırıldı.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com >
2026-10-05 08:23:07 +03:00
bilalgursen
080dcc9909
test(eval): sohbet eval verisi ve altyapısı güncellendi (iş 6) [KARAR]
...
- s104/s105: havuz düzeltmelerinden (B2) sonra öncül değişti; soru ve beklenti yeniden yazıldı.
- s084: icermemeli 'garanti' sorumluluk reddine takılıyordu; daraltıldı.
- s018/s033/s039/s048: kabul edilebilir cevapta araç şartı kaldırıldı (04 raporu §H).
- s088: adın kabul edilmesi metin kontrolüyle yakalanır.
- Kilitli (paketsiz) senaryoda Jev hakem bağlamına ürün bilgisi eklendi (299 TL, /paket yanlış alarmı).
- Paketsiz liste özeti kırpması danisman-prompt.ts'e taşındı (sohbetListeOzeti); route.ts ve eval aynı fonksiyonu kullanır, kopya kalktı. Davranış aynı.
- --tekrar N, tutarlılık özeti, ortalama araç çağrısı ve soru başı maliyet eklendi.
- Vaat regex'i 'AIS'e girersin', 'sınava girersin' cümlelerine takılmıyor.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com >
2026-10-05 08:14:51 +03:00
bilalgursen
e06c486b1a
test(eval): profil beklentileri havuz düzeltmeleri sonrası davranışa göre yeniden üretildi
...
- 22 profilin beklenen değeri (gevşetme, minAday, hedef) B1/B2/B3/B5/B8
sonrası gerçek havuzOlustur() çıktısına eşitlendi; "liste-24-alti"
etiketi kalktı, düzelen bugların supheli kayıtları temizlendi.
- robot.ts: "alan-ilsiz-gevsedi" değişmezi artık yalnız alanda adayın
yazabileceği 24+ program varken ihlal sayar (a07: baraj yüzünden alanda
1 program kalıyor, gevşetme meşru; beklenti hatasıydı).
Önce: pnpm eval:robot 22 temiz / 18 ihlalli, çıkış 1.
Sonra: 40 temiz / 0 ihlalli, çıkış 0.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com >
2026-10-05 08:12:59 +03:00
bilalgursen
d9badeedfa
docs(gece): eval profil matrisi + danışman soru seti (40 profil, 112 soru)
...
scripts/eval/profiller.ts: sihirbaz girdi şemasıyla birebir 40 profil ve
112 sohbet sorusu; beklenen havuz/hedef değerleri gerçek yokatlas.db
üzerinde havuzOlustur() koşturularak okundu (40/40 eşleşti).
docs/gece-vardiyasi/2026-10-05/02-profil-matrisi.md: kapsam tablosu,
kanıt, 16 bug adayı (dosya:satır) ve kapsanamayanlar.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com >
2026-10-05 01:08:07 +03:00
