bilal/kolaytercih
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix(danisman): olasılık/vaat dili — prompt kalıpları, anahtarsız regex denetimi, Jev sorusu ve sürümü (iş 1) [KARAR]

Browse Source 
(a) Prompt: yasak kalıp listesi + yerine ne denir örnekleri; 'olasılığı düşük' de yasak.
(b) cikti-denetimi.ts: anahtarsız regex (vaatDiliBul). Akışta Jev VEYA regex yakalarsa düzeltme notu.
    Ek model çağrısı yok, kredi etkilenmez; Jev atlanırsa regex yine koşar.
(c) Jev: model jev-1.13.0'a sabitlendi; soruya ölçüt (criteria) eklendi. 01 raporundaki ek cümle
    TEK BAŞINA gerçek cevaplarda 15 ihlalin 8'ini kaçırdı; 'olumsuz yöndeki tahmin de ihlaldir'
    cümlesiyle birlikte eklendi. Canlı eşik 0,50 kaldı (73 örnek: yanlış alarm 0/40, kaçan 3/33;
    regex ile birlikte 0/40 ve 0/33). Eval: danışmanda yerlesme_vaadi eşiği 0,25/0,35.
Kanıt (aynı 23 soru × 2, deepseek-v4-flash): geçen 13/46 → 25/46; jev:yerlesme_vaadi 'kaldı' 20 → 1;
canlı not eklenen cevap 2/46. Dosyalar: sonuc/*-sohbet-vaat-once.json, *-vaat-sonra.json, *-jev-kesif.json.
Akış tamponlanmadı: ihlalli cümle ekranda kalır, altına not düşer (bilinçli; [BİLAL] kararı).
Eval verisi: s060/s061/s062/s064 icermemeli kalıpları reddeden cümleye takılıyordu, kaldırıldı.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
bilalgursen
2026-10-05 08:23:07 +03:00
parent 080dcc9909
commit 151e44780f
12 changed files with 7355 additions and 101 deletions
Download Patch File Download Diff File Expand all files Collapse all files

17
scripts/eval/sohbet.ts
View File

@@ -41,7 +41,7 @@ import {
type Karar,
type Kontrol,
} from "./ortak";
import { JEV_EVAL_MODEL, JEV_SORU_GRUPLARI, type JevDanismanState, type JevSoruAdi } from "./jev-sorulari";
import { JEV_DANISMAN_ESIKLERI, JEV_EVAL_MODEL, JEV_SORU_GRUPLARI, type JevDanismanState, type JevSoruAdi } from "./jev-sorulari";
import { PROFILLER, SORULAR, type EvalProfil, type EvalSoru } from "./profiller";
import type { RaporParams, RaporSonuc } from "@/features/rapor/types/rapor";
@@ -62,6 +62,7 @@ async function main() {
const { listeOzetiCikar } = await import("@/lib/ai/rapor");
const { sohbetModeli, saglayiciAdi, anahtarVar } = await import("@/lib/ai/client");
const { JEV_DUZELTME_NOTU } = await import("@/lib/ai/jev");
const { vaatDiliBul } = await import("@/lib/ai/cikti-denetimi");
const { havuzOlustur, dilimHedefiHesapla } = await import("@/lib/rapor-havuzu");
const { PUAN_TURLERI } = await import("@/types/yokatlas");
@@ -163,6 +164,7 @@ async function main() {
let tamMetin: string | null = null;
let yarimMetin: string | null = null;
let akisHatasi: string | null = null;
let canliDenetim: { jevP: number | null; vaatRegex: string[]; vaatNotu: boolean } | null = null;
const t0 = Date.now();
const { kullanim } = await olcerekKos(async () => {
try {
@@ -176,6 +178,9 @@ async function main() {
onYarim: async (m) => {
yarimMetin = m;
},
onDenetim: (d) => {
canliDenetim = d;
},
}).getReader();
for (;;) {
const { done, value: parca } = await okuyucu.read();
@@ -272,10 +277,15 @@ async function main() {
};
jev = await jevSor(state, jevSorulari);
const kriz = s.etiketler.includes("kriz") ? "kriz" : s.etiketler.includes("kriz-degil") ? "kriz-degil" : null;
kontroller.push(...jevKontrolleri(jev, kriz));
kontroller.push(...jevKontrolleri(jev, kriz, JEV_DANISMAN_ESIKLERI));
}
const jevVaatP = jev?.durum === "ok" ? (jev.p.yerlesme_vaadi ?? 0) : 0;
if (vaat.length) kontroller.push({ ad: "vaat-regex", durum: jevVaatP >= 0.35 ? "kaldi" : "gri", neden: vaat.join(" | ") });
// Hakem regex'i tek başına "gri"; Jev inceleme eşiğini geçtiyse ya da üretimdeki regex de yakaladıysa "kaldı"
const uretimVaat = vaatDiliBul(metin);
if (vaat.length || uretimVaat.length) {
const kesin = uretimVaat.length > 0 || jevVaatP >= (JEV_DANISMAN_ESIKLERI.yerlesme_vaadi?.inceleme ?? 0.35);
kontroller.push({ ad: "vaat-regex", durum: kesin ? "kaldi" : "gri", neden: (uretimVaat.length ? uretimVaat : vaat).join(" | ") });
}
const karar: Karar = genelKarar(kontroller);
const sorunlar = kontroller.filter((k) => k.durum !== "gecti");
@@ -297,6 +307,7 @@ async function main() {
adim,
cevap: metin,
canliJevNotu,
canliDenetim: canliDenetim as { jevP: number | null; vaatRegex: string[]; vaatNotu: boolean } | null,
kayitliProfil,
jev: jev?.durum === "ok" ? jev.p : jev ? { atlandi: jev.neden } : null,
ilkTokenMs: ilkTokenMs as number | null,