kolaytercih

bilal/kolaytercih

Fork 0

Commit Graph

Author	SHA1	Message	Date
bilalgursen	e9dfa354f8	test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo - eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı, 2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı → güvenlik ağı), 23-08 (r04 tekrar). - akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>	2026-10-09 02:10:59 +03:00
bilalgursen	128c175327	fix(danisman): revizyon aracı atlanmasın — geçmiş araç kaydına indirgenir, beyan regex'i genişledi, soru formu Türkçe karakter (QA B1, B4) Kök neden (B1): chat_messages yalnız metin tutar; başarılı revizyonun kaydı ("revize ediyorum… Liste yenilendi… 1-5") araçsız cevapla aynı görünüyordu ve model sonraki turda bu kalıbı taklit edip liste_revize çağırmadan "yenilendi" yazıyor, program adlarını eski cevaptan kopyalıyordu (eval: 8 revizyon isteğinde 1 çağrı, 5 sahte beyan). Metnin altına "[araç çağrıldı]" işareti eklemek işe yaramadı — model işareti de kopyaladı. - sohbet-gecmisi.kayitliMesajModelMetni: modele giden pencerede başarılı revizyon turu kısa araç kaydına iner (meta.revizyon'dan), araçsız "yenilendi" diyen tur (düzeltme notu olmayan eski kayıtlar dâhil) uydurma listesiyle birlikte düşer; kayıt ve ekran değişmez. route.ts bunu kullanır. - revizyonNiyetiVar + sohbet-akisi.ilkAdimAracZorunlu: niyet algılanınca ilk adımda tool_choice "required". VARSAYILAN KAPALI (SOHBET_REVIZYON_ARAC_ZORUNLU=1): ölçümde 7/8 çağrı, 0 sahte beyan verdi ama OpenRouter isteği Baidu yerine OpenInference'a yönlendirdi, gecikme 1-7 sn → 80-112 sn, onlarca paralel araç çağrısı. Açmak Bilal'in kararı. - danisman-prompt revizyon bölümü: 5 (geçmiş örnek değildir; önce aracı çağır) ve 6 (soru formunda Türkçe karakter). - cikti-denetimi REVIZE_BEYANI: "değişiklikler yapıldı", "artık … tercihin … oluşuyor", "listeyi yeniden kurdum", "liste_revize çağrıldı" kalıpları. - araclar.ts (B4): soru_sor açıklamasına Türkçe karakter kuralı; formdaki ASCII'ye düşmüş il adları koddan düzelir (ilAdlariniDuzelt: Istanbul → İstanbul, Eskisehir → Eskişehir; yalnız büyük harfle başlayan tam eşleşme). - scripts/eval/revizyon-arac.ts (pnpm eval:revizyon): gerçek modelle 10 senaryo, liste_revize çağrı oranı + sahte beyan; liste_revize çalıştırılmaz (mesajId yok). Sonuç dosyaları scripts/eval/sonuc/*-revizyon.json. Kredi: değişmez. akis-denetim 9/9, revizyon-denetim 5/5, tsc ve lint temiz. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>	2026-10-09 00:16:35 +03:00

Author

SHA1

Message

Date

bilalgursen

e9dfa354f8

test(eval): revizyon evali koda bağlı yola göre — niyet/kural/dal/şablon ölçümü; akis-denetim'e 4 koddan senaryo

- eval:revizyon: regex kapısı + yapılandırılmış çıkarım + koddan işlem (sahte
  çekirdek) ölçülür; beklenen kural alt kümesi, sahte beyan, ad eşleşme, niyet
  gecikmesi/maliyeti ayrı. Ham sonuçlar: 22-57 (duman), 22-59 (model anlatımı,
  2/8 yanlış sayı), 23-02 (doğal kayıt), 23-07 (şablon; r04 niyet zaman aşımı
  → güvenlik ağı), 23-08 (r04 tekrar).
- akis-denetim (13/13): koddan revizyon (modelsiz şablon), niyet=diger + sahte
  beyan → not + iade, koddan form (model çağrısı 0), koddan revizyon hatası.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>

2026-10-09 02:10:59 +03:00

bilalgursen

128c175327

fix(danisman): revizyon aracı atlanmasın — geçmiş araç kaydına indirgenir, beyan regex'i genişledi, soru formu Türkçe karakter (QA B1, B4)

Kök neden (B1): chat_messages yalnız metin tutar; başarılı revizyonun kaydı
("revize ediyorum… Liste yenilendi… 1-5") araçsız cevapla aynı görünüyordu ve
model sonraki turda bu kalıbı taklit edip liste_revize çağırmadan "yenilendi"
yazıyor, program adlarını eski cevaptan kopyalıyordu (eval: 8 revizyon
isteğinde 1 çağrı, 5 sahte beyan). Metnin altına "[araç çağrıldı]" işareti
eklemek işe yaramadı — model işareti de kopyaladı.

- sohbet-gecmisi.kayitliMesajModelMetni: modele giden pencerede başarılı
  revizyon turu kısa araç kaydına iner (meta.revizyon'dan), araçsız
  "yenilendi" diyen tur (düzeltme notu olmayan eski kayıtlar dâhil) uydurma
  listesiyle birlikte düşer; kayıt ve ekran değişmez. route.ts bunu kullanır.
- revizyonNiyetiVar + sohbet-akisi.ilkAdimAracZorunlu: niyet algılanınca ilk
  adımda tool_choice "required". VARSAYILAN KAPALI
  (SOHBET_REVIZYON_ARAC_ZORUNLU=1): ölçümde 7/8 çağrı, 0 sahte beyan verdi ama
  OpenRouter isteği Baidu yerine OpenInference'a yönlendirdi, gecikme 1-7 sn →
  80-112 sn, onlarca paralel araç çağrısı. Açmak Bilal'in kararı.
- danisman-prompt revizyon bölümü: 5 (geçmiş örnek değildir; önce aracı çağır)
  ve 6 (soru formunda Türkçe karakter).
- cikti-denetimi REVIZE_BEYANI: "değişiklikler yapıldı", "artık … tercihin …
  oluşuyor", "listeyi yeniden kurdum", "liste_revize çağrıldı" kalıpları.
- araclar.ts (B4): soru_sor açıklamasına Türkçe karakter kuralı; formdaki
  ASCII'ye düşmüş il adları koddan düzelir (ilAdlariniDuzelt: Istanbul →
  İstanbul, Eskisehir → Eskişehir; yalnız büyük harfle başlayan tam eşleşme).
- scripts/eval/revizyon-arac.ts (pnpm eval:revizyon): gerçek modelle 10
  senaryo, liste_revize çağrı oranı + sahte beyan; liste_revize çalıştırılmaz
  (mesajId yok). Sonuç dosyaları scripts/eval/sonuc/*-revizyon.json.

Kredi: değişmez. akis-denetim 9/9, revizyon-denetim 5/5, tsc ve lint temiz.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>

2026-10-09 00:16:35 +03:00

2 Commits