mane/dev-platform
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

feat(assessment): núcleo de calibración del LLM-judge (Fase 0, ADR-0011) #6

Merged
mane merged 1 commit from feat/judge-calibration-core into main 2026-06-28 23:25:40 +00:00
Conversation 0 Commits 1 Files changed 10 +550
mane commented 2026-06-28 23:25:33 +00:00
Owner
Copy link

Maquinaria de calibración, verificable sin LLM ni infra (slice vertical):

  • Métricas puras hand-rolled (TS, 0 deps): Spearman, Cohen's κ, false-pass
    rate, scoreFromBreakdown. Resuelve el pendiente de ADR-0011 (stats lib vs
    hand-rolled) a favor de hand-rolled — acorde a la postura anti-supply-chain.
  • Dominio: Rubric/RubricBreakdown, LlmJudgePort, GoldSample, CalibrationRun,
    CalibrationBars (barras 0.7/0.6/≤5%/0% adversarial), puertos GoldSetRepository
    y CalibrationRunner.
  • Use case RunCalibration: corre el juez sobre el gold set del bucket, calcula
    métricas y decide passed (habilita scoring oficial). El subset adversarial es
    barra dura 0% (operacionaliza el anti-injection de ADR-0001).
  • ScriptedJudge determinista para ejercitar el lazo sin LLM.
  • 17 tests (bun:test): métricas con respuestas conocidas + 4 escenarios de
    calibración (juez perfecto pasa; injection-obeys y verbose-wrong fallan).

Refina el GoldSample de ADR-0011: lleva el contexto (rubric/reference/dims) bajo
el que el SME calificó, necesario para correr el juez en igualdad de condiciones.

Sigue PR-B (persistencia + seed del gold set) y PR-C (adapter rubric-llm-judge
real con Claude).

Co-Authored-By: Claude Opus 4.8 noreply@anthropic.com

Maquinaria de calibración, verificable sin LLM ni infra (slice vertical): - Métricas puras hand-rolled (TS, 0 deps): Spearman, Cohen's κ, false-pass rate, scoreFromBreakdown. Resuelve el pendiente de ADR-0011 (stats lib vs hand-rolled) a favor de hand-rolled — acorde a la postura anti-supply-chain. - Dominio: Rubric/RubricBreakdown, LlmJudgePort, GoldSample, CalibrationRun, CalibrationBars (barras 0.7/0.6/≤5%/0% adversarial), puertos GoldSetRepository y CalibrationRunner. - Use case RunCalibration: corre el juez sobre el gold set del bucket, calcula métricas y decide passed (habilita scoring oficial). El subset adversarial es barra dura 0% (operacionaliza el anti-injection de ADR-0001). - ScriptedJudge determinista para ejercitar el lazo sin LLM. - 17 tests (bun:test): métricas con respuestas conocidas + 4 escenarios de calibración (juez perfecto pasa; injection-obeys y verbose-wrong fallan). Refina el GoldSample de ADR-0011: lleva el contexto (rubric/reference/dims) bajo el que el SME calificó, necesario para correr el juez en igualdad de condiciones. Sigue PR-B (persistencia + seed del gold set) y PR-C (adapter rubric-llm-judge real con Claude). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
feat(assessment): núcleo de calibración del LLM-judge (Fase 0, ADR-0011)
Some checks failed
CI / quality (pull_request) Failing after 20s
Details
CI / integration (pull_request) Failing after 28s
Details
c72016396b 
Maquinaria de calibración, verificable sin LLM ni infra (slice vertical):

- Métricas puras hand-rolled (TS, 0 deps): Spearman, Cohen's κ, false-pass
  rate, scoreFromBreakdown. Resuelve el pendiente de ADR-0011 (stats lib vs
  hand-rolled) a favor de hand-rolled — acorde a la postura anti-supply-chain.
- Dominio: Rubric/RubricBreakdown, LlmJudgePort, GoldSample, CalibrationRun,
  CalibrationBars (barras 0.7/0.6/≤5%/0% adversarial), puertos GoldSetRepository
  y CalibrationRunner.
- Use case RunCalibration: corre el juez sobre el gold set del bucket, calcula
  métricas y decide passed (habilita scoring oficial). El subset adversarial es
  barra dura 0% (operacionaliza el anti-injection de ADR-0001).
- ScriptedJudge determinista para ejercitar el lazo sin LLM.
- 17 tests (bun:test): métricas con respuestas conocidas + 4 escenarios de
  calibración (juez perfecto pasa; injection-obeys y verbose-wrong fallan).

Refina el GoldSample de ADR-0011: lleva el contexto (rubric/reference/dims) bajo
el que el SME calificó, necesario para correr el juez en igualdad de condiciones.

Sigue PR-B (persistencia + seed del gold set) y PR-C (adapter rubric-llm-judge
real con Claude).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
mane merged commit 3623cda798 into main 2026-06-28 23:25:40 +00:00
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels
No items
No labels
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
mane/dev-platform!6
No description provided.