実験一覧

5つの実験を main に統合しています。答える問いが異なるため、独立した実験として読みます。notebookのリンク、通常の選択推論の実測値、Colab CLIの実行方法は日本語まとめ記事に整理しています。

実験	GPU	runnerの処理	結果
Laya / ModernBERT	T4	synthetic caseでchoice・score・noulのdecision outputを実行します。	T4 JSON
Kev-0.5B	T4	公式decision modelとadapterを使い、packedとseparate readを比較します。	T4 JSON
Jevlike	T4	tiny scorerを短時間学習し、held-out synthetic dataとshuffled-context controlを評価します。	T4 JSON
SemIf / Qwen3.5-4B	L4	宣言したsingle-token optionの次トークンlogitを読み、option内softmaxを適用します。	最新L4 JSON
OpenJev NLI 4B	L4	fixtureのpremise/hypothesisペアをcontradiction・entailment・neutralでscoreします。	L4 JSON

証跡のstatus

LayaとOpenJevのJSONは status=ok、Kev・Jevlike・SemIfは status=success です。いずれも隣接するruntimeまたはhardware objectでactual GPUを確認します。requested T4/L4だけではallocationの証拠になりません。

catalogには失敗記録も残しています。

• Kevは、成功rerunの横に初回の依存関係不整合を保持します。
• SemIfは、optional package修正前のimport failureを保持します。
• Jevlikeは、以前の認証blockerを保持します。

失敗記録は成功までの経路を説明するもので、追加の成功結果ではありません。

JevDash録画の証跡

5つのモデル経路でJevDash Level 1の録画セットをGit外に保存しています。以下の実験ページがrunnerとコミット済み証跡の公開導線です。MP4本体は意図的に外部管理であり、ここでは公開動画URLを主張しません。

モデル経路	公開導線	確認するもの
Laya	実験README	固定game revision、実T4 adapter経路、simulation-time表示。
Kev	実験README	T4軌跡、状態維持presentation replay、sanitized manifest。
Jevlike	録画ガイド	入力欠落を検出したため、ゲーム能力評価には無効。replayはHUD-only。
SemIf	実験README	実L4 option-logit制御、固定game marker。
OpenJev NLI	実験READMEと証跡	L4 NLI制御、manifest、judgment log、代表フレーム、decode証跡。

これはモデルランキングではなく、独立した単一episodeです。動画時間は同期推論の待ち時間を除くsimulation timeです。KevとJevlikeのpresentation replayは記録済みの軌跡・状態を維持し、HUD描画だけを変更します。

Jevlikeでは、context_tokens=192 のByteCollatorが先頭192 bytesだけを渡し、定型指示の後ろにある状態情報を落としていました。外部管理のsanitized episode JSONで全27判断の先頭192 bytes・確率・right_jumpが同一であることを確認しています。Laya、Kev、SemIf、OpenJev NLIに同じ不具合があるとは確認していませんが、4件を含むゲーム能力比較が完了したとは扱いません。

比較の境界

raw latencyやprobabilityで順位付けしません。モデル、prompt形式、option数、batch shape、precision、fixtureの意味が異なるためです。SemIfはconditional option score、OpenJevはNLI probability、Jevlikeはshuffled-context controlを含む短いsynthetic experimentです。

Jevlikeのtiming fieldはresult schemaに計測境界を残しています。runnerの定義とsetup境界が同じでない限り、実験をまたいで初回推論値を比較しません。