AIを株システムに入れたら本当に良くなる？Jevを62回実測して採用を見送った理由
「AIを株システムに足せば、判断精度も上がるのでは？」
そう考えて、今回はTypeSafe AIのJevを既存の日本株システムに“影武者”として追加し、実データで検証しました。結論から言うと、62件を測定したところ、Jevの確率予測は、事前に固定した単純な基準確率よりBrier scoreが悪化しました。投資収益そのものが悪化した、という意味ではありません。
そのため、現時点ではJevを売買判断や既存戦略のフィルターには採用していません。ただし、3戦略のうちD04だけはBrier scoreが小幅に改善しており、今後のforwardデータで再検証する価値は残りました。
今回やったこと
実験対象は、これまでRakuten RSSとJ-Quantsで検証してきた日本株戦略のうち、現在残している3本です。株システム全体の考え方は、現在の検証戦略を初心者向けに分解した記事、検証段階の違いはバックテストとペーパートレードの違いをまとめた記事でも説明しています。
- D03：52週高値モメンタム。上位30%を選び、6か月保有
- D04：6か月クロスセクショナル・モメンタム。上位10%を選び、6か月保有
- D10：1か月リバーサル。下位10%を選び、1か月保有
ここでいう1 cohort（コホート）は、ある判定日（signal日）にその戦略が選んだ銘柄群をひとまとめにした1回の判断単位です。今回の評価対象はD03が19 cohort、D04が19 cohort、D10が24 cohortで、合計62 cohortでした。
ここにJevを直接売買エンジンとして入れたわけではありません。JevはSHADOW_ONLY、つまり「判断は記録するが、注文やポジション変更には一切使わない」状態で並走させました。
Jevとは何か
Jevは、文章を長く生成する一般的なLLMとは少し違い、与えた状態に対してChoice・Score・Booleanのような型付き判断と確率を返すことを得意とするモデルです。Vercel AI Gatewayでも利用できます。
Vercel公式は、Jevを「stateをtyped questionで評価し、choices・scores・boolean probabilitiesを返すモデル」と説明しています。2026年9月25日までは無料プロモーションがありましたが、今回の実験時点では有料利用へ切り替えて試しました。
Vercel AI Gateway：Jev
Vercel公式：Jev提供開始のお知らせ
最初につまずいたのは「無料枠」だった
最初は以前と同じAI GatewayキーでJevを呼びましたが、結果は403 no_providers_available。調べていくと、キーやコードが壊れていたわけではありませんでした。
同じキーで通常モデルは200成功、Jevだけが「Free tier users do not have access to this model」という状態でした。少なくとも今回使ったVercelチームでは、無料クレジットの状態ではJevを実行できず、paid credit購入後に同じ経路で200成功しました。すべてのFree tier環境で同じ挙動になる、と一般化はしません。
そこでAI Gatewayのpaid creditを$1だけ購入しました。今回のアカウントでは、credit $1に決済手数料と税が加わり、チェックアウト合計は$1.46でした。
いきなり62件は投げず、まず1件だけ確認
課金したからといって、すぐ全件を実行するのは避けました。まず一時APIキーを作り、1件だけJevに送って疎通と実コストを確認しています。
- HTTP：200
- 入力：344 tokens
- 出力：21 tokens
- 実コスト：$0.000014448
- 一時APIキー：テスト後に削除
この時点で「思ったよりかなり安い」と分かったので、本測定へ進みました。
未来の結果をAIに見せない
今回、一番気を付けたのは未来情報の混入です。
バックテスト結果のファイルには、entry price、exit price、returnなど、答えを知るための情報も入っています。これをそのままJevへ渡すと、検証になりません。
そこで、Jevへ渡す状態はRakuten RSSの約10年OHLCVからsignal日以前だけを切り出して再構成しました。入力したのは、選抜銘柄群のmomentum、breadth、volatility、volume、52週高値からの距離などの集約値です。
exit price、将来return、勝敗ラベルは予測時には渡していません。予測ファイルと正解ファイルを分離し、62件すべての予測が終わってからdecision_idで結合して採点しました。
Brier scoreで比べる
今回は「当たった・外れた」だけではなく、Brier scoreで確率の良さを評価しました。
たとえば「上がる確率80%」と予測して実際に上がった場合は、(0.8 – 1)² = 0.04。外れた場合は、(0.8 – 0)² = 0.64になります。小さいほど、確率予測として良い指標です。
比較相手も後から都合よく決めません。検証用期間（validation）の「プラスになったcohort率」を固定確率として使い、過去の評価用データ（historical held-out）に当てたconstant-prior baselineを先に作りました。簡単に言えば、「過去のvalidationで約○%プラスだったなら、次も毎回その確率だと予測するだけ」という単純な比較相手です。
62件の結果
| 対象 | 件数 | Jev Brier | 基準Brier | 結果 |
|---|---|---|---|---|
| 全体 | 62 | 0.2302 | 0.1929 | 悪化 |
| D03 | 19 | 0.1611 | 0.0943 | 悪化 |
| D04 | 19 | 0.1907 | 0.1974 | 小幅改善 |
| D10 | 24 | 0.3162 | 0.2445 | 悪化 |
Jevの測定は62/62件で応答取得、失敗0件でした。Vercel AI Gatewayで計上されたJev 62件分のモデル利用料は合計$0.002365062でした。
結果を見て、Jevを採用しなかった
全体ではJevのBrier scoreが0.2302、基準が0.1929。今回はAIを追加した方が確率予測は悪くなりました。
D03とD10も悪化しています。D04だけは0.1974から0.1907へ小幅に改善しました。ただしD04は19 cohortでの差が0.0067程度にすぎず、統計的な有意差を確認したものでもありません。この結果だけで「D04にはJevが効く」と結論づけるのは早いと判断しました。
そのため、現在のD03・D04・D10の条件は変更せず、Jevを売買フィルターにも採用していません。
「AIを足すほど賢くなる」とは限らない
今回の実験で一番大きかったのは、Jevの性能そのものよりもAIを追加する価値を測れる仕組みを作れたことでした。
AIの出力を見て「なんとなく良さそう」と判断するのではなく、先に比較基準を固定して、未来情報を遮断し、確率予測を数値で比較する。悪ければ採用しない。
AIを増やすことではなく、AIを疑える測定器を持つことの方が重要なのかもしれません。
次はD04だけforwardで再検証する
今回使ったhistorical held-out期間は、別の研究ですでに結果を確認したことがあります。そのため、今回の結果は「昇格判定に使える完全な未使用テスト」とは扱いません。
次は、これから新しく積み上がる未使用のforward data（将来の実測データ）だけを使います。今回わずかに改善したD04について、同じ質問、同じ特徴量、同じBrier scoreで再検証します。
そこで改善が再現しなければ、Jevは採用しません。再現するなら、初めて「D04＋Jev Shadow」を次の比較候補に進めます。
今回のまとめ
- Jevを有料接続し、実際に62 cohortを測定した
- 未来returnやexit情報はJevに渡していない
- 62/62件成功、Jev利用料は約$0.00237
- 全体Brierは0.2302で、基準0.1929より悪かった
- D03・D10は悪化、D04だけ小幅改善
- 今回はJevをFINAL3へ採用しなかった
- D04だけ今後の未使用forward dataで再検証する
この実験室では「AIを使った結果」だけでなく、使わないと決めた結果も残します。うまくいった話だけを集めるより、その方が次の実験で使えるデータになるからです。
※この記事はAI・投資システムの検証記録であり、特定銘柄の売買や投資成果を推奨・保証するものではありません。
