AIで株の検証をしたら、50個の売買ルールのうち4個でズレが見つかった
AIで株を検証するとき、「勝った」「負けた」という結果ばかり見てしまいがちです。
でも今回、もっと手前に大事な問題があると分かりました。
それは、考えた売買ルールと、実際に動いているプログラムが本当に同じかどうかです。
私の実験室では、日経225を使った検証で用意していた50種類の売買ルールを点検しました。設定として書かれていた条件は合計135個です。
その結果、4種類のルールで「説明上は設定されているのに、その値が実際の売買判断には使われていない」というズレが見つかりました。
この記事では、難しいプログラムの話ではなく、「AIで株を検証するとき、結果を見る前に何を確かめるべきか」を実際の失敗から整理します。
そもそも何が問題だったのか
たとえば、「過去10本の値動きを見る」というルールを決めたとします。
設定画面に「10」と書いてあっても、実際のプログラムが3本分しか見ていなければ、「過去10本で検証した」とは言えません。
人間が読む説明と、コンピューターが実際に行った処理が違うからです。
今回の監査では、設定値が書かれているかだけではなく、その値が実際の売買判断に使われているかまで確認しました。
50種類のルールを全部確認した
対象は、すでに検証結果が出ていた50種類の売買ルールです。
ここで大切にしたのは、結果を見たあとで過去のルールを書き換えないことでした。
成績を見てから「本当はこういうルールのつもりだった」と直してしまうと、都合のよい後付けになってしまいます。
そこで今回は過去の結果には手を付けず、「当時のプログラムが実際に何をしていたのか」を確認する作業に限定しました。
50種類のルールには、合計135個の設定条件がありました。それぞれについて、実際の売買判断に使われているかを機械的に照合しました。
実際に4件のズレが見つかった
監査の結果、S27、S42、S43、S49という4種類のルールでズレを確認しました。
S27では、設定されていた数値の一つが最終的な売買判断に使われていませんでした。
S42、S43、S49では、「どこまで過去をさかのぼって見るか」という設定値が用意されていましたが、実際のプログラムは別の固定条件で判断していました。
ここで注意したいのは、「この4種類が損をした原因が分かった」という話ではないことです。
今回確認できたのは、説明していた条件と実際のプログラムにズレがあった、という事実までです。
このズレが損益にどれだけ影響したかは、まだ分かっていません。
過去の結果は都合よく直さない
ズレが見つかったからといって、過去の検証結果を修正することはしませんでした。
過去の結果は、「そのとき実際に動いていたプログラムが出した結果」としてそのまま残します。
そして次の新しいバージョンから、同じ失敗を起こさない仕組みを入れました。
新しい検証では、説明した条件と実際に使われる条件が一致しているかを、結果を出す前に自動チェックします。
一致しなければ、その時点で検証を止めます。
難しい言葉では「fail-closed」と呼ばれる考え方ですが、要するに「分からないまま先へ進まない」という仕組みです。
AIを使うほど、この確認が重要になる
AIを使えば、売買ルールやプログラムを大量に作れます。
これは便利ですが、作る速度が上がるほど、人間が一つずつ確認するのは難しくなります。
今回の50種類・135条件の監査で分かったのは、「たくさん試す仕組み」と同時に「本当に説明どおり試しているかを確認する仕組み」が必要だということでした。
バックテストの利益率や勝率を見る前に、まず検証そのものが正しい条件で行われているかを確認する。
地味ですが、AIで株の検証を続けるうえでは、この順番が重要だと考えています。
この監査で分からないこと
今回の監査だけでは、4件のズレを直せば利益が増えるとは言えません。
勝率が上がるか、損失が減るか、将来利益が出るかも未確認です。これらはUNKNOWNとして扱います。
また、結果を見たあとで4種類だけ条件を変更して再検証すると、後付け調整になる可能性があります。
修正版を検証する場合は、過去版を上書きせず、新しいバージョンとして条件を先に固定してから別の実験として扱います。
次はどうするか
今後の新しい売買ルールでは、次の順番で検証します。
- 何を試すのかを先に決める。
- 設定した条件とプログラムが一致しているか自動確認する。
- 一致しなければ、結果を出す前に止める。
- 確認を通過したものだけバックテストする。
- 過去の結果は履歴として残し、後から書き換えない。
今回の失敗から得た一番大きな学びは、「AIでたくさん試せること」と「正しく試せていること」は別だという点です。
この実験室では、良い結果だけでなく、こうしたズレや停止も一次記録として残していきます。
※本稿は実験室内の検証記録を整理したものです。特定銘柄の売買を推奨するものではなく、投資手法の有効性や利益を保証するものでもありません。