AIに「確認なしで直してよい」を1つだけ許した。決まった型だけ・直したら知らせる・最初の2回は後から確かめる

AIに「確認なしで直してよい」を1つだけ許した。決まった型だけ・直したら知らせる・最初の2回は後から確かめる

私の AI の部署たちには、「本番の環境を変える前には、必ず私の承認を取る」という決まりがあります(サーバーを触らせるときの決まりの記事)。

11月13日、この決まりに1つだけ例外を作りました。決まった形の直しに限り、私の確認なしで、自動で直してよいことにしたのです。この記事では、なぜ例外を作ったのかと、範囲をどう絞ったかを書きます。

この記事で分かること

  • 同じ形の止まり方が続いた
  • 例外の範囲を「決まった型」だけに絞った
  • 直したら知らせ、記録を残す
  • 別の部署の確かめで足した条件
  • まだ分からないこと

1. 同じ形で、記録が止まった

私は、株の戦略を、実際のお金を使わずに記録だけつける「ペーパー記録」で試しています。毎朝、無料のデータ源から値を取り、データにおかしな点があれば、記録を付けずに止まる仕組みです。

無料のデータ源の値には、ときどき誤りがあります。そのため、誤りの分かっている値は、「データ源が出している値」と「代わりに使う値」を並べた表で、人が直しています。データ源が出す値が表と違えば、念のため止まります。

ところが、データ源のほうが、あとから自分で値を直すことがあります。直した結果は、表の「代わりに使う値」と同じです。それでも、表の「データ源が出している値」とは違うので、仕組みは止まります。

11月11日と13日に、続けてこの形で止まりました。どちらも、表の1か所を書き換え、リスク管理の部署が確かめ、私が承認してサーバーに入れる、という手順を踏みました。止まった日は、記録が欠けた日になります。

データ源が値を直しても、表の値と違うため記録が止まる仕組みの図
データ源が自分で値を直すと、直した値でも止まっていた

2. 例外を「決まった型」だけに絞った

13日、私は「確認と承認なしで直す仕組みにできないか」と頼みました。運用の部署が作った仕組みは、次の形です。

  • 自動で直すのは1つの型だけ:データ源の値が、表の「代わりに使う値」と同じになったとき。表の「データ源が出している値」をそれに合わせる
  • それ以外は直さない:表のどちらの値とも違う、その日の値が消えた、日付がずれた、などは、直さずに知らせるだけ
  • 変えるのは決まった項目だけ:書く前に、変わったのが決まった項目だけかを、別の確かめでもう一度見る。ほかが変わっていれば書かない
  • 本番の処理と重ならない時間にだけ動く
データ源の値の変化すること
表の「代わりに使う値」と同じになった自動で直す(表の「データ源が出している値」をそれに合わせる)
表のどちらの値とも違う直さずに知らせるだけ
その日の値が消えた直さずに知らせるだけ
日付がずれた直さずに知らせるだけ

この例外は、決定事項に番号を付けて残し、「本番を変える前に承認」の決まりを、この型にだけは当てはめない、と書きました。

決定事項のファイルの51番。決まった型にだけ承認の決まりを当てはめないと書かれている
実際の決定事項のファイルの一部(見やすく整えたもの)。青い印は、この記事で付けたもの。「…」は省いたところ

3. 直したら知らせ、記録を残す

確認なしで直すといっても、黙って直すわけではありません。

  • 直したら、メールで知らせる。直さずに知らせるだけのときは、件名を分ける
  • メールには、銘柄や成績は書かない。件数と種類と、次にすることだけ
  • 直す前と後の表を、両方とも残す。戻すときの手順も書いておく
決まった型は自動で直して知らせ、それ以外は直さずに知らせる流れ
確認なしでも、直したら知らせ、前後の表を残す

4. リスク管理の部署が足した条件

運用の部署が作った仕組みは、リスク管理の部署が確かめ、条件付きで承認しました。足された条件と勧めは、次のとおりです。

  • 最初の2回は、後から確かめる:自動で直した最初の2回は、直した中身をリスク管理の部署に回す。2回とも型どおりなら、以後は回さない
  • 2回取って、同じときだけ直す:データ源の値は、取った時刻によって一時的に揺れることがあります。実際に、ある朝の取得で、値が一時的に本来とは違う値になっていたことがありました。そこで、数分あけてもう一度取り、2回とも同じときだけ直す形を勧めてきました。運用の部署は、これを入れてから動かし始めました
2回取って同じときだけ直し、最初の2回は後から確かめる流れ
リスク管理の部署が足した条件と勧め
リスク管理部の報告の結論、条件 Z2 と勧め Y1
実際のリスク管理部の報告の一部(見やすく整えたもの)。青い印は、この記事で付けたもの。「…」は省いたところ

まだ分からないこと

  • 仕組みを入れた日の夕方に1回目が動きました。このときは直すものがなく、11月14日の時点で、自動で直した回はまだありません
  • データ源が値を直す時刻によっては、翌朝に1回止まることが残ります

やって分かったこと

人の承認を外すときは、「任せる」の範囲を広く書くより、直してよい型を1つに絞り、それ以外はすべて人に返すほうが、安心して外せました。外したあとも、直したら知らせる、最初の何回かは後から見る。承認の代わりになる確かめを、先に決めておくのが大事だと感じています。

関連記事:

※ この記事は、仕組みづくりの記録です。特定の銘柄や投資手法をすすめるものではありません。