Beef Arbiter AIは、しれっとほぼ毎日アップデートしている。表には出していないが、中身はじわじわ変わっている。判定ロジックの調整、エッジケースへの対応、出力フォーマットの整理——一つひとつは小さいが、積み重なると別物になっていく。
毎日更新できているのは、テスト素材が尽きないからだ。インターネット上の口論はなくならない。むしろ毎日新しい形で出てくる。それを素材として使いながら精度を上げていく作業は、終わりがない。終わりがないから続けられる、という面もある。
本日のアップデート
精度を上げ続けている。
画像からのテキスト抽出精度を改善。文字が小さいスクショでも判定がブレにくくなった。
文脈から「誰に対して言っているか」と「何を前提にしているか」を分けて判定結果に反映するようにした。
「そんなことも知らないの？」のような、実質的に疑問ではない文章を問いとしてカウントしないように修正。
開発の話
毎晩、レスバを覗いている。
テストの素材が必要なので、毎晩Xでレスバを探している。最初に目をつけたのは海賊版論争だった。論点が比較的明確で、立場も割れやすく、AIの判定材料として使いやすかった。
ただ、そこに反応し続けた結果、アルゴリズムが俺の好みを学習した。おすすめ欄に流れてくるのがネガティブな論争ツイートばかりになった。海賊版論争から派生して、もっと感情的な口論、もっとトゲのある言葉。自分が反応しやすいものを見せてくる精度が上がっていく。
仕組みを少し調べた。Xのおすすめ表示は、ユーザーのエンゲージメントパターンを学習して好みを判定する。ポジティブな反応（いいね、RT）だけでなく、返信したこと、長く読んだこと、それ自体が「興味あり」のシグナルになる。「研究のため」に覗いていたつもりが、俺のリプや滞在時間が全部「こいつはこれが好き」として処理された。入力のつもりが、出力の材料になっていた。
Xのアルゴリズムがどう感情を利用するかはBeef Arbiter AIの記事でも書いたが、それを自分が受けている。SNS運用がだんだんできなくなってきているのは、その副作用だ。
たまに、自分より明らかに上手い人を見かける。短文で、丁寧で、的確に論点を刺している人。そういう人を見ると、ついリプを送ってしまった。
レスバはしたくない。でもAIを広告がてら持ち込むと、どこかでムキになっている自分がいる。
人が深淵を覗くとき、深淵もまた人を覗いている——とニーチェは言ったが、レスバを覗いているとき、レスバもまた俺を覗いているのかもしれない。
作ったものに引きずられていく感覚は、悪くはない。ただ次の日が少し眠い。
SNS運用がだんだんしにくくなってきているのは、これの副作用だ。おすすめ欄がネガティブな論争ばかりになると、普通のことをつぶやく気が起きなくなる。「宣伝のためにXを使う」と思っていたのに、使えば使うほどそれが難しくなっている。アルゴリズムは自分の行動から学習し続けるので、レスバを見ればレスバを出してくる。これを意識してから、意図的に「見ない日」を作るようにした。
ツールを作っている側が、そのツールの仕組みに飲まれている。皮肉ではあるが、実際に体験したからこそ判定ロジックに組み込めた部分もある。テストに使っているのか、テストされているのか、だんだんわからなくなってきている。
これから
精度より先に、使われる理由が要る。
Beef Arbiter AIをこれからどこに持っていくか、まだ答えは出ていない。判定精度を上げることは続けていく。だが精度が上がれば使われるかというと、そうではないことも薄々わかってきた。
ツールが使われるのは「ここでしか得られないものがある」と感じたときだ。Beef Arbiterが提供しているのは「AIによるレスバの判定」だが、そもそもレスバの勝敗を第三者に認定してもらいたい、という需要がどれだけあるかはまだ検証が足りない。使いたい場面を自分で想定して、自分でテストして、自分が面白いと思っているだけで、他の人が同じように面白いと感じるかどうかはわからない。
こういう問いに答えるためには、判定精度の改善より先に「どういう人が、どういう場面で使うか」を絞り込む必要がある。Xでのレスバを見ている層なのか、まとめサイトを読む層なのか、議論好きで自分の論点を整理したい層なのか。今はまだ「面白そうだから試してみる」の段階で止まっている人が多いと感じる。その先に行ってもらうためのアプローチを、次のフェーズで考えていく。
現状
毎日更新を続けているのは、動かし続けることで自分の思考が整理されるからでもある。止まると次に動けなくなる。今はそのリズムを維持することが一番大事だと思っている。