HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

誰が誰に教えているのか、もう区別がつかない

I can't tell who's teaching who anymore (blog.murphytrueman.com)

35 pointsby eustoria31 コメント

要約

AIが生成する文章と人間が書いた文章の区別が曖昧になり、書き手が自身のスタイルを抑圧し、より中立的な表現を選ばざるを得なくなっている現状を論じるエッセイ。AIモデルが人間の言葉を学習し、それが逆に人間の語彙に影響を与えるという循環が、個人の創造性や表現の独自性を希薄化させていると指摘しています。

全文翻訳

誰が誰を教えているのか、もう分からない

先日、記事を書き終えた。いつも公開前にやっていることだが、それを声に出して読んでみた。まるで子供に絵本を読み聞かせるように。リズムを見つけるための方法だ。どこにカンマを置くべきか、エン・ダッシュがその拍に見合う価値があるか、そして読者がほとんど何も見逃さずにスキップできる括弧はどれか。

しかし最近、読み返しは狩りへと変わってしまった。エン・ダッシュを取り除き、カンマやピリオドに置き換える。リズムを安定させながら、変更を目立たなくするのだ。「genuinely」「honest」「quiet」「silent」「worth」といった言葉を探し出し、よりニュートラルなものにスワップする。まるで自分のスタイルを埋葬するかのように。これらはデスクトップのファイルに保存されている言葉のほんの一部で、「Literary Graveyard(文学の墓場)」と名付けている。そこには、人々が作品を「作り上げられた」ものではなく「AI生成」だと読ませるような、見慣れた言葉、フレーズ、パターンが詰まっている。Slackチャンネルでの議論、LinkedInの投稿、そして元上司からの直接のコメントからもそれらを見つけた。彼は、私が書いているものからエン・ダッシュをすべて削除するように頑なに主張した。文法的に正しかったにもかかわらず、誰かがAIによって書かれたと Assume するかもしれないという懸念からだ。

最も腹立たしいのは、それらは最初に私のものであったということだ。私自身、多くの人々と同じように、モデルが登場するずっと前から何年もこのように書いてきた。機械は、私のような人々からそれらの言葉、構造、パターンを学習し、それらを私に繰り返して返してきた。それはもはや私自身のものだと感じられなくなるまで続いた。デザイン・トークンについて書きたいだけの人にとっては、これはかなりの自己検閲だ。

これは、プロダクトやデザインシステムで何年も過ごしてきた経験から認識できるループだ。私はそれが何度も展開されるのを見てきた。システムにパターンを導入し、人々がそれをコピーし、しばらくするとそのコピーが証明となる。どこにでもあるから、それが正しかったに違いない。時には、システムはすでに機能していたものをカタログ化しているだけだ。他の時には、それは何もないところから行動をInventし、その広がり自体を判決として扱う。仕事の半分は、どちらのケースだったのかを明らかにするためにパターンを追跡することだ。誰かが実際にそれを選んだのか、それとも単に積み重なっただけなのか。今、私は言語でも同じループを見ている。ただし、監査する対象がない。どちらの方向に影響が流れているのか、もう分からない。

言葉は私たちから始まった

AIについて初めて知ったとき、モデルは独自の語彙をInventするものだとAssumptionしていた。実際にはそうではない。フロリダ州立大学の研究者たちは、ChatGPTがなぜ「delve」という言葉を頻繁に使用するのかを理解しようとした。その原因は、人間がモデルの回答を評価して「良い」とは何かを教えるフィードバック段階にあることが判明した。

研究者たちがテストしたところ、読者は「delve」という言葉を他のどのバズワードよりも低く評価した。つまり、これはモデルが人々が愛する言葉をコピーしたわけではない。トレーニングのある特定の時点での人間のレビュアーのグループが、「delve」へとそれを誘導し、モデルはその教訓を学んだのだ。私たちが今、眉をひそめるような言葉は、ある部屋の人々が報酬を与えたもののスナップショットから始まった。それらは私たちから始まったのだ。

そして、それは戻ってきた。

マックス・プランク研究所の研究者たちは、737,000時間以上のスクリプトなしのポッドキャストを聞き、ChatGPTのリリースに「delve」のような言葉の増加を直接結びつけることができた。モデルと十分に時間をかけて話すと、その言葉が自分の語彙に現れ始める。

影響は逆転した。私たちはモデルに教え、そしてモデルは私たちに教えていた。

そして、それはもう一度逆転した。

「delve」がジョークのネタになると、人々はChatGPTが存在する前よりもそれを使う頻度が減った。実際、それがあまりにも頻繁に使われなくなったため、新しいモデルはそれを使わないように調整された。私たちは機械のように聞こえないように自己編集し、機械はそれ自身のようには聞こえないように編集された。

私の「Graveyard」ファイルは、この真ん中に位置している。そこにあるすべてのエントリは、モデルが行うことのために自分の文章を編集している私自身だ。ポッドキャストのホストが「delve」で行ったのと同じ動きだが、逆方向を向いている。

中間へ向かう

この終着点には名前がある。モデル崩壊だ。2024年、Natureは、モデルが他のモデルの出力をトレーニングすると何が起こるかについての論文を発表した。まれで具体的な詳細は最初に消滅する。ラウンドを重ねるごとに、珍しいものは平均化され、9ラウンド目までにはその糸は完全に失われている。

デザインシステムに携わっているなら、別の名前でこれを理解しているだろう。私たちはそれをドリフトと呼ぶ。システムがゆっくりと意味をなさなくなることだ。なぜなら、すべてのチームがそれを独自のカスタムバージョンに曲げ続けるため、共有された標準が残らなくなるからだ。私が説明していることは逆方向に走っている。散らばるのではなく、すべてが中央に向かって引っ張られるのだ。まれで特殊なものは削り取られ、残るのはそのものの最も普通のバージョンだ。最も複雑で人間的な部分は最初に失われる。

Graveyard に移動するすべての言葉は、私が手作業で自分の文章を平均化していることを意味する。トレーニングループがスケールで適用するのと同じプルだが、より遅く、一度に一つの決定だ。私はそれを防御だと自分に言い聞かせていた。そうではない。

母が教えてくれたこと

私は今、文章を読むときにこのすべてを最も強く感じる。記事、ニュースレター、LinkedInのコメント、ドキュメント。1年前なら、それが実体験から生まれたものかどうかを通常判断できた。しかし最近、その線は曖昧になった。私は、それらを受け入れる前に、自分が避けるように訓練された兆候を探し回る。そして、それは文章を書くことを読むことと同じくらい重く感じさせるようになった。そして、私は書くことを恐れていた。なぜなら、私が使うように教えられた構造は、私を知らない誰かにとっては兆候と解釈される可能性があるからだ。

その構造は母から来た。彼女はライティングを学び、チェンジマネジメント、テクニカルライティング、eラーニングのキャリアを築いた。複雑なことを分解して、人が理解できる断片にする(聞き覚えがあるだろう?)。幼い頃から、彼女は私にできるだけたくさん読み書きするようにencouragedし、私はそれを愛した。私が文章を構築する方法の多くは、彼女から来た。そして、クリアで構造化されたテクニカルライティング(残念ながら…おそらく?)は、これらのモデルがトレーニングされているものだ。

Graveyard に埋めている言葉は、機械が書いたように読まれる。なぜなら、彼女のようなライターが最初にそのように書いたからだ。ある意味で、私は彼女から受け継いだ最も大切なものの一つが、今や機械のように聞こえるのを避けるために、自分の文章から彼女を編集していたのだ。これは、考えてみると非常に不快なことだ。彼女が私に与えたものの一つ(そして私が最も大切にしているもの)が、今や機械のように間違われる可能性が最も高いものになっているとは。

それが私をとても悩ませたので、数日前にスパイラルし始めた後に彼女に電話した。母親らしいやり方で、彼女は私が自分自身を縮小したり、他人に合わせるために書き方を変えたりすべきではないとすぐに私に言った。しかし、それは私がまだ各ドラフトを百回も確認するのを止めていない。

そこで、検出器が実際にどのように機能するかをよりよく理解しようとした。一部には、心配していたことを馬鹿げていると感じて、書くすべてを過度に分析(そして過度に編集)するのをやめられるようになりたいと思っていた。しかし、そうはならなかった。

それは一般的に2つの主要な点に集約される。あなたの言葉がモデルが選びそうな言葉であるかどうか、そしてあなたの文の長さが似ているかどうかだ。あなたがクリーンに、均一に、そして分かりやすい方法で書けば、これらのモデルがフラグを立てる範囲に快適に収まる。それが私が書くように教えられた方法だ。私の母が何年もかけて私に植え付けた習慣は、今や、見知らぬ人が機械のそれとして読むものになっている。これは、考えてみると信じられないほど奇妙で憂鬱なことだ。

これは単なるソフトウェアの問題でもない。ポッドキャスト研究を実行した研究者たちは、彼らがフラグを立てた言葉が、スキルの低さ、または怠惰なAI使用の指標として読まれ始めていると警告した。彼らが話している言葉は機械の発明ではない。それらは、長年の読書から得られる、良い言葉にすぎない。モデルがそれらを放射能にしたずっと前に、注意深く、几帳面なライターが手を伸ばした種類の言葉だ。それが私を最もイライラさせることだ。書くことを学んだ人々、語彙を構築した人々が、それが機械のものとして読み返されるのを見なければならない。

私は自分の自己認識の大部分をこの仕事を中心に築いてきた。それは健康的ではないと分かっているが、16年間も何かに熟達するために費やすのは長い時間だ。私が最も懸命に努力したスキルは、遅いものだった。Figmaファイルとコードベースを並べて見て、それらがどのようにドリフトするかを見つけること、あるいは疲れた開発者が午後の4時にフォローできるドキュメントを書くことのようなものだ。

それらのスキルは今、ツールに吸収されている。そして、仕事がそれほど重要でなくなったとき、私に残っているものは何かを理解するのに苦労している。もし私の自己認識と価値観の多くが、これに長けていることに結びついているなら、そしてこの数ヶ月でこれに長けていることの重要性がますます低下しているなら、無力だと感じないのは難しい。まるで私の一部がそれと一緒に消えていくかのようだ。

執筆は私にとって常に孤独な活動であり、モデルを使って考えを巡らせたり、アイデアに実質があるかどうかをテストしたりすることは、それを少なくしてくれた。それに何も問題はないと思う。しかし、それを声に出して言うのはリスクが高いように感じる。なぜなら、モデルがあなたの仕事に近づいた瞬間、人々はそれをすぐに「スラップ(粗悪品)」だとレッテル貼りするからだ。まるでその言葉がツールに関するもので、ケアが費やされたことに関するものではないかのように。

スラップはモデルとはほとんど関係がないと思う。それは努力、そしてそれが費やされたかどうかに関わる。誰かがドラフトを作成したり、自分の言葉を読んだりするのを面倒くさがらないなら、なぜ他人が何を意味したのかを理解する責任を負うべきなのか?

誰かのコンテンツを読むことは、信頼の一形態だ。あなたが仕事にケアを費やしたから、私はあなたの注意を払う。誰もチェック、調整、影響を受けていない生の出力を私に渡せば、あなたは自分の時間を節約するために私の時間を使っただけだ。

誰かが記事に何時間、何日、何週間も労力を費やすことができる。モデルに頼って形を見つけたり、いくつかの文章を改善したりすることはできる。その記事にはまだ脈があるだろう。しかし、他の誰かがモデルに「Xトピックに関する記事全体を書け」とプロンプトし、返ってきたものを読まずに投稿すれば、その空虚さを感じることができる。私にとって、ここに許容できるものとそうでないものの境界線がある。

さらに悪いことに、検出器はしばしばこの2つを区別できないことがある。意図的に作成されたバージョン、つまり、言葉の選択、文の構造、トーンを熟考した人が作成したバージョンは、ワンショットプロンプトで生成されたシェルと同じように読まれる。それはプロンプターに、そして他の誰にも appeas するように書かれている。

これらのモデルは、最初からゆっくりと、時間をかけて仕事をした人々、そして学んだことを惜しみなく共有した人々から、有用であることを学んだ。その同じ人々、つまり時間を費やし、苦労して学んだ人々が、なぜ自分の作品を守らなければならないのだろうか?

私たちはすでにこの影響を目にしている。1月、Tailwind Labsは4人のエンジニアのうち3人を解雇した。創設者のAdam Wathanによると、フレームワークの人気がかつてないほど高まっているにもかかわらず、そのドキュメントへのトラフィックは2023年初頭から約40%減少したという。開発者は、ツールがすでにそれらを知っているため、ドキュメントを訪れるのをやめたのだ。モデルを教えた人々の仕事をしている人々が、その代償を払っている。


これらすべてに対する解決策は持っていないし、アイデンティティ・クライシスに対する解決策ももちろん持っていない。

この記事を「誰が誰を教えているのか、もう分からない」と名付けたが、それは外の世界について言ったことだ。しかし、夜も眠れなくさせているバージョンは、もう少し身近なものだ。それは、私が書いたものの中にまだ自分自身を見つけられるかどうかということだ。