AIはすでに私たちが知る「学術界」を殺したのか？

No AI was used in writing this post. もし学術界がゲームだとしたら、私はそれに勝った。終身在職権、終身教授職、賞、リーダーシップの地位、創設を助け現在編集長を務める国際誌、自身の成功へと導いた指導学生、優れたh-indexなど、成功の古典的な証拠はすべて手に入れた。これは自慢ではなく、私がこのゲームに勝った一方で、このゲーム自体がもはや意味をなさなくなったことを指摘したいからだ。 私たちが実践してきたような学術界は、最大主義で成り立っている。最も多くの研究費、最も多くの論文、最も多くの学生、最も多くの賞、最も多くの報道。今日ではインパクトや貢献を強調するようになってはいるものの、根底にあるエンジンは依然として「量」であり、その量は常に独立した人間の執筆（申請書、提出物、推薦状、報告書、Conversation記事、プレスリリースなど）によって生み出されてきた。問題は、AIがその量を本質的に無限にしてしまうことだ（世界が燃え尽きるまでは、だがそれは別の議論だ）。 最も明白な犠牲者は課題だ。 一般の人々にもすでに明らかになっている部分から始めよう。学生が持ち帰って提出する課題は、実用的な目的においては、AIによって生成されたか、AIによって洗練されたものである可能性が極めて高い。これまで私たちはこのAIの使用を検知できることが多かった。これは、一部の学生がまだAIをうまく使っていないからだ。彼らはChat GPT特有のフォーマット、カンマ区切りの3項目リストがすべての文にある、幻覚のような引用、わかりやすい誇張、段落のタブがないなど、明らかな粗雑なものを提出する。私たちはそのような学生を捕まえ、まだ状況をコントロールできていると感じる。 しかし、本当に明白な問題は、私たちが決して気づかない、すでに検出をすり抜けているものだ。例えば、ClaudeとChatGPTの2つの有料アカウントを持つ学生を考えてみよう。一方のAIに草稿を作成させ、もう一方に批評と洗練を行わせ、文章がきれいになり、議論がしっかりするまでループさせる。AIに参考文献を二重三重にチェックさせ、書式や句読点も完璧にする。そのような学生は、検出不可能なだけでなく、提出されるほとんどの作品よりも優れた作品を生み出し、その結果としてより高い成績を得るだろう。これらのAIを最大限に活用する学生は、「怠惰」や「不正」ではなく、合理的な存在となる。なぜなら、彼らはAIの使用と成績の間の明白な関連性を見出し始めるからだ。最も悪質なことに、このシステムは現在2つのことを行っている。自然な欠陥と限界を持つ、ごく人間の手で書いた論文を提出した学生を罰し、捕まった洗練されていないAIユーザーにはゼロ点を与え、洗練された（そしてより高額な支払いをしている）ユーザーには報いているのだ。もしあなたのクラスに、学生が自分で作成し、採点のために提出する学期末レポートがあるなら、あなた（またはあなたのティーチングアシスタント、あるいはティーチングアシスタントのAI）は、内容の実際の知識とは無関係な成績をつけている可能性が高い。 しかし、個人的に本当に響いたのは研究の問題だ。 私たちはセクターとして、AIをめぐる教育/学習の問題について多く語ってきたが、先週研究チームに話したように、これが研究と学術全体の成功に何を意味するのかについては、まだ「砂の中に頭を突っ込んでいる」ように見える。 大量生産され、出版可能なコンテンツは、すでにここにある。レビュー記事、方法論に関する論文、理論的統合、報告書、質的データの二次分析など、今日の研究者はConsensusやClaudeのようなツールのプロ購読をいくつか組み合わせることで、これらを大量に生成できる。そして、これらのかなりの割合は出版に十分な質を持っているだろう。確かに、一部の査読者は一部の論文投稿が過度にふわふわしていると見抜くだろう（しかし、これもまた、ツールを最適に利用していないだけであり、AIを訓練して誇張や空虚な前提をすべて排除することはできると私はまだ考えている）。しかし、もしあなたが消防ホースのように大量に投稿すれば、多くのものが通過するだろう。このやり方で仕事をする人は、オンライン投稿システムの不器用さで少し遅れるものの、1日に1本近い論文を生産でき、彼らのCVは独立した知的作業を行っている誰をもすぐに凌駕するだろう。 これは研究費申請でも同じ問題だ。唯一の制約は、一人の研究者が同時に提出または保有できる数の制限だけだ。5人の同僚からなるチームが、各メンバーを指名主任研究者として交代させながら、単一のCIHRプロジェクトグラントサイクルに10件の申請を投入する状況を想像してみてほしい（各メンバーはサイクルごとに2件提出できる）。AIが申請を失敗させる一般的な重大なエラー、例えば予算の欠陥、チームが見落としていた非常に重要な論文、最終審査で遅れて指摘されたため修正する時間がなかった資格基準など、いくつかの点で本当に優れているという事実を考慮に入れる前に、量だけで少なくとも1件を獲得する確率は高い。注意深く、エラーがなく、包括的な申請書は、かつてはいくつかの失敗した申請の結果として生まれるものだったが、今では複数のAIを使う方法や、協働/エージェントシステムを使う方法を知っている人の手に委ねられている。 申請数が3倍になったらCIHRは何をするつもりなのだろう？AIによる申請が人間が作成したものよりも優れている場合、彼らは何をするつもりなのだろう？これまでのところ、この量に対処するための議論は、AIによる申請の事前スクリーニングについて考えている。つまり、あなたのAIが私のAIをチェックする、ということだ...素晴らしい、素晴らしい、素晴らしい。 これは、若い研究者が私を追い越すのではないかと心配しているような、負け惜しみのように聞こえてほしくない。むしろ、私たちが現在の現実に合わせて報酬システムを調整していないために、学術界全体がナンセンスな方向に暴走してしまうのではないかと心配しているのだ。 私たちはしばらく、これが起こっていないふりをするだろう。 制度的な対応は、コースワークや課題に関しては合理的だった。学術的な自由、分散型構造、組合契約など、学術界の複雑さのために、コース課題に関する迅速な、中央集権的な対応はないだろう。むしろ、大学は評価の再設計、シラバスの再設計、特定の遠隔評価のための不正防止ソフトウェアの提供といった支援とガイダンスを提供している。多くの学者が、学習が行われ、評価が意味のあるものになるためのプロセスについて、私よりも雄弁に書いている。確かに、紙と鉛筆に戻ることは現在の資源に負担をかけるが、おそらく必要なことだろう。 研究面での対応は、はるかに遅いように見える。トライカウンシルが当初AIの使用を禁止し、その後許可したこと、そしてほとんどのジャーナルが自己申告以上の非常に限定的な対応しかしていないことから、私たちはすでに現実から2年遅れているように思える。実際、私たちは全く新しいシステムが導入され、それがこれらの指標を本質的に無効にしているにもかかわらず、以前のプロセスと指標で運営し続けている。書かれたコンテンツを提出し、それが公式の場でどれだけ取り上げられたかによって報酬を得るという学術界のバージョンは、意味の点ではすでに死んでいるのだ。私たちはまだその葬儀を行っていないだけだ。精神疾患はホームレスを引き起こさない。グレッグ・コルバーンとクレイトン・アルダーンの著書『Homelessness is a Housing Problem: How Structural Factors Explain U.S. Patterns (UC Press, 2022)』について、しばらく前から書こうと思っていた。上記のグラフを説明してほしいという友人からの依頼が、それを後押しした。誰もこの冷静で理性的な投稿を読まないだろう。なぜ今、すべてがこれほどひどく感じるのか？問題の一部は、怒りが喜びよりもはるかに拡散しやすいことだ。一方では、客観的に多くのことが悪い：戦争、権威主義者の台頭、若者の失業、高い家賃、高いホームレス率、気候変動。他方では、AIはあなたを殺さない、あなたはただ人間でなくなるだけだ。ディストピア小説は私のお気に入りなので、悪意のあるロボットに関する物語をそれなりに読んできた。「アイ・ロボット」、「A.I.」、「ミーガン」も楽しんで観た。しかし、これらの物語のほとんどは、カナダの政治家が公然とナチスのプロパガンダを広めているという考えに基づいている。恐ろしいこと、その影響がひどいことで、誰も本当に気づいていないように見えるものを見たことがあるだろうか？これら2つのツイートは私にとってその一つだ。基本的な理解を持っている人なら誰でも。