HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIはすでに私たちが知る「学術界」を殺したのか?

AI has already killed academia as we know it? (truths-and-loves.ghost.io)

48 pointsby pseudolus29 コメント

要約

著者は、AIが学術界の根幹である「独立した人間の執筆による量」を無限化することで、教育と研究の両面で既存の評価システムを無意味にしていると主張しています。巧妙なAI利用は検出されず、むしろ好成績に繋がり、既存のシステムはもはや意味をなさなくなっていると警鐘を鳴らしています。

全文翻訳

AIはすでに我々の知る学術界を終わらせたのか?

[画像: AI Has Already Killed Academia as we Know it]

Unironically AI generated image

No AI was used in writing this post.

もし学術界がゲームだとしたら、私はそれを制覇した。終身在職権、寄付講座、賞、役職、私が設立に関わり、現在編集長を務める国際ジャーナル、自身の成功を収めた教え子たち、良好なh指数、成功の古典的な指標のすべてだ。これは自慢のためではなく、私がこのゲームに勝ったとしても、そのゲームはもはや意味をなさないという点を指摘するためだ。

私たちが実践してきたほとんどの学術界は、マキシマリズム(最大主義)で運営されている。最も多くのグラント、最も多くの論文、最も多くの学生、最も多くの賞、最も多くの報道だ。近年、インパクトや貢献を強調するようにはなっているが、その根底にあるエンジンは依然として量であり、その量は常に独立した人間の執筆(申請書、投稿論文、推薦状、報告書、解説記事、プレスリリースなど)によって生み出されてきた。問題は、AIが量を実質的に無限にするということだ(世界が燃え尽きるまでだが、それは別の議論だ)。

課題(Assignments)が最も明白な犠牲者

まず、一般の人々にもすでに目に触れている部分から始めよう。学生が持ち帰り、提出するあらゆる課題は、実質的にAIによって生成されたか、AIによって洗練されたものである可能性が極めて高い。現在まで、私たちはしばしばその使用を検出できてきた。なぜなら、一部の学生は依然としてAIをうまく使えていないからだ。彼らは、典型的なChatGPTのフォーマット、文ごとにカンマで区切られた3つの項目リスト、幻覚のような引用、見え透いた誇張、段落タブの欠如など、明白な駄文を提出する。私たちはそのような学生を捕まえ、まだ状況を把握していると感じる。

しかし、私たちが決して気づかない、すでに検出をすり抜けているものが、本当の明白な問題だ。例えば、ClaudeとChatGPTの2つの有料アカウントを持つ学生が、一方のAIに作業をドラフトさせ、もう一方のAIにそれを批評・洗練させるというループを、文章が明瞭になり、議論がタイトになるまで繰り返すとする。彼らはAIに参照文献を二重、三重にチェックさせ、フォーマットや句読点のすべてを完璧にこなす。その学生が生み出すのは、検出不可能であるだけでなく、提出されるもののほとんどよりも優れており、したがってより高い成績を得るだろう。これらのAIを最大限に活用する学生は、「怠惰」や「不誠実」であるのではなく、AIの使用と成績の間の明白なつながりを見始めるため、合理的になる。最もひどいのは、現在のシステムが2つのことを行うことだ。それは、自然な欠陥や限界を持つ、単に人間が書いたエッセイを提出した学生を罰し、私たちが捕まえる洗練されていないAIユーザーにはゼロ点を与える一方で、洗練された(そしてより多くのお金を使う)ユーザーには報酬を与える。もしあなたのクラスに学生が自分で作成して採点のために提出する期末レポートがあるなら、あなた(またはあなたのTA(またはあなたのTAのAI))が、その内容に関する実際の知識とは無関係な成績を付けている可能性が高い。

しかし、個人的に最も衝撃的なのは研究に関する問題だ

私たちはセクター全体で、AIを取り巻く教育・学習の問題について多くを語ってきたが、先週研究チームに話したように、研究と学術的な成功全体という点では、私たちはまだ「砂の中に頭を突っ込んでいる」ようだ。

大量生産され、出版可能なコンテンツは、すでにここに存在する。レビュー論文、方法論に関する記事、理論的統合、報告書、質的データの二次分析などだ。研究者は今日、ConsensusやClaudeのようなツールのプロサブスクリプションをいくつか組み合わせることで、これらを大量に生成でき、そのかなりの部分が出版に十分なものとなるだろう。確かに、一部の査読者は、提出された論文の一部が「ふわふわしすぎている」と見抜くだろう(しかし、これもツールの最適でない使い方だと私はまだ思う。誇張や空虚な前提をすべてAIから排除するように訓練できる)。しかし、それらを放水銃のように大量に放出するなら、多くはすり抜けるだろう。この方法で働くことを厭わない人は、オンライン提出システムの煩雑さで少し遅くなるだけで、ほぼ毎日論文を1本作成でき、そのCVはすぐに独立した知的作業を行う誰をも凌駕するだろう。

グラント申請に関しても同じ問題だ。単一の研究者が同時に提出または保持できる数に制限があるため、少しだけ抑制されている。5人の同僚からなるチームが、CIHR Project Grantのサイクルに10件の申請を送り込む様子を想像してほしい。各メンバーはサイクルごとに2件申請できるため、指名された主任研究者(Nominated Principal Investigator)をローテーションさせるのだ。申請数だけで、少なくとも1件は採択される可能性は高い。さらに、AIが申請を落とす一般的な批判的エラーのいくつかに実際に優れているという事実を考慮に入れると、予算の欠陥、チームが見落として引用できなかった非常に関連性の高い論文、最終レビューのかなり遅い段階でフラグが立てられ、修正する時間がなかったかもしれない適格基準などだ。注意深く、エラーがなく、包括的な申請書は、かつては複数の失敗した申請の結果であったが、今では複数のAIを使いこなすか、共同作業/エージェントシステムを使用できる誰かの成果にすぎない。

CIHRは何をするのだろうか?申請数が3倍になったら?AIによる申請が人間が開発したものよりも優れている場合、彼らはどうするのだろうか?これまでのところ、この量の問題に対処するための議論は、申請書のAIによる事前スクリーニングを考えている。つまり、あなたのAIが私のAIをチェックする…クール、クール、クールだ。

これは、若い学者が私を追い抜くのではないかと心配しているような、負け惜しみのように聞こえるのは本意ではない。むしろ、学術界全体が、私たちの報酬システムを現在の現実に合わせて調整していないために、ナンセンスに陥っていくことを心配しているのだ。

しばらくの間、これが起こっていないふりをするだろう

コースワークや課題に関しては、制度的な対応は合理的だった。学術の自由、分散構造、労働組合の契約など、学術界の複雑さのため、コース課題に関する迅速で中央集権的な対応はないだろう。むしろ、大学は評価方法の再設計、シラバスの再設計を支援・指導し、特定の遠隔評価のための不正行為防止ソフトウェアを提供している。多くの学者が、学習が行われていることを保証し、評価が有意義であることを保証するためのプロセスについて、私よりも雄弁に書いている。確かに、紙と鉛筆に戻ることは現在のリソースを圧迫するが、それはおそらく必要不可欠だろう。

研究面では、対応ははるかに遅いように見える。Tri-Councils(カナダの主要な研究資金提供機関)が当初AIの使用を禁止し、その後許可したこと、そしてほとんどのジャーナルが自己申告以外に非常に限定的な対応しか持っていないことを考えると、私たちはすでに現実に2年遅れているように見える。実際、私たちは、これらの指標を実質的に無効にする全く新しいシステムが存在する一方で、かつてのプロセスと指標で運営を続けている。書かれたコンテンツを提出し、その書かれたコンテンツが正式な場にどれだけ取り上げられたかで報酬を得るという学術界のバージョンは、すでに意味のあるものではなくなっている。私たちはまだ、そのための葬儀を執り行う段取りができていないだけだ。