HN 日本語サマリー

← 一覧へ戻る
プログラミング

ソフトウェアエンジニアリングの基本はますます重要になる

Software Engineering fundamentals matter more (rhonabwy.com)

273 pointsby ingve180 コメント

要約

AIやエージェント型エンジニアリングの熱狂的なブームの中で、この記事はソフトウェア開発におけるテスト容易性、保守性、クリーンなインターフェースといった基本的なエンジニアリング原則の永続的な重要性を強調しています。LLMは予測は得意ですが、推論や複雑なソフトウェア設計における根本的な課題は依然として人間のエンジニアのスキルに依存すると論じています。

全文翻訳

ソフトウェアエンジニアリングの基礎はかつてないほど重要になっている

私にとって、そして今日におけるインポスター症候群の現れは、「ソフトウェアエンジニアとは何か」ということです。エージェント型エンジニアリング、達成可能なこと、そしてその将来への影響について、インターネット上にはシグナルよりもノイズの方がはるかに多く存在します。私が選んだタイトルは、それを物語っています。それは、ソフトウェアやシステムの開発というパズルを解く際に、慎重に選ばなければならないすべてのことについてです。

「大手モデルプロバイダー」の誇大広告やジャンキーのようなマーケティング熱狂を超えて、私はHarnessとモデルの組み合わせに非常に興味深いパワーツールを見つけました。友人たちがこれらのツールをどのように使っているかを追いかけ、多くのことを学んでいます。いつものように、最も驚くべきことを成し遂げている人々は、それを大声で叫んだり、この職業の終わりについてソーシャルメディアに物語風の短い投稿をしたりする人々ではありません。彼らは「巨大な棍棒」を見つけ、支点を探求し、そして偉大なアルキメデスのように、そのてこを最大限に活用して世界を動かしています。

過去1年で、エージェントハーネスは「それはできるのか」というルビコン川を渡りました。(はい、ローマの参照に飛び込みます)。私は、世界の知識が無許可かつ無配慮に奪われたり、狂人が経済的な自己取引に手を出すことを望みませんでした。それは、そうでなければ低迷している米国経済を覆い隠すピーナッツバターのようなものです。私が目にしたどのレポートからも、大規模モデルの経済モデルは実行可能ではありませんが、その能力は消えていくわけではありません。むしろ、それは(急速に)縮小しています。オープンウェイトモデルは、(強力な)パーソナルコンピュータでも同様のことを行うことを可能にしています。それらはまだそれほど効果的ではありませんが、時間と能力の差は大きくありません。

「それはできるのか」は始まりに過ぎず、ソフトウェアまたはシステムエンジニアの職業の大多数にはほど遠いものです。それは、私が20代で溶接を学んだときと同じです。私はすぐに、持ち上げることさえできないもの、あるいは工房から外に出すことさえできないものを作ってしまいました。(アセチレンバーナーがあって本当に良かったです)。その時に学んだことは、媒体は違えど、同じ教訓だと私は思います。どのように組み立てられるかが、すべてを変えるのです。

エージェント型ハーネスをある程度の先見性を持って開発に使用すれば、「それは動作する」だけでなく、「テスト可能である」(私は「red/green TDDで開発する」というプロンプトを強く支持しています)という結果を得ることができます。しかし、それ以上のレベルではあまり堅牢ではありません。コードがどのように機能するか、その「API」、そして他のソフトウェアとどのように連携するかといった「継ぎ目」は、科学と同じくらい芸術です。それは、現在解決していることと、そのソフトウェアと長期間どのように付き合っていくか、両方に対するあなたの視点(そして経験、そして推測)に依存する主観的な尺度で構成されています。

ソフトウェアをデバッグ可能で、保守可能で、階層化され、構成可能にすること。それは依然として非常に難しいことです。その作業の多くには、広範で思慮深い推論が必要です。そして、今日のLLM、たとえ最先端の「能力」を持つフロンティアモデルであっても、この点で不足しています。

LLMは「推論」しないことを知っておくと役立ちます。それらは予測するだけで、モデル自体は効果的に圧縮された人間の知識で書かれています。したがって、エンコードされた人間の知識の中にそれが存在すれば、人間の推論をエコーすることができます。ソフトウェア開発に焦点を当てたエージェントにとって、その推論の痕跡はモデルにとって貴重なデータです。LLMが推論においてどれほど悪いかについて、The Illusion of Thinkingという非常に分かりやすい研究論文があります。私は、行動の結果を予測することを含むいくつかの研究を追っていますが、それは今日のコーディングエージェントが持っているものではありません。それは非常に異なり、そして魅力的な研究分野です。探求したい場合は、「JEPAモデル」がどのように機能するか、LeWorld Model、そしてYann LeCunの最近の講演について調べてみてください。

LLMを扱っている間でも、それらをより効果的にするための方法はまだたくさんあります。私たちはまだ十分に引き出せていない進歩がたくさんあると思います。今日私が目にしているほとんどの勝利は、適切なタイミングで、作業するための適切で簡潔なデータを提供し、LLMが自身を修正するために使用できる自然言語フィードバックを備えた決定論的な検証ツールを提供することに関係しています。私にとって驚くべきことは、それが書くべきことを予測できることではなく、それがツール呼び出しや指示に従うことに効果的であるということです。

この指示追従のもう一つの欠点は、Simon Willisonが「致命的な三位一体」と名付けたものです。基本的に、LLMモデルは良いアドバイスと悪いアドバイスを区別できません。それらは根本的に、プロンプトインジェクション攻撃を常に一貫して防ぐことができません。「アライメント作業」、安全ハーネス、サンドボックスはすべて、最悪の事態に対する障壁を追加するのに役立ちますが、根本的なギャップがあります。そして率直に言って、良い推論なしに疲れを知らずに指示に従うことは、私にとって悪夢の燃料です。

ポストトレーニングのための推論の同等物を含むようにモデルのトレーニング方法に短期的な進歩があることを願っています(RLHF)。私の理想的な未来では、これらには、クリーンなインターフェースでソフトウェアを構築することの意味、デバッグ可能であること、そして保守可能であることが、強化された評価の重要な部分として含まれます。ソフトウェア(およびシステム)の継ぎ目を注意深くレビュー、計画、修正することは、エージェントアシスタントの有無にかかわらず、ソフトウェアを開発する際に私たちが雇用できる、そして雇用する必要がある重要なスキルの1つです。そして、「ああ、それは実装するのが簡単だ…」という波と、それを成し遂げるためにclankersに手を伸ばす人々を見るにつけ、それはかつてないほど重要だと私は思います。

ソフトウェアのクラフトについて、そして私たちがより良い職人になる方法について書き、話し、共有している人々をフォローするには、素晴らしい時期です。おそらく明白ですが、単一の答え、万能薬は決してありません。それは常にトレードオフであり、目の前の問題にとって意味のあることを選択することです。何十年にもわたって、そして現在も、彼らの考えを共有している多くの偉大な頭脳の助けを借りて、私たちはこの仕事のための素晴らしいツールチェストを持っています。それは、適切な抽象化を選択すること、あるいはより良い選択肢に移行するために rework することです。その核心は、認知負荷を管理し、どの部分を安定させる必要があるか、そしてどこで作業を柔軟に曲げたいか(そしてどのように)を学ぶことです。

そしてはい、私は自分でそのダッシュ(em-dash)を書きました。私は執筆において再帰的な括弧に夢中になりすぎており、コンマや括弧から休憩したいのです。