HN 日本語サマリー

← 一覧へ戻る
科学・技術

合成は分析よりも難しい

Synthesis is harder than analysis (surfingcomplexity.blog)

135 pointsby azhenley32 コメント

要約

この記事は、微分積分学における微分(局所的でアルゴリズム的)と積分(大域的でより困難)の対比を通じて、分析と合成の難易度の違いを探求しています。分析は問題を分解するのに対し、合成は要素を統合するため、より複雑な問題解決を必要とします。特にSREのような分野では、システム全体の相互作用を理解する合成能力が重要ですが、このスキルの育成は業界で十分に認識されていません。

全文翻訳

合成は分析よりも難しい

長年にわたり、数学者、論理学者、コンピュータ科学者は様々な計算体系を開発してきました。コンピュータサイエンスのバックグラウンドがあれば、アロンゾ・チャーチによって開発された計算モデルであるラムダ計算について聞いたことがあるでしょう。データベースがより身近なものであれば、SQLがリレーショナル計算に基づいているため、意識せずにリレーショナル計算に触れたことがあるはずです。形式手法に興味があるなら、一階述語論理としてよく知られている述語計算を扱ったことがあるでしょう。最後に、プログラミング言語に関する学術論文を読むのが好きなら、シークエント計算にほぼ確実に遭遇したことがあるはずです。しかし、誰かが「計算」という言葉を修飾なしで(例:「来学期、計算を履修します」)言う場合、どの計算を指しているのか曖昧さはありません。それは常に、ある特定の計算、あるいはむしろ、互いに深く関連している2つの計算、すなわち微分計算と積分計算のいずれかを指します。

視覚的には、微分計算とは、与えられた点における関数の傾きを計算することだと考えることができます。例えば、このグラフを考えてみましょう。

[画像]

「この曲線はx=6のときにどれくらいの速さで変化していますか?」と尋ねるかもしれません。言い換えれば、x=6の非常に近い近傍におけるこの関数の傾きはどれくらいでしょうか?

[画像]

微分計算により、与えられた点における関数の傾きを計算できます。

一方、積分計算とは、特定の区間におけるグラフの下の面積のことです。例えば、「x=2からx=7の間のこの曲線の下の面積はどれくらいですか?」と尋ねるかもしれません。

[画像]

積分計算により、与えられた区間における関数の下の面積を計算できます。

微積分学を学ぶと、まず微分計算(「微分積分学1」または「Cal 1」と呼ばれることもあります)を教わり、次に積分計算(「Cal 2」)を教わります。微分計算を学ぶとき、関数の導関数(点における傾き)を計算するための規則を学びます。そして、関数の種類に関わらず、導関数を計算するのは非常に簡単であることがわかります。それは単なるアルゴリズムなので、もし望むなら、コンピュータに導関数を計算させることも容易にプログラムできます。(ちなみに、導関数の自動計算は、LLMのトレーニングプロセスにおいて基本的な要素です。興味がある場合は、自動微分を調べてみてください。)

そして、Cal 2に進むと、積分(曲線下の面積)の計算方法を学びます。Cal 1とは異なり、任意の関数の積分を計算するためのアルゴリズムは存在しないことをすぐに発見するでしょう。代わりに、学ぶのは、さまざまな種類の関数の積分を計算するためのテクニックの詰め合わせです。また、いくつかの関数については、積分に閉形式解が存在しないことさえ学びます!例えば、正規分布に現れるガウス関数を考えてみましょう。平均ゼロ、分散単位の場合、それは次のように見えます。

$$ \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} $$

[画像]

悪名高いベルカーブ

この関数の導関数を計算するように学生に求めるのは、Cal 1の期末試験で十分に妥当な質問でしょう。その答えは次のようになります。

$$ -\frac{x}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} $$

しかし、Cal 2の期末試験でこの関数の積分を計算するように学生に求めるのは不公平でしょう。なぜなら、クラスで学んだテクニックでは(少なくとも、私がそれを必要とするテクニックを学んだのはCal 3になってからでした)、それは不可能だからです。積分には閉形式解が存在しないため、無限級数で解を表現する必要があります。例えば次のようになります。

$$ \frac{1}{\sqrt{2\pi}} \sum
_{n=0}^{\infty} \frac{(-1)^n }{2^n n!(2n+1)}x^{2n+1} = \frac{1}{\sqrt{2\pi}} \left( x-\frac{x^3}{6}+\frac{x^5}{40}-\frac{x^7}{336}+\frac{x^9}{3456}-\cdots \right) $$

(注:AIにガウス関数の積分を尋ねました。うまくやってくれたことを願っています!)

微分計算と積分計算が互いに関連していることは、少なくとも私には明らかではありません。しかし、これらの2つの計算体系はコインの裏表であることが判明しています。なぜなら、積分は反微分だからです。つまり、f(x) が F(x) の導関数であるならば、F(x) は f(x) の積分なのです。この結果は微積分学の基本定理として知られています。

微分計算と積分計算のこの関連性は、ほとんど哲学的な問いを提起します。なぜ導関数を計算する方が積分を計算するよりもずっと簡単なのでしょうか? 2011年に、Mathematics Stack Exchangeで誰かがこれについて尋ねました:Why is integration so much harder than differentiation?。最も多くの票を獲得した回答はQiaochu Yuanによって書かれましたが、その核心は次のとおりです(強調は原文ママ)。

Differentiation is a “local” operation: to compute the derivative of a function at a point you only have to know how it behaves in a neighborhood of that point. But integration is a “global” operation: to compute the definite integral of a function in an interval you have to know how it behaves on the entire interval (and to compute the indefinite integral you have to know how it behaves on all intervals). That is a lot of information to summarize. Generally, local things are much easier than global things.

ある意味では、「局所的なものは大域的なものより簡単である」というのは、ありふれた声明です。誰もが、例えば、局所最適化は大域最適化よりもはるかに簡単であることを知っています。しかし、それは非常に深いものでもあります。そして、それはこの投稿のタイトル、すなわち合成は分析よりも難しいという点に触れています。

私は以前、分析と合成の違いについてthe demon of the gapsで書きました。分析では、より大きな問題を、きれいに分離できる小さな問題に分解します。これらの小さな問題はより局所的であり、したがって解決が容易です。だからこそ、私たちはカプセル化や関心の分離といった原則を提唱し、小さな問題が局所的であることを保証するのです。

合成の仕事は、複数のものを(積分して!)統合することを含みます。これは逆の方向に進みます。私たちは、より局所的でない問題を作り出しています。そして、大域的なものは局所的なものよりもはるかに難しいのです。私たちが直面する課題は、ある種の isinstance problems は本質的に合成の問題であるということです。前回の投稿で書いたように、インシデント対応は、私たちが頻繁に合成問題に直面する分野の1つです。現在何がうまくいっていないのかを理解するためには、物事が通常どのように組み合わさっているかを理解する必要があります。

だからこそ、この種の合成作業がSREにとって重要だと考えています。さて、合成は分析よりも難しいのであり、SREは超人的な認知能力を持っていないため、彼らが与えられたコンポーネントをどれだけ深く理解できるかには限界があります。しかし、異なるコンポーネントがどのように相互作用するかをより多く理解すればするほど、より困難なインシデントを解決するのに役立つ立場になります。

残念ながら、私たちの業界では、合成能力の構築を第一級のものとして認識していません。これは理解できます。なぜなら、この作業は非常に状況依存的であり、SREが働く組織の特定のシステムの厄介な詳細に依存するからです。一方で、システムの運用上の詳細について学習する方法を学ぶことについては、より良くなることができます。そして、私はそれをもっと見たいと思っています。