計算化学はローカルで？ SSHに関する私の愚痴

計算化学はローカルで？ SSHに関する私の愚痴 CasualPhysicsEnjoyer 2026年7月21日 共有 私のプロジェクトの一つは、タンパク質のスペクトルを予測することです。これを行うために、私は分子を設計し、次にコンピューターにその幾何構造を最適化させ、エネルギー準位を見つけさせます。ほとんどの人は、このような作業を大学の高性能コンピューティングクラスターで行います。 しかし、これを何度も行う中で気づいたことがあります。クラスターにリモート接続する必要がある場合、最初のステップはログインです。まず大学のVPNにログインする必要があります。これは、私のコンピューターからVPNをセットアップするために、古いソフトウェアを使用する必要があることを意味します。そして認証の部分があり、VPNソフトウェアはログインするために複数の認証と2FAプロセスを経由させます。そして、2FAウィンドウが表示されたら、コードを取得するために部屋のどこかから電話を探し出す必要があります。おそらく平均して、VPN + SSH + 2FAのプロセスは、何かをするたびに30秒かかり、これは一般的に多すぎると感じます。 全体としては多すぎる作業ではありませんが、多くの段階があり、余計な手間がかかります。 これを「面倒さ」と呼びます。あるタスクを実行するために多くの段階が必要な場合、それは面倒です。高級ホテルの非常に煩わしいシャワーコントロールを知っていますか？水圧と温度を別々のノブで調整しなければならない、あれです。あれは面倒です。 大学のコンピューティングクラスターで作業するのは面倒です。 何かを使用する際の面倒さは、少しであれば問題ありません。しかし、面倒さが少しでも大きい場合、その影響は壊滅的になる可能性があります。作業を開始するためにあまりにも多くの段階が必要な場合、私はモチベーションが低下し、それを忘れ、最悪の場合、その試みを完全に断念してしまいます。つまり、些細で取るに足らない理由で、一連の作業全体が失われる可能性があるということです。これは多くのことに起こります！例えば、コーヒーメーカーのスケール除去は非常に面倒なので、私は決してそれを実行せず、その結果、常に壊れてしまいます。 これらのクラスターを使用する際の摩擦は、そうでなければ行っていたであろう作業を実際に止めるのに十分でした。もし私がフルタイムの博士課程の学生であれば、ログインするための各厄介なステップをなんとか乗り越えたでしょう。しかし、私はそうではありません。私は独立して作業しており、時間がありません。仕事の後でこれを行うため、精神的にも疲れています。そして、これらの要因により、私が開始を正当化するためには、コンピューティングへのアクセスは即時で手間がかからない必要があります。これは独立した科学者が最適化しようとしていることであり、私は以前の記事でそれについて書きました。 背景として、多くの個人が大学で研究を行っていましたが、仕事を始めたときにそれを諦めなければなりませんでした。また、トップテック企業や科学関連企業でエンジニアとして働いていた人、あるいはスタートアップの創業者で、すでにプロジェクト管理と研究において高度な経験を持っていた人もいました。中には論文を提出した人もいました！ほとんどの人は、純粋な情熱から自由な時間に研究を行おうとし、経済的およびライフスタイルの目標をサポートするために業界での日中の仕事を選びました。 出典: 500人の独立系科学者との会話から学んだこと 計算を実行することと、計算化学プログラムが出力するログを分析することの間にも、摩擦の層があります。軌道を視覚化したり、シミュレーションの出力を確認したい場合、クラスター内でPythonを実行するのは非常に厄介で、クラスターにはGUIディスプレイがありません。私が以前行っていた方法は、SCPを使用してログファイルを往復でコピーすることでした。効率的でしょう…数年前にMacFUSEとsshfsを使用しましたが、それは非常に信頼性が低く、かなり遅いことが判明しました。その手順については数年前に書きました。 もしあなたが私のように、計算物理学/化学のためにリモートHPCクラスターで作業する初心者であれば、私がかつて無邪気にやっていたことの一つは、ローカルコンピューターでPythonスクリプト、入力ファイル、ロジックを書き、IDEやラップトップのツールを使用し、次にそれらをリモートクラスターにssh / rsyncし、計算を実行し、それらをsshまたはrsyncで戻すことでした。 しかし、これは、特にプロジェクトを開始したばかりで、小規模なプロジェクトの場合、かなり面倒です。特に、ファイルを同期するための定型コードをたくさん書くことになり、コードの行が増え続けます。そして、何だと思いますか？私はそのコードに時間をかけすぎました！ *そこで、macFUSEとsshfsを使用してリモートディレクトリをローカルにマウントできることに気づきました。これにより、他のディレクトリと同じように扱うことができます。Mac M1の権限設定を変更するなど、いくつかの細かい点がありますが、チュートリアルは非常に分かりやすかったです。* 出典: MacOS sshfs ほとんどの計算化学プログラムは、適切なAPIなしで、とてつもないテキストログファイルを出力します。この問題の「千の切り傷による死」を救うのは、Pythonラッパーまたはパーサーでしょう。 出典: ログファイルをより簡単に解析するためのツール そして、リモートクラスターで作業する際の他のすべての煩わしいことがあります。例えば、ローカルにあるカスタムスクリプトやホットキーを移植する必要があります。ファイルをコピーする際に遅延が発生する可能性があります。リモートシェルとローカルのものを同時に整理するのは困難です。それは本当に悪夢です。 そして、ほとんどの人にとって最大の障害があります。それは、大学のコンピューティングクラスターにアクセスできないことです。私は幸運にも、大学がそれを使用させてくれる大学と協力していますが、ほとんどの人はこの機会がありません。 クラスターで計算化学を行う際の困難を克服するアイデアの一つは、すべてをローカルで行うことです。しかし、これには2つの問題があります。最初の問題は、計算化学ソフトウェアのインストールと設定が非常に難しく、複雑であることです。そして、2番目の問題は明白なことです。多くの場合、ローカルコンピューターには、タスクを合理的な時間で実行できるだけの計算能力がありません。 しかし、Claude Codeのおかげで、物事をインストールするのが非常に簡単になりました！数週間前、ClaudeにMacにOpenMolcasをインストールさせてテストを実行するように頼んだところ、それらはパスしたようです。そして、計算に関しては、私のマシンで実際に実行できる小さなタスクがたくさんあることにも気づきました。 例えば、作業中の小さなジアミド（19原子）の基本的なSCF最適化を行うことができ、それは機能するようです。 結果は同じように見えます。 同じ入力、同じ幾何構造、それぞれ1コア。 クラスターでの144回のステージ2実行全体で：最小187秒、中央値190秒、平均191秒、最大212秒。Macの82秒に対して、中央値クラスター実行は2.31倍遅いです。 Macは、LINALG=Internal（バンドルされた参照BLAS）、OpenMPオフ、MPIオフでこれを実行します。これは、利用可能な最も遅い線形代数です。 それらがどのように見えるかを示します。 6 共有