HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Astraにおけるテスト/検証手法の効果

Test/verification technique effectiveness with Astra (danluu.com)

80 pointsby luu12 コメント

要約

本記事では、AIモデルGPT-6 Astraがテストと検証の手法を以前のモデルよりも効果的に使用できるようになったことを評価しています。特に、ZstdやPandocの実装評価において、Astraはより少ないコストで高い正確性を達成し、様々なテスト手法の効果が向上していることが示唆されています。しかし、評価の限界や結果の一般化可能性についてはさらなる検証が必要であると著者は述べています。

全文翻訳

Astraにおけるテスト/検証手法の効果

以前、エージェントがテスト/検証手法をどのように使用するかを8月に調査した際、GPT-5.6 SolはTDD、QuickCheck、Lean 4などの手法やライブラリを使用するように指示されると、それらの手法のカリカチュアのようなものしか実行しないことがわかりました。特定のテスト方法を指定しない場合(これをデフォルトと呼びます)は、多くの無価値な単体テストが生成され、これは最もパフォーマンスの良い条件の一つでした。なぜなら、エージェントに特定のテスト方法を試させると、ほとんどの場合、パフォーマンスが悪化したからです。その評価では、エージェントにZstd RFCを与え、Zstdを実装するように指示しました(デフォルト以外のすべての条件をテストする方法に関する補足付き)。

Astra(GPT-6)で同じ評価を再実行したところ、2つの大きな違いが見られました。

  1. Astraの能力は十分に向上しており、より難しい評価が必要になりました(Zstd実装の評価では、ほとんどすべての条件で、中程度の労力であればほぼ毎回100%の正解率が得られました)。
  2. エージェントはテストと検証の手法をより効果的に使用しているように見えました。

(1)について、以前は、RFCからZstdを5.6 Solで実装する際、平均してエージェントは中程度の労力で3.50ドル、非常に高い労力で5.50ドルを費やして、それぞれ約63%と77%の確率で完全な(ホールドアウト)テスト正解率を得ていました。Astraでは、エージェントは中程度の労力で99%以上の確率で完全なテスト正解率を得るために1ドルしかかかりませんでした。

(2)について、例を挙げると、5.6 Solにファジングを行うように指示したところ、無価値なランダム入力を大量に生成し、ほとんど同じコードパスにしか到達せず、何も興味深いテストを行いませんでした。6 Astraでは、構造化された方法でファジングを行うエージェントが見られ、実際にコードパスを実行し、些細ではないバグを発見しましたが、Zstd実装のベンチマークが飽和しているため、これが正解率の向上につながったかどうかは判断できませんでした。

5.6 SolにIMAP RFCを与えてみましたが、それは5.6 Solには難しすぎました。6 Astraで再度試したところ、以下の結果の分布が得られました(y軸はすべてのテストがパスした実行の割合です。エージェントにはテストは与えられず、各条件の80回の実行結果が点として示されています)。

デフォルトは、ここでも pretty good です。いくつかの条件では正解率がいくらか向上しましたが、コストも高くなりました。IMAP RFCは飽和していませんが、より難しいタスクでの結果も確認したいところです。なぜなら、私の時間のほとんどは、エージェントが一度では完了できないタスクに費やされるからです。これをテストするために、プログラミング言語を比較した際に検討したpandoc評価を試します。より大規模な評価で結果を見たい理由の一つは、caveman modeを見たときや言語を見たときと同様に、モデルは大規模なタスクではかなり異なるパフォーマンスを示すことが多いからです。caveman modeでは、人々が報告した大きな勝利は小さくなるか消滅し、言語では、ZstdのCおよびC++実装がメモリ安全性に関して少なくともある程度良好であったのに対し、PandocのCおよびC++実装はメモリ安全性に関する問題に悩まされていた、といった複数の方法で見られました。

Pandocは著しく難しく、複数のターン(平均して約14ターン)を実行した後でも、どの条件も100%の正解率には達しませんでした。そのため、100%に達した実行の割合ではなく、パスしたテストの割合を確認します。

これについては、コストがかかるため、各条件を25回しか実行しませんでした。MSRPで、これは約9万ドルかかりました。

過去の言語とテスト/検証手法の評価で、失敗はエージェントの動作の特異な結果であることが多かったことを思い出してください。例えば、Clojureを使用するエージェントがデフォルトで間違ったバイト変換コードを記述したり、Verusを使用するエージェントが空虚な証明を記述したりしました。このようなことは、エージェントが特定の言語やテスト/検証手法を使用すべきだと人々が言う理由とは大きく異なります。それらは一般的に、聞こえは良いが、エージェントが実際に行ったことを見ると現実とは無関係に見える説明です[2]。

ここでは、「わずか」9万ドルの評価しか実行していないため、ほとんど何が起こったのかを判断するのに十分な情報はありません。一部の条件が他の条件よりもパフォーマンスが良かったことは観察できますが、それが何を意味するのかを言うのは困難です。その結果、これに深読みしすぎるべきではありませんが、期待されることと一致するいくつかの点が見られます。つまり、ほとんどのテスト手法やライブラリはより良い汎化性能をもたらすと期待されるため、それがホールドアウト vs. テストスコアを向上させる(可視スコアとホールドアウトスコアをプロットした際に、デフォルトラインよりも上および左にある結果)と考えられます。一方、TDDはより悪い汎化性能をもたらす(デフォルトラインよりも下および右にある結果)と期待されます。

しかし、テストプロパティがより良い汎化性能をもたらし、TDDのような多くの小さなテストを生成する条件がより汎化性の低い結果をもたらす場合、組み込み条件もデフォルトと比較して低いホールドアウト:可視性の比率を持つと予想されるはずですが、そうではありませんでした。これがなぜかは不明であり、さらに多くの実行を行わない限り、それを本当に判断できるとは思えません。

実際の結果については、コスト対ホールドアウトとコスト対可視性の線は、複数のターンにわたるすべてのグラフ軌跡の形状に適合した曲線を示しており、デフォルトにフィットしています。線よりも下/右にあるものは悪く、上/左にあるものはより良いと考えられます。5.6 Solでは、テスト条件が有用な作業を行っていないことは、いくつかの理由で明らかでした。

  1. ほとんどどの条件もデフォルトを上回らなかった。
  2. 他の評価(詳細には議論しない)でも、同様のプロンプトはデフォルトを上回らなかった。
  3. 非デフォルト条件によって生成されたテストは、ほとんどがばかげており、手法の価値を捉えていなかった。

ここでは、多くの異なる手法がデフォルトよりも優れた結果を示しています。各条件の概念的な誤差範囲はかなり広いですが(プロットに示されているブートストラップ間隔よりも広い)、デフォルトを上回る条件の数は、たとえどの条件が正確に優れているかはわからなくても、1つ以上の条件が本当にデフォルトを上回っている可能性を示唆しています。さらに、一部の条件は他の条件よりも優れている可能性が高いですが、どの条件が一般的に優れているかを判断するのに十分なデータはありません。ほとんどすべてが悪く見える方がはるかにシンプルです。

結果について、いくつか質問があります。

  1. Pandocの完全な正解率に近づくために、より多くのターンを実行した場合、これらの結果はどの程度外挿できるか?一般的に、条件は追加のターンで順位をある程度維持するため、ランキングがそのまま続く可能性はありますが、これは未検証です。
  2. 結果のどれくらいが、小さなサンプルサイズ(各条件に関して)によるものか?Pandocの評価では、各条件を「わずか」25回しか実行しませんでした。多くの異なるターンが実行されましたが、以前の実験やエージェントの使用経験から、生成されたコードをループする際には高いパス依存性があることがわかっています。
  3. 結果のどれくらいが、小さなサンプルサイズ(些細な/些細なバリエーションに関して)によるものか?いくつかのくだらない評価を実行した経験から、同じことを要求しても、文の構造の変更、大文字小文字の変更など、些細な変更によって非常に異なる結果が得られる可能性があることを知っています。現在の結果のどれくらいが、このような恣意的なものによるものでしょうか?
  4. 結果のどれくらいが、小さなサンプルサイズ(解決される問題に関して)によるものか?「Pandocサイズ」の問題を1つ検討しました。もし100個検討したら、Pandocはどれくらい代表的でしょうか?

これらの質問に本当に答えたいのであれば、ここで実行した量の少なくとも100倍を実行して、完全なマトリックスを実行する必要があります。Steve Yeggeは、約20のClaudeサブスクリプションを使用して、月あたり約12万ドルのMSRPトークン支出を言及しています。100倍に達するのは、そのようなセットアップでは現実的ではありませんが、限定的な方法でテストを拡張し、いくつかの推測と外挿を行うことで、2倍から3倍は可能です。それがどれほど時間がかかるか、そしてどれほど時間がないかを考えると、私がそれを行うことに意味があるかどうかはわかりませんが、学者がプログラミング生産性を研究する際にどのようなことを調べているかを考えると、卒業生にとっては、広く引用されている多くの研究よりも有益であるため、意味があるかもしれません。しかし、業界では、AIラボ以外で誰がこれを行うのかわかりません。

とはいえ、これらの結果がどれほどうまく一般化するかはわからないことを念頭に置くと、興味深いと思った点をいくつか挙げます。

  1. 差分テストは、エージェントが他の条件よりも優れた「理解」を促すテストと不変条件を調べるようにしました。
  2. TDDは再びパフォーマンスが低下しましたが、多くの小さなテストを書かせる条件すべてがパフォーマンスが低下したわけではありませんでした。
  3. ACL2(定理証明器)は良好なパフォーマンスを示しました(5.6 Sol Zstd評価でも良好なパフォーマンスを示しました)。
  4. プロパティベーステスト(名前付きの条件ではありませんが、手法の使用を強制する多くのライブラリ)は、ついにPBTに期待されるようなテストをもたらしました。

(1): 5.6 Sol Zstd評価のために急いで書いたスキルでエージェントにこれを実行させようとしましたが、スキルはまともなパフォーマンスを示しましたが、エージェントは基本的にこれを実行しませんでした。しかし、Pandoc評価では、差分テストにより、エージェントは境界条件を綿密に調べ、境界の両側を正しく実装するテスト(したがってコードの書き方)を記述する方法を理解しました。これが一般化するかどうかは確信がありませんが、一般化するかどうか、そして他にどのようなことがエージェントに体系的にこれを行わせることができるかを見るのは興味深いでしょう。

(2): TDDのパフォーマンス低下はまさに私が予想したことですが(5.6 Sol評価にTDDを追加したのはパフォーマンスが低下すると予想したためです)、多くの小さなテストが生成される他の条件のパフォーマンス低下がないことは、多くの小さなテストを書くことがパフォーマンス低下につながるというもっともらしい理由への信頼性を低下させるはずです。

(3): ACL2は他の検証ツールと比較して過小評価されていると感じています(業界のいくつかの分野で、それに関する学術研究の量と比較して効果的に使用されていました)。この意見には自信がありませんでしたが、これまでの評価では良好なパフォーマンスを示しています。Leanを効果的に使用するようにエージェントを説得するためにどれだけの労力が注がれているかを考えると、ACL2が今日それを上回っているとしても、LeanはいずれACL2を上回ると予想されますが、ACL2は今日では悪い選択ではないようです。Lean 4で検証や証明を行っている人々は、ACL2を使用した場合の結果と比較してどうなるか興味があるでしょう。

(4): よかった(おそらく)。上記で述べたすべての理由から、これが一般化するかどうかについては自信がありませんが、Proptestは再び良好なパフォーマンスを示しました。そして今回、テストは5.6 Sol Zstd評価で見られたものよりもはるかに改善されました。これに関する内部情報は何もありませんが、5.6 Solと6 Astraの間でPBT/ファジングなどの改善に大きな努力はなかったと推測します。これは、より良い汎化性能とより高い能力によるものだと考えられます。もしそれが真実であれば(そしてこれが単なる私の9万ドルのMSRPの支出であり、900万ドルのMSRPではないというアーティファクトではないとすれば)、将来的にテストが改善されることを示唆しており、テスト能力を向上させるための特別な努力なしにモデルがテストに長けるようになると期待できます。

これらのテストを実行し、この投稿を公開する間に、「テストを書かないようにエージェントに指示すべきだ」(DeepSWEの実行に基づく)という主張がバイラルになりました。具体的な主張は次のとおりです。

公式になりました…AIによって書かれた単体テストと統合テストは、経験的に役に立たないことが証明されています。エージェントに自分でテストを書くのをやめさせるべきです。

以前指摘したように、DeepSWEは私が行う作業とは無関係であり、個人的には無意味だと感じています。さらに、それはSonnet 5.5 Highで行われたため、一般的にここで議論されている問題よりもはるかに簡単な問題でのみ合格しました。そして、ここで、および他の最近の評価で観察されたように、どの手法が効果的かは、問題のサイズや難易度全体で一般化しないことがよくあります。コーディングエージェントが非常に簡単だと感じる問題については、テストを書かないように指示するとコストが削減される(実際に示されたのは、DeepSWEを気にする人がいるという条件付きで)というのはもっともらしいです。これを「AIによって書かれた単体テストと統合テストは、経験的に役に立たないことが証明されている」と一般化するのは、他の問題でも当てはまるかどうかに関わらず間違っており、その主張が当てはまる可能性は低いと思われます。その主張は、テストを求めないこと(平均して9%のコスト削減とほぼ同等の正解率をもたらした)に基づいています。ここでのテストでも、正解率の違いと9%を超えるコストの違いが見られるため、「AIによって書かれた単体テストと統合テストは、経験的に役に立たないことが証明されている」という主張は、小さな問題のベンチマークで9%のコスト差に基づいているとしても、正確ではないと思われます。もう一つ注意すべき点は、DeepSWEの採点者はテストに関して壊れているということです(他の問題の中でも、エージェントが採点者の秘密のテスト名と競合するテスト名を追加すると、失敗につながる)。このような問題があると、テストの追加は現実世界の使用を代表しない方法で本質的にペナルティを受けます。

主張は非常に効果的だったと議論できます。なぜなら、何かが経験的に証明されていると誇張された主張をすることは、バイラルになる良い方法であったり、多くの引用を得る方法であったりしますが、コーディングエージェントの効果的な使用方法を見つけるための良い方法ではありません。

Nolan Lawsonの最近のJavaScriptフレームワークの選択がエージェントに与える影響に関する投稿で、彼は次のように述べています。

私の目標は、「私はバイブスコーダーですが、どのフレームワークを選ぶべきか?」という究極のベンチマークを書くことではありません。この投稿のポイントは、AIコーディングの時代でも、バイブスではなく証拠に基づいて意思決定をすることが可能であることを示すことです。

私も同じように感じており、いくつかのトイ評価を実行して結果を見ることは価値があると考えています。たとえAIラボのリソースを持っていたとしても、XまたはYが「経験的に役に立たない(または役立つ)ことが証明されている」とは言えないと思いますが、それでも何らかの情報は得られます。

私たちのテスト評価で見られたことから、Rustでプロパティベースのテストライブラリが必要な場合はproptestを試したいと考えています。また、Leanを使用するあらゆる問題に対して、ACL2も試して結果がどのように変化するか、より良い結果が得られるかを確認したいと考えています。また、ある種のバイブスベースの感覚に合う情報もかなりあります。

私の最近のN回の投稿で述べたように、これらの結果をすべて書き出すには時間がかかりすぎるため、それぞれを30分で書き上げようとしています。そのため、5.6 Sol Zstd評価で実行したような、各条件の結果の内訳は提供しません。この投稿にはすでに30分以上かかっているので、ここで終了します。おそらく、将来の投稿でテストと検証についてさらに詳しく見ていくでしょう。

コメント/修正/議論について、Laurence Tratt、Edward Z. Yang、Sophia Wisdom、Marco Primiに感謝します。

付録:AIラボは、どの手法が効果的かについての比較をなぜもっと公開しないのか?

私たちのような一般人とは異なり、彼らは実際に比較的包括的な評価を実行するリソースを持っており、何が効果的かについての情報は一般的に不足しています。人々がAIをより良く使う方法を理解すれば、AIの使用が増えるように思われます。また、私の経験では、OpenAIのモデルとAnthropicのモデルでは異なる手法が効果的です。これらの企業のいずれかが、自社のモデルで何が機能するかについての良い情報を公開すれば、人々を有利な方法でエージェントと対話するように促す可能性があります。

これに対する反論は、収益成長が非常に速いため、他の作業を行うことでより多くのお金が稼げる、または、人々がプロンプトする方法の違いは実際にはどうでもよい、ということかもしれません。これらのラボの外部の人間として、前者はもっともらしいと思われますが、後者は真実ではないように思われます(なぜなら、明らかに愚かなことをしていない合理的な人々が非常に異なる結果を得ることを繰り返し観察してきたからです。ある人は問題を解決できず、別の人は簡単に解決できるという点まで)。結果が「現実」であり、広範なものをテストしたアーティファクトではない限り、その影響はグラフをざっと見るだけでは見られるよりも大きいかもしれません。なぜなら、Pandocの実装により多くの労力/ターン/ドルを費やすにつれて、正解率に関して収穫逓減が得られるからです。これは、デフォルトのフィットラインが、(0,0)からデフォルトポイントへの直線にフィットした場合よりもはるかに低い傾きを持っていること、およびフィットラインの曲線を見ることで観察できます。それにもかかわらず、実際の実践において人々がプロンプトする方法の影響に関して観察された違いは、テスト方法について数語を追加することによってテスト技術の違いを見るよりもはるかに大きいです。これはかなり驚くべきことではないと思います(魔法のようなテスト/検証の言葉が10倍の改善をもたらすと期待するわけではありませんが)、この種のことにより、人々がプロンプトする方法の違いを捉える評価を実行するのが困難/高価になります。

David R. MacIverは次のように述べています。

ところで、私のスキルに対する評価で気づいたことの一つは、ChatGPTはClaudeよりもPBTにあまり関心がないということです。Claudeはかなり熱心にプロパティベースのテストを書き、私の現在のベンチマークでは開発中にそれらの恩恵を受けているように見えますが、ChatGPT Solは、あなたが非常にしつこくしない限り、それを実行しません。したがって、プロンプトの感度があるかもしれませんが、またはモデル固有である可能性もあります。私はまだChatGPTのためにスキルを最適化していません。そのため、意図せずにそれを台無しにした可能性があります。ところで、ClaudeがChatGPTよりもPBTに優れているかどうかは実際にはわかりません(これをチェックすべきです)。それは単にそれについてより積極的であるだけですが、実際にプロパティを書くときには品質は同じくらいである可能性があります。

Claudeで同じ広範なテストは行っていません。MacIverの発言を考えると、Claudeがプロパティベースのテストに優れているか、そうでないかの可能性があります。また、彼がHegelを開発しており、一般的にClaudeを使用していることを考えると、HegelがClaudeでCodexよりもうまく機能する可能性もあり、Claudeで試した場合、Hegelからより良い結果が得られるかもしれません。したがって、プロンプトの感度があるかもしれませんが、またはモデル固有である可能性もあります。

グラフには表示されていませんが、5.6 Sol Zstd評価に使用された元のHegelスキルと、その評価後にMacIverがスキルでさらにテストを行った結果として作成された更新されたスキルは、どちらもスキルなしのHegelよりもパフォーマンスが悪化しました。正解率はかなり似ており、どちらもコストが大幅に増加し、更新されたスキルの方がより高価でした。このスキルが、一部のケースで改善されたにもかかわらず、他のケースで悪化したというのは非常に興味深いと思います。前回の投稿で議論したように、モデルや労力レベル全体で効果的な特定の種類のスキル(テスト手法スキルなど)を書くのは非常に難しいようです。ここで観察できる関連事項は、5.5および5.6 Sol GPTでエージェントテストを駆動した経験に基づいて私が素早く作成したスキルであるSkill条件が、5.6 Sol評価ではパフォーマンスが向上しましたが、6 AstraでのPandocではパフォーマンスが低下したことです。6 Astraでより大きな問題に対してテストを駆動した経験が豊富な人は、少なくともその人が作業した問題と類似した性質の問題に対しては、それらの状況でパフォーマンスが向上するスキルを書くことができるでしょうが、私はAstraのテスト効果について自分でそのスキルを書くほど真剣に調べていません。

関連する点として、様々な恣意的な理由から、私はCodexを使うことに慣れています。私はそれを使ってうまくやっているようです。これにより、Claudeでどれほど効果的になるかについてのアイデアはほとんどありません。

Roman Leventovは次のようにコメントしています。

こんにちはDan、AIコーディングに関するあなたの投稿に励まされ、ファズ/生成テストを試しました。

私が開発しているシステムの1部は、ステートチャートのようなアーキテクチャを持っています。サポートチャットと考えてください。そこで自動化がサポートエージェント(人間)に送信するアクションやメッセージを提案できます。LLMはメッセージの作成には使用されませんが、サポートインテントの分類にのみ使用されます。状態遷移は決定的です。また、可能な次のアクションや決定に実質的に影響を与える、チケットの件名に関する外部イベントも発生する可能性があります。これらすべてが、リッチなステートチャートシステムを生み出します。これはTypeScriptで書かれています。

そのため、リライトをリスクオフするために、またファジングを試すために、リライト中にそれを行うことにしました。リライトの最初の5日間はsol xhighを使用し、その後4〜5日間は主にastra mediumまたはhighを使用しました(astraリリース頃でした)。エージェントに、ロジックに影響を与えるすべての種類のイベントと効果のトレースを生成するように指示しました。

最初の4日間は、エージェントレビュー担当者が最初に発見した欠陥を、生成されたテストシステムが1つも見つけることができませんでした。私は常に、多くの角度/スコープ/レビュー領域を定義し、エージェントにテンプレートに基づいてこれらの領域のかなり詳細なプロンプトを生成させ、その後、それらの領域で verbatim プロンプトを使用してサブエージェントを開始し、欠陥や修正すべき点を見つけるまで実行するというアプローチを使用しています。

リライト全体で、エージェントレビュー担当者は約210個のバグ/欠陥を発見し、生成されたテストは終盤に少しずつ進歩し、エージェント自身が見逃した約20個の新規欠陥を生成しました。合計で約230個です。

本番コードの変更は約3万行で、生成されたテストハーネスと、この生成テストアプローチをサポートするために特別に書かれたすべては約30万行になりました。おそらく非常に非効率的でしたが、私はそれを調べていません。

デプロイ後、プロセスが100人以上のエージェントレビュー担当者を実行し、230個の欠陥を発見したにもかかわらず、見逃したであろう「非常に愚かな」バグがいくつか(4〜5個)ありました。それでも、この複雑なステートチャートシステムの書き換えとしては良い結果だと考えています。

全体として、生成されたテストは欠陥の10%しか発見に役立たず、開発とサポートのために膨大な量のコード(30万行)とエージェントトークンを必要としたため、これは否定的な結果だと考えています。

これは興味深く、もっと多くの人に観察結果を書き出してほしいと思います。


  1. この投稿は9月に公開されましたが、テストは8月に実行されました。この投稿の作業の大部分は9月に行われましたが、公開は11月になりました。実験を書き出すためにほぼゼロの労力を費やそうとしましたが、エージェントが登場する前に書き上げていた結果の一部を書き出せずに、さらに遅れをとっています。[戻る]
  2. 最近聞いた話では、Rustはエージェントにとって特に良いとのことです。なぜなら、エージェントを正しい解決策に導く優れたエラーメッセージがあるからです。これは何度か言及されているのを見ましたが、この声明が絶対に真実ではないとは言えませんが、私が調査した問題では、少なくとも私が実行できるサンプルサイズでは、そうではないようです。もしその声明が真実であれば、その効果はほとんどの状況で他の要因によって支配されているため、言語を選択する理由にはならないはずです。エージェントが使用するのに良い言語としてのRustの唯一の理由を挙げる場合(最後にこの話題が出たときのことです)、言及すべきではないことのように思えます。

また、静的型付けと動的型付けの有効性に関する文献を調査したことを思い出してください。なぜなら、人々はしばしば、静的型付けが動的型付けよりも効果的であると研究が示していると述べていますが、その主張の証拠は、当時発表されていた主要な研究を見たとき、ほとんど存在しませんでした。

[戻る]
3. 「真実は靴を履く前に世界中を駆け巡る」ということわざの変種が、この種のことに当てはまるようです。誇張された主張をするバイラルツイートは、投稿時点で2.8kいいね、2.8k保存、395リツイートされており、ツイートから1か月弱です。この投稿に関するツイートがどれくらいのトラクションを得るか、あなたの最良の推測は何ですか?より正確なツイートの方がトラクションが少なくなるという賭けに実際のお金を使うことはできないと思いますが、ソーシャルメディアで議論されているトピックについては、最もバイラルな主張はほとんど常に誇張されて間違っており、よりニュアンスのある、間違いの少ない主張は実際には追いつけません。人々は、自信のレベルがその主張がほぼ確実に間違っていることを示している場合でさえ(あるいは特に)、自信を本当に好むようです。[戻る]