AI・機械学習
Opusからセルフホスト型Ollamaへの35KBの事前プロンプト移行中に発生した問題点に関するメモ
要約
この記事は、AnthropicのClaude Opusのような商用LLMから、セルフホスト型のOllamaへ大規模な事前プロンプトを移行する際の技術的な課題について詳述しています。主な問題点として、ローカル環境でのコンテキストウィンドウの制限、プロンプトの複雑さによるモデルの処理遅延や誤動作が挙げられています。著者は、これらの制約を克服するためのプロンプトチューニングの必要性を示唆しています。
全文翻訳
動機:あなたはClaudeコード/コデックスユーザーで、個人データをLLMプロバイダーにアップロードすることを熱心に避けているかもしれません。最も価値のある情報はあなたのデータではなく、セッションに関するメタデータである可能性はありませんか?AIに問題を解決させる方法を考案する際に適用する直感は、実際には特別なものである可能性があります。統計的にはありえませんが、Claudeはあなたをガスライティングしているわけではないかもしれません。あなたは実際に真の洞察を得ているのかもしれません!あなたのエージェントセッションは、あなたが取り組む最も困難な問題のトランスクリプトです。それらのコピーを誰かが持っていたら、あなたにいくらのコストがかかりますか?先週、推論プロバイダーが新しい発見を提供するためにユーザーアクティビティをトレーニングしているリスクに光を当てる公のドラマがありました。影響を受けた数学者たちは、フロンティアプロバイダーの倫理に関する懸念を発表しました。もし見逃したなら:https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution
「EDR」が倫理的な回避と拒否になったとき:フロンティアプロバイダーは信頼できないだけでなく、積極的に狡猾であることが明らかになりました。あなたのアイデアを守りたいなら、他人のハードウェアで推論を実行することはできません。フロンティアプロバイダーとのすべての活動は盗まれるようです。フロンティアプロバイダーが弁護士とナビエ・ストークス方程式の状況について話し合ったとき、彼らが思いついた最善の防御戦略は「除外できない」でした。私たちは彼らの保持やトレーニングパイプラインを監査できません。彼ら自身もできないようです。これらの人々はパートナーと見なされるべきではありません。彼らは海賊です。プライバシーが重要なら、検証可能な保護を可能にする唯一の解決策は、独自のハードウェアを運用することです。
サービスとしてのホールモニター
OpenAIとAnthropicのサイバーセキュリティに関する大げさな態度に困惑しています。彼らは自分たちが作り出したものに驚嘆しています:AIは彼らの存在しないセキュリティ制御を打ち破りました。私たちは皆、大きな「危険」にさらされています。一方、彼らのLLM「研究者」は、自律的に「協力」しているように見える、サンドボックス化されていないエージェントのフリートを実行しています。誰か私に気絶用のソファを持ってきてください。フロンティアプロバイダーは、経験豊富なセキュリティ担当者からのアドバイスを受ける余裕があります。彼らはほとんど間違いなく、そのうちの何人かに見解を得るために支払っており、公開声明から実際のサイバーセキュリティガイダンスを省いています。このすべての過剰な心配は、セキュリティとは異なる問題を解決することを意図しているはずです。防御者ができる最も強力で正確な主張は、攻撃者にとって「かなり難しい」方法を見つけたということです。これは、企業がエクスプロイト緩和とエクスプロイト開発の両方で最高の才能に高額を支払う場合にのみ発生するようです。防御チームと攻撃チームの間には、騒がしいが友好的な競争があり、最終的には成功した攻撃が高価すぎて実行する価値がないほどの制御が得られます。これは国内のトップティア企業のためのものですが、Microsoftはいくつかの教訓を忘れてしまったようです。
ほとんどの企業で行われるペネトレーションテストの大部分は、セキュリティジェネラリストによって実行されます。ごく一部は深いドメインの専門家です。通常、そのサポートから「十分に良い」セキュリティが得られます。これは、映画やテレビで見られるような、グラマラスで神話的なサイバーセキュリティの実践ではありません。既知のクラスの予測可能な間違いを探しています。専門家の専任チームに多額の賢明な投資を行う企業は、ハッカーよりも前に、新しいクラスの間違いの多くを発見し修正します。すべての人