HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: AIエージェントの危険な機能をスキャンする

Show HN: Scan your AI agents for dangerous capabilities (github.com)

27 pointsby smashini16 コメント

要約

MakerCheckerは、AIエージェントのセキュリティを強化するためのオープンソースツールです。LangChainやClaude SDKなどのフレームワークと連携し、エージェントが実行できるツール呼び出しを制御し、不正な操作を防ぎます。コードスキャン機能で潜在的なリスクを特定し、実行時には権限に基づいたアクセス制御と、改ざん不可能な監査ログを提供します。

全文翻訳

AIエージェントのためのオープンソースセキュリティレイヤー。

デフォルト拒否の強制、人間による承認、暗号署名付き監査トレイル — これにより、エージェントは許可されたもののみを実行し、自身の作業を証明可能に承認できません。

[画像: CI] [画像: Release] [画像: License] [画像: Stars]

ウェブサイト · ライブデモ · mc scan · ドキュメント**

エージェントは既存のフレームワーク(LangChain、Claude SDK、CrewAI)で実行され続けます。MakerCheckerは、各ツール呼び出しの前にチェックポイントとして、また呼び出し後に署名済みレジャーとして機能します。エージェントはロールを通じてのみ行動し、許可されたスキルのみを実行し、制限を超えず、自身の作業を承認できません。


🚀 クイックスタート

1 — コードのスキャン

エージェントが単独で何を実行できるかをリスク別に分類して見つけます。インストール不要、何もあなたのマシンから離れません:

npx @makerchecker/scan .

これにより、データ削除、資金移動、シェルコマンド実行、シークレットの漏洩など、あらゆる結果をもたらすアクションがフラグ付けされ、実際のインシデントと比較して名前が付けられ、--fixオプションでガバナンスコードを生成できます。→ packages/scan

2 — 動作の保証

コントロールをインポートし、任意のツールをラップします。エージェントは、そのロールに許可されたものしか実行できなくなります。許可されていない呼び出しは、実行前に拒否されます:

npm i @makerchecker/embedded
import { createGovernor, GovernanceDeniedError } from "@makerchecker/embedded";

const gov = createGovernor()
  .defineSkill("place-order@1", { riskTier: "high" })
  .defineRole("agent")
  .defineRole("risk-desk")
  .grant("risk-desk", "place-order@1")   // エージェントには許可されていません — デフォルトで拒否
  .defineAgent("trader", "agent");

// ツールを一度ラップします。これにより、エージェントは構造的にそれを起動できなくなります。
const placeOrder = gov.governedTool("trader", "place-order@1", (order) => broker.submit(order));

try {
  await placeOrder({ symbol: "BTC", qty: 10 });
} catch (err) {
  if (err instanceof GovernanceDeniedError) console.log(err.code); // "skill_not_granted"
}

高リスクスキルは別のロールに割り当てられるため、エージェントは自身の作業を承認できません。そして、許可されたか拒否されたかに関わらず、すべての決定は署名付き監査ログにコミットされます。→ packages/embedded

3 — 監査担当者との連携?

ステップ2では既に署名付きログが作成されています。監査担当者が、永続的でクエリ可能、改ざん防止機能付きの記録 — さらに人間による承認インボックスとレビューコンソール — を必要とする場合、セルフホスト型サーバーを実行します:

docker compose up

すべての決定はEd25519で署名され、ハッシュチェーン化されています。いずれかの行を変更すると検証が失敗します。バンドルをエクスポートすれば、誰でもオフラインで検証できます — データベース不要、生成プロセスへの信頼も不要です。→ 完全なサーバーセットアップはこちら

これらは3つの独立したパッケージです — mc scan、@makerchecker/embedded、およびサーバー — これらはすべて同じコントロールを強制し、同じ署名付き監査フォーマットを書き込みます。いずれか単独で採用できます。


🔬 ガバナンスされたユースケース

人間のゲートの後ろで、結果をもたらす作業を行うエージェントの実行可能な例:

  • 医薬品安全性監視ケース処理 — エージェントが有害事象報告をトリアージしますが、15日間の緊急規制報告が送信される前に医療レビュー担当者が署名します。examples/pv-icsr-processing
  • 医療機器(MDR)苦情トリアージ — 規制担当者が、ドラフトレポートが生成される前に、報告可能性をゲートの後ろで決定します。examples/mdr-reportability-triage
  • 腫瘍患者アクセス — エージェントが給付マッチングを処理しますが、専門家が署名しない限り、コペイメント登録の送信がブロックされます。examples/oncology-patient-access
  • 日次現金照合 — 財務エージェントがトランザクションを照合しますが、現金担当者が署名するまで例外ゲートでロックされます。examples/daily-cash-reconciliation

🔌 フレームワークとの統合

既存のツールをガバナンスするためのドロップインコネクタ:

サーバーを実行すると、SDKのgovernedToolは、集中化された承認と記録のために各呼び出しをプロキシセッション経由でルーティングします:

import { createClient, governedTool, GovernanceDeniedError } from "@makerchecker/sdk";

const client = createClient({ baseUrl: "http://localhost:3000", apiKey: "mk_..." });
const { session } = await client.proxy.openSession({ label: "recon-run" });

const match = governedTool(
  client, session.id,
  "recon-preparer",   // エージェントのロール付与が評価される
  "txn-match@1",       // skillRef: 名前@バージョン
  (input) => matchTxns(input),
);

await match({ statement, ledger });   // 拒否された場合は GovernanceDeniedError をスローします
await client.proxy.closeSession(session.id);

🖥️ セルフホスト型サーバー(オプション)

複数のエージェントにわたる集中化された強制、人間による承認インボックス、およびレビューコンソールが必要な場合は、完全なゲートウェイを実行します。docker compose upでPostgres、サーバー(localhost:3000)、およびシードされたデモが起動し、2つのAPIキーが出力されます — 管理者キー(エージェントが実行を認証する)とオペレーターキー(人間がゲート付きアクションを承認する)。

シードされた医薬品安全性監視フローは、要求者が自身の承認者として拒否される医療レビューゲートで停止します:

export H='authorization: Bearer mk_...'         # 管理者キー
export OFFICER='authorization: Bearer mk_...'   # オペレーターキー

curl -X POST localhost:3000/api/flows/pv-icsr-processing/runs -H "$H" -H 'content-type: application/json' -d '{}'
curl localhost:3000/api/approvals -H "$H"

# 要求者は自身の実行を承認できません — 403で拒否されます
curl -X POST localhost:3000/api/approvals/<id>/decision -H "$H" -H 'content-type: application/json' \
  -d '{"decision":"approved","reason":"self-approval attempt"}

# 別個のオペレーターが署名します。その後にのみアクションが続行されます
curl -X POST localhost:3000/api/approvals/<id>/decision -H "$OFFICER" -H 'content-type: application/json' \
  -d{"decision":"approved","reason":"Seriousness confirmed; file 15-day expedited ICSRs."}

curl localhost:3000/api/audit/verify -H "$H"

完全なセットアップ、Kubernetes/Helm、およびライブモデルでの実行:docs/quickstart.md。


🔒 検証可能な監査トレイル

すべての決定とツール呼び出しはハッシュチェーン化されたログにコミットされます — 各イベントは、RFC 8785正規化JSONのSHA-256ハッシュであり、ジェネシスからprev_hashを介してチェーン化され、Ed25519で署名されています。いずれかの行を変更すると検証が失敗します。誰でもエクスポートされたバンドルをオフラインで検証できます — データベース不要、生成プロセスへの信頼も不要です:

npx @makerchecker/proof-verifier verify bundle.json

仕様:docs/audit-spec.md。


🗂️ パッケージ

パッケージライセンス内容
packages/scanApache-2.0mc scan — エージェントができることを発見し分類します。
packages/embeddedApache-2.0インポート可能な強制プリミティブ — コード内のガバナンス。
packages/proof-verifierApache-2.0署名付き監査バンドルをオフラインで独立して検証します。
packages/sdkApache-2.0TypeScriptクライアント + サーバー用のgovernedTool。
packages/sdk-pythonApache-2.0Pythonクライアント + governed_tool。
packages/connector-langchainApache-2.0LangChainツールをガバナンスします。
packages/connector-claude-agentApache-2.0Claude Agent SDKツールをガバナンスします。
packages/serverAGPL-3.0セルフホスト型Fastify + Postgresゲートウェイ、フローエンジン、監査ライター。
packages/webAGPL-3.0Reactコンソール:承認インボックス、実行ログ、レジストリ。
packages/sharedAGPL-3.0ドメインタイプ、正規化JSON、暗号ユーティリティ。

📄 ライセンスとコントリビューション

  • サーバー、Web、共有: AGPL-3.0。
  • mc scan、embedded、SDK、コネクタ、例: Apache-2.0 — クローズドソースエージェントに自由に組み込めます。
  • 商用(コピーレフトなし)ライセンス:hello@makerchecker.ai。

コントリビューション:CONTRIBUTING.md · セキュリティ:SECURITY.md · 行動規範:CODE_OF_CONDUCT.md