HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

すべてのMacには(文書化されていない)家族分類子が付属している

Every Mac comes with an (undocumented) family member classifier (8rank.ai)

494 pointsby infwhispers291 コメント

要約

この記事は、macOSに搭載されている「パーソナルナレッジグラフ(PKG)」の仕組みを詳細に分析しています。PKGは、連絡先、カレンダー、写真などのデータをクロスリファレンスしてユーザーとその周囲の人々に関するグラフを構築し、家族関係や人間関係を推論します。著者は、このデータ収集と推論のプロセスを明らかにするためのツール「iKnow」を公開しています。

全文翻訳

Appleのパーソナルナレッジグラフの解剖

2022年以降に出荷されたすべてのMacには、あなたとあなたの周りの人々に関するグラフを構築することだけを目的としたペアのデーモンが搭載されていると言ったらどうしますか?それは、あなたが誰であるか、誰を知っているか、その人々があなたや互いにどのように関連しているか、どのようにコミュニケーションを取っているか、どこへ行き、誰と、何を、いつしているか、といったことです。このグラフは、デバイス上のほぼすべての情報(連絡先、カレンダー、写真、メッセージ、メール、位置情報、スクリーンタイム、および行動シグナルのロングテール)をクロスリファレンスすることで構築されます。そして、より重要なことに、それはLLMが(主張によれば)取得するクエリ可能なストアとして保持されています。信じますか?

さて、それが起こっていることであり、興味深いことに、この仕組み全体がMacでどのように機能するかについての公式な文書はほとんどありません。公式な説明に最も近いものは、manページ(man 8 knowledgeconstructiond)ですが、得られるのはこれだけです。

NAME
     knowledgeconstructiond – デバイス上のコンテンツを分析して汎用ナレッジグラフを構築するデーモン。

DESCRIPTION
   knowledgeconstructiond は、このデバイス上のコンテンツを分析して、デバイスとユーザーを表すナレッジグラフの構築を支援します。intelligenceplatformd と連携し、一部の重い処理タスクを実行してナレッジグラフを生成します。

以前の研究: 公平を期すために言うと、Apple自身も2023年にこのグラフ構築の背後にある技術に関する論文を発表しています。しかし、macOSへの統合方法についてはほとんど情報がありません。どのバージョンがそれを実行しているか、収集および推論されるものの正確なリストなどです。「kinship」推論については、以下で議論しますが、一言も触れられていません。また、私たちは2026年8月のmacOS 26におけるApple Intelligenceバンドルのセキュリティリサーチ中にこれに遭遇しましたが、数ヶ月前には、Nic Lydonが同じデータベースに遭遇し、I Built a Personal Knowledge Graph. Apple Had Already Built One on My Laptop. という記事を書いています。

しかし、私たちはさらに深く掘り下げます。

この記事は、ナレッジグラフが実際に行っていることの分析作業の記録であり、あなた(ユーザー)がこの仕組みがどのように機能するかをよりよく理解し、グラフがあなたやあなたの家族、友人について何を持っているかについての明確さを得ることを目的としています。この記事に含まれるすべては、macOS 26(執筆時点では26.6.2)で収集されたものです。

この目的のために、私たちはローカルダッシュボード(iKnow)をオープンソース化しました。これを使用して、Mac上のパーソナルナレッジグラフの内容を読むことができます。

最後に、私たちは得意なことに脱線し、武器化と悪用について見ていきます。私たちは思考実験(パーソナライズされたシステムに適用できるもの)を実行し、このような知識ベースが間違った手に渡った場合に何が起こるか、そして「プライバシーの単一障害点」が、以前は考慮しなかった方法であなたを脅かすためにどのように悪用されるかを示します(破壊されたLLMと組み合わせた場合)。

パーソナルナレッジグラフに含まれるもの

2つのデーモンは、~/Library/IntelligencePlatform というディレクトリに作業結果を保存します。これは、TCCフルディスクアクセスによって保護された領域に保存されている51個のSQLiteデータベースです。

最も興味深いのはおそらくgraph.dbです。これは、181個のエンティティクラスと278個の述語の語彙で書かれたトリプルストアです。各行は、主語、述語、目的語です。主語はエンティティ(人、アプリ、イベント)であり、目的語は単純な値(名前、ハンドル、日付)または別のエンティティです。ここでグラフはエッジを取得します。述語は興味深い部分です。それは、システムが2つのエンティティ間にどのような関係が保持されていると信じているかを示します。

エッジ、およびそれが保存されている行

(私)このMacの所有者 9100000000007919 PS500 雇用主 CS165 雇用関係タイプ PS45 所属 Halden Labs 組織 9100000000013724 STABLE_GRAPH ・ 同じエッジ、2行として保存されています 主語 述語 relationshipId relationshipPredicate 目的語 9100000000013724 PS500 4412 PS1 CS165 9100000000013724 PS500 4412 PS45 9100000000013724 各行には、信頼度、ソース、ソース重複、タイムスタンプも含まれます

グラフの1つのエッジ(合成データ):人物とその雇用主である組織。PS500 は predicate.json で employer と指定されているIDであり、その範囲は組織ではなく relationship type です。そのため、1つのエッジは relationshipId を共有する2つの行で構成され、1つは関係の種類を名付け、もう1つは別のエンティティを指します。以下のテーブルにある46個のrelationship typeクラスは、まさにそれを運ぶために存在し、エッジが独自の信頼度を持ち、後で取り消すことができるようにします。

2つのデーモンのほとんどの作業は、OSが読み取ることを許可するすべてのものから、これらの述語およびそれらと一緒に保持されるテーブルを埋めることです。グラフには、連絡先、写真(顔)、カレンダー(タイトルと参加者)、ファミリー共有(各メンバーの年齢を含む)、Healthの医療ID緊急連絡先、Siriの提案がメールやメッセージで見つけるイベントと連絡先、アプリインテントを通じてアプリが提供した人物、およびインストールされているアプリが含まれます。その横には、独自のテーブルに、写真に一緒に写っている人物、通信ログ(誰が、いつ、どのアプリで、どちらの方向か、コンテンツなし)、他のデバイスからもプルされるもの、位置情報と移動履歴、およびデバイスシグナルのロングテール(画面ロック、Wi-Fi、Bluetooth、充電、周囲光、およびContextualUnderstanding.PhysicalSocialという名前のストリーム。そのレコード形式は、人物を名前、電話番号、メールアドレスでリストし、それぞれに開始時刻と終了時刻があります。これは、あなたの周りにいた人物のログのように読めますが、私たちはそれが埋められているのを見たことがありません)。

推論されるもの

クラスの完全なリスト:181個のエンティティクラス

クラス.json の181個のエンティティクラス

クラスラベルグループメカニズム発見?
SB56エンティティコア実装済み
SB104人物コア実装済み
SB152場所コア実装済み
nm_topicトピックコア実装済み
SB65イベントコア実装済み
nm_documentドキュメントコアメカニズムが見つからず
SB473ホームコアメカニズムが見つからず
SB10組織コア実装済み
SB2人間のグループコア実装済み
SB144ソフトウェアコア実装済み
SB193生物コア実装済み
SB198エージェントコア実装済み
SB83コンセプトコア実装済み
SB400発生コア実装済み
SB60ロールコア実装済み
SB197siribase タイプコア実装済み
nm_knowledgeSourceナレッジソースコア実装済み
SB170時間コアメカニズムが見つからず
SB175グループコア実装済み
SB470デバイスのプライマリユーザー人物メカニズムが見つからず
SB199音楽アーティスト人物メカニズムが見つからず
SB14スポーツチーム人物実装済み
SB417スポーツ組織人物メカニズムが見つからず
SB115スポーツリーグ人物メカニズムが見つからず
SB185アスリート人物メカニズムが見つからず
SB21芸術分野の人人物メカニズムが見つからず
SB184ミュージシャン人物メカニズムが見つからず
nm_screenTimeSegmentスクリーンタイムセグメント人物メカニズムが見つからず
CS8性別属性実装されている可能性あり(未検証)
CS4測定単位属性実装済み
CS25職業タイプ属性実装済み
CS37宗教属性メカニズムが見つからず
SB74言語属性メカニズムが見つからず
SB18政党属性メカニズムが見つからず
SB461ジャンル属性実装済み
SB537交通手段属性実装済み
SB544自動車モデル属性実装済み
SB418メーカー属性実装済み
SB399コンテンツレーティング属性メカニズムが見つからず
SB48人口のある場所場所実装済み
SB101州場所実装されている可能性あり(未検証)
SB163国場所実装されている可能性あり(未検証)
SB370タイムゾーン場所実装されている可能性あり(未検証)
SB131郡場所実装済み
SB471カレンダーイベントメカニズムが見つからず
SB472カレンダーイベントイベント実装済み
SB513アクティビティイベントイベント実装済み
SB71スポーツゲームイベントイベントメカニズムが見つからず
SB77休日イベントイベント実装済み
SB514移動アクティビティアクティビティ実装済み
SB515作業アクティビティアクティビティ実装済み
SB516会議アクティビティアクティビティ実装済み
SB517食事アクティビティアクティビティ実装されている可能性あり(未検証)
SB518テレビ視聴アクティビティアクティビティ実装されている可能性あり(未検証)
SB519コミュニケーションアクティビティアクティビティ実装済み
SB520ショッピングアクティビティアクティビティ実装済み
SB523旅行アクティビティアクティビティ実装されている可能性あり(未検証)
SB524読書アクティビティアクティビティ実装済み
SB525バケーションアクティビティアクティビティ実装済み
SB526ゲームアクティビティアクティビティ実装済み
SB527ソーシャルアクティビティアクティビティ実装されている可能性あり(未検証)
SB528起床アクティビティアクティビティ実装されている可能性あり(未検証)
SB529就寝アクティビティアクティビティ実装されている可能性あり(未検証)
SB522睡眠アクティビティアクティビティ実装済み
SB530運動アクティビティアクティビティ実装済み
SB521マインドフルネスアクティビティアクティビティ実装されている可能性あり(未検証)
SB531電話アクティビティアクティビティ実装済み
SB532Facetimeアクティビティアクティビティ実装済み
SB533ウォーキングアクティビティアクティビティ実装済み
SB534ランニングアクティビティアクティビティ実装済み
SB535サイクリングアクティビティアクティビティ実装済み
SB536ハイキングアクティビティアクティビティメカニズムが見つからず
SB722通勤アクティビティアクティビティ実装済み
SB723食事アクティビティアクティビティ実装済み
SB726パフォーマンス参加アクティビティアクティビティ実装済み
SB732静止アクティビティアクティビティ実装済み
SB764場所訪問アクティビティアクティビティ実装済み
SB784ドライブアクティビティアクティビティメカニズムが見つからず
SB786行動アクティビティアクティビティメカニズムが見つからず
SB394スポーツアクティビティアクティビティ実装済み
SB116アクティビティタイプアクティビティタイプ実装されている可能性あり(未検証)
SB545移動アクティビティタイプアクティビティタイプメカニズムが見つからず
SB546作業アクティビティタイプアクティビティタイプメカニズムが見つからず
SB547会議アクティビティタイプアクティビティタイプメカニズムが見つからず
SB548食事アクティビティタイプアクティビティタイプメカニズムが見つからず
SB549メディア視聴アクティビティタイプアクティビティタイプメカニズムが見つからず
SB550コミュニケーションアクティビティタイプアクティビティタイプメカニズムが見つからず
SB551ショッピングアクティビティタイプアクティビティタイプメカニズムが見つからず
SB552マインドフルアクティビティタイプアクティビティタイプメカニズムが見つからず
SB553睡眠アクティビティタイプアクティビティタイプメカニズムが見つからず
SB554旅行アクティビティタイプアクティビティタイプメカニズムが見つからず
SB555読書アクティビティタイプアクティビティタイプメカニズムが見つからず
SB556バケーションアクティビティタイプアクティビティタイプメカニズムが見つからず
SB557ソーシャルアクティビティタイプアクティビティタイプメカニズムが見つからず
SB558起床アクティビティタイプアクティビティタイプメカニズムが見つからず
SB559就寝アクティビティタイプアクティビティタイプメカニズムが見つからず
SB560電話アクティビティタイプアクティビティタイプメカニズムが見つからず
SB561Facetimeアクティビティタイプアクティビティタイプメカニズムが見つからず
SB562ウォーキングアクティビティタイプアクティビティタイプメカニズムが見つからず
SB563ランニングアクティビティタイプアクティビティタイプメカニズムが見つからず
SB564サイクリングアクティビティタイプアクティビティタイプメカニズムが見つからず
SB565ハイキングアクティビティタイプアクティビティタイプメカニズムが見つからず
SB483運動アクティビティタイプアクティビティタイプメカニズムが見つからず
SB721通勤アクティビティタイプアクティビティタイプメカニズムが見つからず
SB785ドライブアクティビティタイプアクティビティタイプメカニズムが見つからず
SB787行動アクティビティタイプアクティビティタイプメカニズムが見つからず
SB425車両移動手段実装済み
SB543徒歩移動手段メカニズムが見つからず
SB335自動車移動手段実装済み
SB538飛行機移動手段メカニズムが見つからず
SB539自転車移動手段メカニズムが見つからず
SB358船移動手段メカニズムが見つからず
SB541バス移動手段メカニズムが見つからず
SB542鉄道車両移動手段メカニズムが見つからず
SB51仕事メディア実装済み
SB405メディア作品メディア実装済み
SB44曲メディア実装済み
SB138アルバムメディアメカニズムが見つからず
SB85音楽作品メディア実装済み
SB183映画メディアメカニズムが見つからず
SB295テレビ番組メディアメカニズムが見つからず
SB49動物動物メカニズムが見つからず
nm_petペット動物メカニズムが見つからず
nm_dog犬動物メカニズムが見つからず
nm_cat猫動物メカニズムが見つからず
nm_myPet私のペット動物メカニズムが見つからず
nm_myDog私の犬動物メカニズムが見つからず
nm_myCat私の猫動物メカニズムが見つからず
nm_walletOrderウォレット注文コマース実装済み
nm_walletTransactionウォレット取引コマースメカニズムが見つからず
nm_payment支払いコマース実装済み
nm_transaction取引コマース実装済み
nm_emailメールコマース実装済み
nm_shippingInfo配送情報コマースメカニズムが見つからず
nm_shipmentFullFillmentInfo出荷完了情報コマース実装済み
CS29場所関係タイプエッジ実装済み
CS97住所関係タイプエッジ実装済み
nm_topicRelationshipTypeトピック関係タイプエッジ実装されている可能性あり(未検証)
CS1関係タイプエッジ実装済み
nm_senderRelationshipType送信者関係タイプエッジ実装されている可能性あり(未検証)
nm_calendarRelationshipTypeカレンダー関係タイプエッジ実装済み
nm_organizerRelationshipType主催者関係タイプエッジメカニズムが見つからず
CS105テキスト関係タイプエッジメカニズムが見つからず
CS101言語関係タイプエッジメカニズムが見つからず
CS22識別子関係タイプエッジ実装済み
CS2画像関係タイプエッジ実装されている可能性あり(未検証)
CS13所属関係タイプエッジ実装済み
CS165雇用関係タイプエッジ実装済み
CS154タイムゾーン関係タイプエッジ実装されている可能性あり(未検証)
CS3数量関係タイプエッジ実装済み
CS36宗教関係タイプエッジメカニズムが見つからず
CS167興味関係タイプエッジメカニズムが見つからず
CS38参加関係タイプエッジ実装済み
nm_calendarSourceRelationshipTypeカレンダーソース関係タイプエッジ実装済み
CS168エージェント所属関係タイプエッジ実装済み
nm_dateRelationshipType日付関係タイプエッジ実装済み
nm_administratorRelationshipType管理者関係タイプエッジメカニズムが見つからず
nm_visualIdentifierRelationshipTypeビジュアル識別子関係タイプエッジ実装済み
nm_songRelationshipType曲関係タイプエッジ実装済み
nm_softwareRelationshipTypeソフトウェア関係タイプエッジ実装済み
CS173イベント関係タイプエッジメカニズムが見つからず
nm_localizedNameRelationshipTypeローカライズ名関係タイプエッジ実装済み
nm_confidenceRelationshipType信頼度関係タイプエッジ実装済み
CS31パフォーマンス関係タイプエッジメカニズムが見つからず
CS15部分全体関係タイプエッジメカニズムが見つからず
CS113レーティング関係タイプエッジメカニズムが見つからず
CS166グループ関係タイプエッジ実装済み
nm_livingBeingRelationship生物関係エッジ実装済み
nm_entityAliasRelationshipTypeエンティティエイリアス関係タイプエッジ実装済み
nm_extractionTagRelationshipType抽出タグ関係タイプエッジ実装済み
nm_orderEmailRelationshipType注文メール関係タイプエッジ実装済み
nm_orderTransactionRelationshipType注文取引関係タイプエッジ実装済み
nm_orderShippingInfoRelationshipType注文配送情報関係タイプエッジ実装済み
nm_entityOrganizationRelationshipTypeエンティティ組織関係タイプエッジ実装済み
nm_shipmentFullFillmentEmailRelationshipType出荷完了メール関係タイプエッジ実装済み
nm_orderShipmentFullFillmentRelationshipType注文出荷完了関係タイプエッジ実装済み
nm_orderPaymentRelationshipType注文支払い関係タイプエッジ実装済み
nm_fromToEmailRelationshipType送信元宛先メール関係タイプエッジメカニズムが見つからず
nm_orderPersonRelationshipType注文人物関係タイプエッジ実装済み
nm_shipmentPersonRelationshipType出荷人物関係タイプエッジ実装済み
nm_emailInfoRelationshipTypeメール情報関係タイプエッジメカニズムが見つからず

出荷されたオントロジーが宣言するすべてのクラス。グループ化はファイル順ではなく、コアタイプ、人物、属性、場所、イベント、アクティビティブロック、そして最後の46個の関係タイプです。関係タイプは実際にはモノではなく、各々がエッジを再表象し、エッジ自体が信頼度などのファセットを持つことができます。IDとラベルはAppleのもので、グループ化は私たちが行いました。intValueは1から185まで実行され、4つの数字(18、54、169、181)が欠落しています。ディスク上のどこにもそれらが何であったかを示すものはありません。

181個のクラスのうち57個はアクティビティを表します:睡眠、運動、マインドフルネス、就寝、通勤、食事。そのほとんどには、対応するタイプクラスがあります。つまり、語彙の約3分の1が、あなたが誰であるか、どこにいるかではなく、あなたが何をしているかに費やされています。それでも、すべてのクラスが実際に使用されているかどうかは明らかではありません。一部はプレースホルダーである可能性がありますが、宣言されていても決して埋められていないかもしれません。テーブルでは、クラスの原因となる可能性のあるメカニズムを見つけることができたクラスを実装済みとしてフラグ付けしていますが、これらは推論作業として受け取るべきであり、真実としてではありません。

そして、これは述語の完全なリストです(同じ免責事項が適用されます)。

predicate.json の278個の述語

述語何を記録するかデータソース取得方法メカニズム発見?
PS1これが何の種類のものかすべてのソースルール実装済み
PS10ジャンルAppleワールドナレッジApple出荷実装済み
PS102このレコードは、あの人/物と同じ人/物であるすべてのソース埋め込みモデル実装済み
PS106期間カレンダー、提案コピーメカニズムが見つからず
PS107場所を持つカレンダー、位置履歴コピー実装されている可能性あり(未検証)
PS123部分全体関係の一部AppleワールドナレッジApple出荷メカニズムが見つからず
PS132宗教を持つ連絡先コピーメカニズムが見つからず
PS133宗教AppleワールドナレッジApple出荷メカニズムが見つからず
PS135地域AppleワールドナレッジApple出荷メカニズムが見つからず
PS137実行者AppleワールドナレッジApple出荷メカニズムが見つからず
PS143参加者識別子カレンダー、提案コピー実装されている可能性あり(未検証)
PS144イベントに参加したカレンダー、写真コピーメカニズムが見つからず
PS147人口AppleワールドナレッジApple出荷メカニズムが見つからず
PS16パフォーマーAppleワールドナレッジApple出荷メカニズムが見つからず
PS194発行元AppleワールドナレッジApple出荷実装済み
PS2単位AppleワールドナレッジApple出荷実装済み
PS225場所関係を持つカレンダー、位置履歴コピー実装済み
PS232参加者を持つカレンダー、提案コピー実装済み
PS248開始場所カレンダー、位置履歴コピー実装済み
PS249終了場所カレンダー、位置履歴コピー実装済み
PS29開始時刻カレンダー、提案コピー実装済み
PS296URLカレンダー、アプリ、ワールドナレッジコピー実装済み
PS3数量AppleワールドナレッジApple出荷実装済み
PS30終了時刻カレンダー、提案コピー実装済み
PS312名連絡先コピー実装済み
PS313ユーザー名/ハンドル連絡先、ファミリー共有コピー実装済み
PS314スポーツAppleワールドナレッジApple出荷メカニズムが見つからず
PS315郵便番号連絡先、注文メールコピー実装済み
PS316完全な番地連絡先、注文メールコピー実装されている可能性あり(未検証)
PS317住所を持つ連絡先、注文メールコピー実装済み
PS324言語を持つ連絡先コピーメカニズムが見つからず
PS325話されている言語連絡先コピーメカニズムが見つからず
PS33名前連絡先コピー実装済み
PS335テキスト値カレンダー、アプリ、ワールドナレッジコピーメカニズムが見つからず
PS336正式名称AppleワールドナレッジApple出荷メカニズムが見つからず
PS34性自認連絡先コピー実装されている可能性あり(未検証)
PS343国民名AppleワールドナレッジApple出荷メカニズムが見つからず
PS35国籍AppleワールドナレッジApple出荷メカニズムが見つからず
PS358レーティングを持つAppleワールドナレッジApple出荷メカニズムが見つからず
PS359レーティングAppleワールドナレッジApple出荷メカニズムが見つからず
PS36旧姓連絡先コピー実装済み
PS37生年月日連絡先コピー実装済み
PS374メンバーを持つ連絡先、ファミリー共有コピー実装済み
PS392最終更新日時カレンダー、提案コピー実装済み
PS396外部識別子、その値、そのタイプすべてのソース結合実装済み
PS4幅AppleワールドナレッジApple出荷実装されている可能性あり(未検証)
PS406メールアドレス連絡先、注文メールコピー実装済み
PS407電話番号連絡先、注文メールコピー実装済み
PS424政党のメンバーAppleワールドナレッジApple出荷メカニズムが見つからず
PS441姓連絡先コピー実装済み
PS447タイムゾーンを持つカレンダー、位置履歴コピーメカニズムが見つからず
PS448タイムゾーンカレンダー、位置履歴コピー実装されている可能性あり(未検証)
PS45所属連絡先、ファミリー共有コピー実装済み
PS450住所の国連絡先、注文メールコピー実装されている可能性あり(未検証)
PS453市連絡先、注文メールコピー実装されている可能性あり(未検証)
PS454国コード ISO 3166-1 alpha-2連絡先、注文メールコピー実装されている可能性あり(未検証)
PS455行政地区連絡先、注文メールコピー実装されている可能性あり(未検証)
PS46グループメンバー識別子ファミリー共有結合メカニズムが見つからず
PS484公用語AppleワールドナレッジApple出荷メカニズムが見つからず
PS486表示画像写真、連絡先コピーメカニズムが見つからず
PS5高さAppleワールドナレッジApple出荷実装されている可能性あり(未検証)
PS500雇用主連絡先コピー実装済み
PS51説明カレンダー、アプリ、ワールドナレッジコピー実装済み
PS515場所内の場所AppleワールドナレッジApple出荷メカニズムが見つからず
PS520連絡先情報を持つ連絡先、注文メールコピー実装済み
PS524ネイティブホームAppleワールドナレッジApple出荷メカニズムが見つからず
PS53一部AppleワールドナレッジApple出荷メカニズムが見つからず
PS545名前プレフィックス連絡先コピー実装済み
PS546ミドルネーム連絡先コピー実装済み
PS547名前サフィックス連絡先コピー実装済み
PS548所属部署連絡先コピー実装済み
PS557人物が興味を持つトピックパーソナライゼーションポートレートスコアリングモデルメカニズムが見つからず
PS558人物が興味を持つトピックパーソナライゼーションポートレートスコアリングモデルメカニズムが見つからず
PS565略語AppleワールドナレッジApple出荷メカニズムが見つからず
PS566グループの構成要素AppleワールドナレッジApple出荷メカニズムが見つからず
PS567GMTからの秒数カレンダー、位置履歴コピーメカニズムが見つからず
PS568副行政区域連絡先、注文メールコピー実装済み
PS569副地域連絡先、注文メールコピー実装済み
PS570副通り連絡先、注文メールコピー実装済み
PS571緯度カレンダー、位置履歴コピー実装済み
PS572経度カレンダー、位置履歴コピー実装済み
PS573緯度/経度を持つカレンダー、位置履歴コピー実装済み
PS574旧姓連絡先コピー実装済み
PS578主催者を持つカレンダー、提案コピー実装済み
PS579カレンダー上にあるカレンダー、提案コピーメカニズムが見つからず
PS580カレンダーイベント送信者カレンダー、提案コピー実装済み
PS5812番目の住所行連絡先、注文メールコピー実装済み
PS582家の管理者は誰かHomeKitコピーメカニズムが見つからず
PS586ステータス—未確立実装済み
PS598人物は他の人物と関連/提携している連絡先、Health、ファミリー共有、スクリーンタイム、写真XGBoost + ルール + コピー実装済み
PS599人物は他の人物と関連/提携している連絡先、Health、ファミリー共有、スクリーンタイム、写真XGBoost + ルール + コピーメカニズムが見つからず
PS618サブイベントを持つカレンダー、提案コピーメカニズムが見つからず
PS66ソースURLカレンダー、アプリ、ワールドナレッジコピー実装済み
PS67没年月日AppleワールドナレッジApple出荷メカニズムが見つからず
PS69外部識別子、その値、そのタイプすべてのソース結合実装済み
PS7画像ファイル写真、連絡先コピー実装されている可能性あり(未検証)
PS709ドライバーを持つCarPlay、ウォレットコピーメカニズムが見つからず
PS710移動手段タイプAppleワールドナレッジApple出荷メカニズムが見つからず
PS711高低差AppleワールドナレッジApple出荷メカニズムが見つからず
PS712地形AppleワールドナレッジApple出荷実装済み
PS713消費燃料AppleワールドナレッジApple出荷メカニズムが見つからず
PS714高速道路走行距離AppleワールドナレッジApple出荷メカニズムが見つからず
PS715市街地走行距離AppleワールドナレッジApple出荷メカニズムが見つからず
PS716自動車メーカーCarPlay、ウォレットコピーメカニズムが見つからず
PS717自動車モデルCarPlay、ウォレットコピーメカニズムが見つからず
PS7182つのイベントが同時に発生した写真、カレンダールールメカニズムが見つからず
PS719アクティビティの種類Health、モーションセンサールールメカニズムが見つからず
PS72外部識別子、その値、そのタイプすべてのソース結合実装済み
PS73職業連絡先、Appleワールドナレッジコピー実装済み
PS730サブプレミス連絡先、注文メールコピー実装されている可能性あり(未検証)
PS731行政区域コード連絡先、注文メールコピー実装されている可能性あり(未検証)
`PS733ユーザーが場所や物に付けたラベルカレンダー、提案コピー実装されている可能性あり(未検証)
PS734参加者の義務カレンダー、提案コピーメカニズムが見つからず
PS740連絡先ラベル連絡先コピー実装済み
PS741イベントを持つカレンダー、提案コピーメカニズムが見つからず
PS747行動カテゴリ行動履歴ルールメカニズムが見つからず
PS75母を持つ—未確立メカニズムが見つからず
PS753グループに個人が含まれるファミリー共有コピー実装済み
PS76父を持つ—未確立メカニズムが見つからず
PS77配偶者—未確立メカニズムが見つからず
PS78画像を持つ写真、連絡先コピーメカニズムが見つからず
PS79子を持つ—未確立メカニズムが見つからず
PS83長さAppleワールドナレッジApple出荷メカニズムが見つからず
PS85保持するロールAppleワールドナレッジApple出荷メカニズムが見つからず
PS89同じ人物が知られている別の名前連絡先、写真埋め込みモデル実装済み
PS99純資産AppleワールドナレッジApple出荷メカニズムが見つからず
nm_QIDWikidata IDAppleワールドナレッジApple出荷実装済み
nm_UMC_IDUMC IDApple Musicコピー実装済み
nm_accountInstitution口座機関ウォレット、注文メールコピー実装済み
nm_accountLastFourDigits口座下4桁ウォレット、注文メールコピー実装済み
nm_accountType口座タイプウォレット、注文メールコピー実装済み
nm_accuracy精度位置履歴コピーメカニズムが見つからず
nm_activityCategoryテキストから抽出されたイベントタイプメール、メッセージ、アプリコンテンツルールメカニズムが見つからず
nm_addressString住所文字列カレンダー、提案コピー実装済み
nm_age年齢ファミリー共有コピー実装済み
nm_albumIdentifierアルバム識別子Apple Musicコピー実装済み
nm_albumName曲のアルバム名Apple Music、アプリ使用状況コピー実装済み
nm_amount金額ウォレット、注文メールコピー実装済み
nm_anniversary記念日連絡先コピー実装済み
nm_applicationIdentifierアプリケーション識別子インストール済みアプリコピー実装済み
nm_artistIdentifierアーティスト識別子Apple Musicコピー実装済み
nm_artistName曲のアーティスト名Apple Music、アプリ使用状況コピー実装済み
nm_associationReasonこの顔を名前付けたメカニズム写真の顔ルール実装済み
nm_availability利用可能性カレンダー、提案コピーメカニズムが見つからず
nm_birthdayContactID誕生日連絡先ID連絡先結合メカニズムが見つからず
nm_bundleIDバンドルIDインストール済みアプリコピー実装済み
nm_calendarTypeカレンダータイプカレンダー、提案コピーメカニズムが見つからず
nm_carrierNameキャリア名ウォレットパス、カレンダーコピー実装済み
nm_category読んだり書いたりした内容からスコアリングされたトピックパーソナライゼーションポートレートスコアリングモデルメカニズムが見つからず
nm_cnFavoriteActionType連絡先お気に入りアクションタイプ連絡先コピー実装済み
nm_confidenceシステムの確信度事実を記述したエンジンルール実装済み
nm_confirmationConfidence名前一致の確信度連絡先、写真埋め込みモデル実装済み
nm_creationDate作成日カレンダー、提案コピー実装済み
nm_dates日付カレンダー、提案コピー実装済み
nm_documentIDドキュメントID—未確立メカニズムが見つからず
nm_dynamicCategory読んだり書いたりした内容からスコアリングされたトピックパーソナライゼーションポートレートスコアリングモデルメカニズムが見つからず
nm_emailFrom送信元メール注文メールコピー実装済み
nm_emailIdentifierメール識別子注文メール結合実装済み
nm_emailReplyTo返信先メール注文メールコピー実装済み
nm_emailTo宛先メール注文メールコピーメカニズムが見つからず
nm_emailTypeメールタイプ注文メールコピー実装済み
nm_entityAliasRelationship1人の人物に対する2つの名前を結合するリンク連絡先、写真埋め込みモデル実装済み
nm_exactVersion正確なバージョンインストール済みアプリコピーメカニズムが見つからず
nm_extensionHostId拡張機能ホストIDインストール済みアプリコピーメカニズムが見つからず
nm_familyMemberType家族メンバータイプファミリー共有コピー実装済み
nm_fileファイルインストール済みアプリコピーメカニズムが見つからず
nm_flightNumberフライト番号ウォレットパス、カレンダーコピー実装済み
nm_handleIdentifierハンドル識別子メッセージ、メール結合実装済み
nm_handles人物が使用する電話番号とメールアドレス連絡先コピー実装されている可能性あり(未検証)
nm_hasAdministrator管理者を持つHomeKitコピーメカニズムが見つからず
nm_hasCalendarカレンダーを持つカレンダー、提案コピーメカニズムが見つからず
nm_hasConfidenceソースごとの信頼度ウェイトダウンロード可能なAppleアセットApple出荷実装済み
nm_hasDate日付を持つカレンダー、提案コピー実装済み
nm_hasDomain述語が適用されるクラスオントロジー自体Apple出荷メカニズムが見つからず
nm_hasEmailメールを持つ注文メールコピー実装済み
nm_hasExtractionTags抽出タグを持つ取り込みレーンルールメカニズムが見つからず
nm_hasFavoriteSportsTeamお気に入りのスポーツチームを持つアプリ使用状況、Apple Musicコピーメカニズムが見つからず
nm_hasFieldフィールドを持つ—未確立実装済み
nm_hasLocalizedNameローカライズ名を持つAppleワールドナレッジApple出荷実装済み
nm_hasMerchant販売業者を持つウォレット、注文メールコピー実装済み
nm_hasPayment支払いを持つウォレット、注文メールコピー実装済み
nm_hasPerson人物を持つ注文メールコピー実装済み
nm_hasProfileImageプロファイル画像を持つ連絡先コピー実装済み
nm_hasRange述語が適用されるクラスオントロジー自体Apple出荷実装済み
nm_hasSender送信者を持つ注文メールコピー実装されている可能性あり(未検証)
nm_hasShipmentFullFillment出荷完了情報を持つウォレット、注文メールコピー実装済み
nm_hasShippingInfo配送情報を持つウォレット、注文メールコピーメカニズムが見つからず
nm_hasSoftwareソフトウェアを持つインストール済みアプリコピー実装済み
nm_hasSong曲を持つApple Music、アプリ使用状況コピー実装済み
nm_hasSourceソースを持つカレンダー、提案コピーメカニズムが見つからず
nm_hasTopic読んだり書いたりした内容からスコアリングされたトピックパーソナライゼーションポートレートスコアリングモデル実装されている可能性あり(未検証)
nm_hasTransaction取引を持つウォレット、注文メールコピー実装済み
nm_hasVisualIdentifier人物の顔クラスター写真の顔顔クラスタリング実装済み
nm_homeTeamホームチームApple Music、アプリ使用状況コピーメカニズムが見つからず
nm_iataCodeIATAコードウォレットパス、カレンダーコピー実装済み
nm_image_bytes画像バイト写真、連絡先コピー実装済み
nm_imputedAnniversary推定記念日連絡先、行動不明なモデル実装済み
nm_imputedBirthday入力された誕生日ではなく、システムが実際に読み取る誕生日写真の年齢推定(候補)不明なモデル実装済み
nm_imputedCreationDate入力または正規化されたタイムスタンプカレンダー、提案ルール実装済み
nm_imputedEndTime入力または正規化されたタイムスタンプカレンダー、提案ルール実装済み
nm_imputedInferredBirthday入力された誕生日ではなく、システムが実際に読み取る誕生日写真の年齢推定(候補)不明なモデル実装済み
nm_imputedLastUpdated入力または正規化されたタイムスタンプカレンダー、提案ルール実装済み
nm_imputedNonGregorianBirthday推定非グレゴリオ暦誕生日連絡先、行動不明なモデル実装済み
nm_imputedOccurrenceDate入力または正規化されたタイムスタンプカレンダー、提案ルール実装済み
nm_imputedStartTime入力または正規化されたタイムスタンプカレンダー、提案ルール実装済み
nm_inferenceFeedbackID機械による主張をマークするハンドル親族分類子XGBoost実装済み
nm_inferredBirthday入力された誕生日ではなく、システムが実際に読み取る誕生日写真の年齢推定(候補)不明なモデル実装済み
nm_inferredDeviceUser宣言されたのではなく推論された所有者行動履歴不明なモデル実装済み
nm_inferredSemanticLabel場所の用途(例:自宅、ジム)位置履歴不明なモデル実装済み
nm_intentPersonIdアプリが参照した人物アプリ提供結合実装済み
nm_isAllDay終日カレンダー、提案コピー実装済み
nm_isCurrentUserこの人物は電話の所有者である連絡先「自分」カードルール実装済み
nm_isDetached切り離されているカレンダー、提案コピーメカニズムが見つからず
nm_isFavoriteお気に入り連絡先コピー実装済み
nm_isStarting開始中カレンダー、提案コピーメカニズムが見つからず
nm_isSubscribed購読ステータスカレンダー、提案コピーメカニズムが見つからず
nm_launchReason起動理由アプリ使用状況、スクリーンタイムコピーメカニズムが見つからず
nm_launchType起動タイプアプリ使用状況、スクリーンタイムコピーメカニズムが見つからず
nm_league_nameリーグ名Apple Music、アプリ使用状況コピー実装済み
nm_listening_confidence関係に対する言語ごとの能力—未確立実装されている可能性あり(未検証)
nm_localeIdentifierロケール識別子システム設定コピー実装済み
nm_mappedTopic読んだり書いたりした内容からスコアリングされたトピックパーソナライゼーションポートレートスコアリングモデルメカニズムが見つからず
nm_merchantName販売業者名ウォレット、注文メールコピー実装済み
nm_naturalLanguageEventTypeIdentifierテキストから抽出されたイベントタイプメール、メッセージ、アプリコンテンツルールメカニズムが見つからず
nm_nonGregorianBirthday非グレゴリオ暦誕生日連絡先コピー実装済み
nm_occurrenceDate発生日カレンダー、提案コピー実装済み
nm_orderContentType注文コンテンツタイプウォレット、注文メールコピー実装済み
nm_orderNumber注文番号ウォレット、注文メールコピー実装済み
nm_organizationIdentifier組織識別子連絡先、ウォレット結合実装済み
nm_parentBundleId親バンドルIDインストール済みアプリコピーメカニズムが見つからず
nm_paymentIdentifier支払い識別子ウォレット結合実装済み
nm_paymentMethodIsApplePay支払い方法がApple Payであるウォレット、注文メールコピー実装済み
nm_personIdentifier関係が指す人物関係の反対側結合実装済み
nm_personType写真が検出したものの種類写真ルール実装済み
nm_phoneticFamilyName音訳姓連絡先コピー実装済み
nm_phoneticFirstName音訳名連絡先コピー実装済み
nm_phoneticMiddleName音訳ミドルネーム連絡先コピー実装済み
nm_phoneticName音訳名連絡先コピー実装済み
nm_photosDetectionType写真が検出したものの種類写真ルール実装済み
nm_poiType場所の種類マップ、位置履歴コピーメカニズムが見つからず
nm_reading_confidence関係に対する言語ごとの能力—未確立実装されている可能性あり(未検証)
nm_relationship人物は他の人物と関連/提携している連絡先、Health、ファミリー共有、スクリーンタイム、写真XGBoost + ルール + コピー実装済み
nm_relationshipLabel関係を表す単語(例:姉妹、同僚)連絡先、Health、ファミリー共有XGBoost + コピー実装済み
nm_roleロール—未確立メカニズムが見つからず
nm_screenTimeSegmentPersonスクリーンタイムセグメント人物スクリーンタイムコピーメカニズムが見つからず
nm_senderDomain送信者ドメイン注文メールコピー実装済み
nm_senderIdentifier送信者識別子メッセージ、メール結合実装されている可能性あり(未検証)
nm_sgEventTypeアプリやメールから推論されたイベントタイプ提案ルール実装済み
nm_shipmentFullFillmentIdentifier出荷完了識別子ウォレット結合実装済み
nm_shippingMethod配送方法ウォレット、注文メールコピー実装済み
nm_shippingStatus配送ステータスウォレット、注文メールコピー実装済み
nm_shortVersion短縮バージョンインストール済みアプリコピーメカニズムが見つからず
nm_signalLabelシグナルラベル写真ルール実装済み
nm_softwareIdentifierソフトウェア識別子インストール済みアプリ結合実装されている可能性あり(未検証)
nm_songIdentifier曲識別子Apple Musicコピーメカニズムが見つからず
nm_sourceTypeソースタイプ取り込みレーンルール実装済み
nm_subject件名注文メールコピー実装済み
nm_suggestedName名前のない顔に推測された名前写真の顔 + メッセージテキストローカルLLM実装済み
nm_suggestedRelationshipConfidence顔と電話の所有者との関係の推測写真の顔 + メッセージテキストローカルLLM実装済み
nm_suggestedRelationshipToDeviceOwner顔と電話の所有者との関係の推測写真の顔 + メッセージテキストローカルLLM実装済み
nm_teamIdentifierチーム識別子インストール済みアプリ結合実装済み
nm_toDisplayNameメール受信者の表示名メールコピー実装済み
nm_toEmailAddress宛先メールアドレスメールコピー実装済み
nm_topicIdentifierトピック識別子パーソナライゼーションポートレート結合実装されている可能性あり(未検証)
nm_totalAmount合計金額ウォレット、注文メールコピー実装済み
nm_totalNotifications合計通知数アプリ使用状況、スクリーンタイムコピーメカニズムが見つからず
nm_totalPickups合計ピックアップ数アプリ使用状況、スクリーンタイムコピーメカニズムが見つからず
nm_trackingNumber追跡番号ウォレット、注文メールコピー実装済み
nm_transactionIdentifier取引識別子ウォレット結合実装済み
nm_transactionSource取引ソースウォレット、注文メールコピー実装済み
nm_transactionStatus取引ステータスウォレット、注文メールコピー実装済み
nm_transactionType取引タイプウォレット、注文メールコピー実装済み
nm_uncertainty不確実性位置履歴コピーメカニズムが見つからず
nm_unknownHandle不明なハンドルメッセージ、メール結合実装済み
nm_unlocalizedRelationshipLabel関係を表す単語(例:姉妹、同僚)連絡先、Health、ファミリー共有XGBoost + コピー実装済み
nm_virtualConferenceURLバーチャル会議URLカレンダー、提案コピー実装済み
nm_visualIdentifier人物の顔クラスター写真の顔顔クラスタリング実装済み
nm_writing_confidence関係に対する言語ごとの能力—未確立実装されている可能性あり(未検証)

出荷されたオントロジーが宣言するすべての述語。最初の列はgraph.dbが格納するIDです。最後の列は値がどのように取得されるかを示します:ソースからのコピー、別のレコードからの結合、ルールによる派生、Appleが出荷するワールドナレッジ、またはモデル(太字)によって生成されたものです。7つは確立できませんでした。テーブルは推測するのではなく、そのように示しています。IDとラベルはAppleのもので、平易な言葉での読み取りは私たちが行いました。

推論方法

実行されるメソッドは多岐にわたります。語彙のほとんどは、単純なコピー(連絡先からの名前、カレンダーからの参加者)とコピーに対するルールによって埋められます。興味深い行はモデルから来ます:144個の主に行動特徴から、誰が家族であるかを決定する2つのXGBoost分類器。2つの埋め込みモデルは、システムが2つのレコードが同じ人物であると判断するために使用する10個のシグナルのうちの1つです。写真に一緒に写っている人物、旅行、休暇に基づいて、パートナー、親、子供、同僚、友人などをスコアリングする写真内の12個のアナライザー。そして、AppleのオンデバイスLLMがメッセージを読み取り、顔に名前と関係を付けます(Apple Intelligenceがアクティブな場合)。

どのメソッドであっても、すべての行はconfidence(信頼度)とともにグラフに格納されます。これは0から1の間の数値です。

家族スコアは別々に保存されます。2つのCoreMLモデルがオントロジーの隣に出荷されます:EntityTagging_Family.mlmodelcとEntityTagging_FamilyAndFriends.mlmodelc。これらは、144個の特徴を取り込み、クラスとそれに対する確率を返すバイナリXGBoost分類器です。これらのスコアはトリプルストアには格納されず、独自のテーブル(entityTagging.db、人物ごとに1行、familyからmother、coworkerまでの17個の関係列、毎日再計算されます)に格納されます。これは、以下のiKnowスコアカードが読み取るものです。これらの17列のうち、2列にのみ出荷済みのモデルがあります。他の15列を何が埋め、これらの確率のいずれかがグラフの信頼度になるかについては、追跡できませんでした。

特徴名は、各モデルのmetadata.jsonにプレーンテキストで記載されています。これらは、このシステムが何であるかについての、私がどこでも見つけた中で最も明確な声明です。すべて144個の特徴:

metadata.json の144個の特徴

#特徴グループ
0isVIPアイデンティティ
1sharesWorkAddressアイデンティティ
2hasSamePrivateEmailDomainアイデンティティ
3hasBirthdayアイデンティティ
4hasSameEmailDomainsアイデンティティ
5sameLastNameアイデンティティ
6hasSamePublicEmailDomainアイデンティティ
7photosPersonAgeアイデンティティ
8isFavoriteアイデンティティ
9hasSameEduEmailDomainアイデンティティ
10hasSameWorkEmailDomainアイデンティティ
11hasNicknameアイデンティティ
12allowListedNameMatchアイデンティティ
13ageDifferenceCategoryアイデンティティ
14nameContainsEmojiアイデンティティ
15nicknameContainsEmojiアイデンティティ
16sharesHomeAddressアイデンティティ
17allowListedNicknameMatchアイデンティティ
18photosAgeDifferenceCategoryアイデンティティ
19iCloudFamilyMemberアイデンティティ
20personOverallPopularityコミュニケーション
21personLongTermPopularityコミュニケーション
22personPopularityGivenMondayコミュニケーション
23personPopularityGivenTuesdayコミュニケーション
24personPopularityGivenWednesdayコミュニケーション
25personPopularityGivenThursdayコミュニケーション
26personPopularityGivenFridayコミュニケーション
27personPopularityGivenSaturdayコミュニケーション
28personPopularityGivenSundayコミュニケーション
29mondayPopularityGivenPersonコミュニケーション
30tuesdayPopularityGivenPersonコミュニケーション
31wednesdayPopularityGivenPersonコミュニケーション
32thursdayPopularityGivenPersonコミュニケーション
33fridayPopularityGivenPersonコミュニケーション
34saturdayPopularityGivenPersonコミュニケーション
35sundayPopularityGivenPersonコミュニケーション
36personPosteriorProbabilityGivenMondayコミュニケーション
37personPosteriorProbabilityGivenTuesdayコミュニケーション
38personPosteriorProbabilityGivenWednesdayコミュニケーション
39personPosteriorProbabilityGivenThursdayコミュニケーション
40personPosteriorProbabilityGivenFridayコミュニケーション
41personPosteriorProbabilityGivenSaturdayコミュニケーション
42personPosteriorProbabilityGivenSundayコミュニケーション
43personPopularityGivenMorningコミュニケーション
44personPopularityGivenAfternoonコミュニケーション
45personPopularityGivenEveningコミュニケーション
46personPopularityGivenNightコミュニケーション
47personPopularityGivenHomeコミュニケーション
48personPopularityGivenWorkコミュニケーション
49homePopularityGivenPersonコミュニケーション
50workPopularityGivenPersonコミュニケーション
51personPosteriorProbabilityGivenHomeコミュニケーション
52personPosteriorProbabilityGivenWorkコミュニケーション
53personPopularityGivenWeekdayコミュニケーション
54personPopularityGivenWeekendコミュニケーション
55weekdayPopularityGivenPersonコミュニケーション
56weekendPopularityGivenPersonコミュニケーション
57top1PersonInteractionMechanismコミュニケーション
58top2PersonInteractionMechanismコミュニケーション
59top3PersonInteractionMechanismコミュニケーション
60photosPersonOverallPopularity写真
61photosPersonLongTermPopularity写真
62photosPersonPopularityGivenMonday写真
63mondayPopularityGivenPhotosPerson写真
64photosPersonPosteriorProbabilityGivenMonday写真
65photosPersonPopularityGivenTuesday写真
66tuesdayPopularityGivenPhotosPerson写真
67photosPersonPosteriorProbabilityGivenTuesday写真
68photosPersonPopularityGivenWednesday写真
69wednesdayPopularityGivenPhotosPerson写真
70photosPersonPosteriorProbabilityGivenWednesday写真
71photosPersonPopularityGivenThursday写真
72thursdayPopularityGivenPhotosPerson写真
73photosPersonPosteriorProbabilityGivenThursday写真
74photosPersonPopularityGivenFriday写真
75fridayPopularityGivenPhotosPerson写真
76photosPersonPosteriorProbabilityGivenFriday写真
77photosPersonPopularityGivenSaturday写真
78saturdayPopularityGivenPhotosPerson写真
79photosPersonPosteriorProbabilityGivenSaturday写真
80photosPersonPopularityGivenSunday写真
81sundayPopularityGivenPhotosPerson写真
82photosPersonPosteriorProbabilityGivenSunday写真
83photosPersonPopularityGivenMorning写真
84morningPopularityGivenPhotosPerson写真
85photosPersonPosteriorProbabilityGivenMorning写真
86photosPersonPopularityGivenAfternoon写真
87afternoonPopularityGivenPhotosPerson写真
88photosPersonPosteriorProbabilityGivenAfternoon写真
89photosPersonPopularityGivenEvening写真
90eveningPopularityGivenPhotosPerson写真
91photosPersonPosteriorProbabilityGivenEvening写真
92photosPersonPopularityGivenNight写真
93nightPopularityGivenPhotosPerson写真
94photosPersonPosteriorProbabilityGivenNight写真
95photosPersonPosteriorProbabilityGivenMondayMorning写真
96photosPersonPosteriorProbabilityGivenMondayAfternoon写真
97photosPersonPosteriorProbabilityGivenMondayEvening写真
98photosPersonPosteriorProbabilityGivenMondayNight写真
99photosPersonPosteriorProbabilityGivenTuesdayMorning写真
100photosPersonPosteriorProbabilityGivenTuesdayAfternoon写真
101photosPersonPosteriorProbabilityGivenTuesdayEvening写真
102photosPersonPosteriorProbabilityGivenTuesdayNight写真
103photosPersonPosteriorProbabilityGivenWednesdayMorning写真
104photosPersonPosteriorProbabilityGivenWednesdayAfternoon写真
105photosPersonPosteriorProbabilityGivenWednesdayEvening写真
106photosPersonPosteriorProbabilityGivenWednesdayNight写真
107photosPersonPosteriorProbabilityGivenThursdayMorning写真
108photosPersonPosteriorProbabilityGivenThursdayAfternoon写真
109photosPersonPosteriorProbabilityGivenThursdayEvening写真
110photosPersonPosteriorProbabilityGivenThursdayNight写真
111photosPersonPosteriorProbabilityGivenFridayMorning写真
112photosPersonPosteriorProbabilityGivenFridayAfternoon写真
113photosPersonPosteriorProbabilityGivenFridayEvening写真
114photosPersonPosteriorProbabilityGivenFridayNight写真
115photosPersonPosteriorProbabilityGivenSaturdayMorning写真
116photosPersonPosteriorProbabilityGivenSaturdayAfternoon写真
117photosPersonPosteriorProbabilityGivenSaturdayEvening写真
118photosPersonPosteriorProbabilityGivenSaturdayNight写真
119photosPersonPosteriorProbabilityGivenSundayMorning写真
120photosPersonPosteriorProbabilityGivenSundayAfternoon写真
121photosPersonPosteriorProbabilityGivenSundayEvening写真
122photosPersonPosteriorProbabilityGivenSundayNight写真
123photosPersonPopularityGivenHome写真
124homePopularityGivenPhotosPerson写真
125photosPersonPosteriorProbabilityGivenHome写真
126photosPersonPopularityGivenWork写真
127workPopularityGivenPhotosPerson写真
128photosPersonPosteriorProbabilityGivenWork写真
129photosPersonPopularityGivenWeekday写真
130weekdayPopularityGivenPhotosPerson写真
131photosPersonPosteriorProbabilityGivenWeekday写真
132photosPersonPopularityGivenWeekend写真
133weekendPopularityGivenPhotosPerson写真
134photosPersonPosteriorProbabilityGivenWeekend写真
135photosPersonPosteriorProbabilityGivenWeekdayMorning写真
136photosPersonPosteriorProbabilityGivenWeekdayAfternoon写真
137photosPersonPosteriorProbabilityGivenWeekdayEvening写真
138photosPersonPosteriorProbabilityGivenWeekdayNight写真
139photosPersonPosteriorProbabilityGivenWeekendMorning写真
140photosPersonPosteriorProbabilityGivenWeekendAfternoon写真
141photosPersonPosteriorProbabilityGivenWeekendEvening写真
142photosPersonPosteriorProbabilityGivenWeekendNight写真
143hasWeekendWeekdayPhotosFeatures写真

EntityTagging_Family.mlmodelcが出力するすべての入力は、metadata.jsonが宣言する順序で表示されます。EntityTagging_FamilyAndFriendsは同じ順序で同じ144個の特徴を読み込み、すべて数値です。グループはスキーマ自身の3つのブロックです:人物に関する20個、コミュニケーションに関する40個、写真に関する84個。20個のうち2つ(photosPersonAgeとphotosAgeDifferenceCategory)は写真からも読み取られます。名前はAppleのもので、グループラベルは私たちが行いました。

アイデンティティグループは整然とした物語です:同じ姓、同じ自宅住所、iCloudファミリーフラグ。そしてそれは小さな半分です。モデルの大部分は他の2つです:誰とメッセージをやり取りするか、誰があなたの写真に写っているか。曜日と時刻、そしてそれらの両方で条件付けられます。photosPersonPosteriorProbabilityGivenSaturdayNightは、出荷済みの分類器における出荷済みの特徴名であり、その仕事は誰かが家族であるかどうかを決定することです。

何かを削除しても、すべてが削除されるわけではありません。

ライブグラフは忘れます。連絡先を削除しても、何も再推論されません。次の実行でテーブル全体が置き換えられます。

しかし、ストアはライブテーブルの隣に2番目のテーブル、expired_stable_graphを保持しています。取り消された行はそこに移動し、信頼度とソースを保持します。それがどれくらいの期間そこにとどまるかは、私たちが確認できた限りでは明らかではありません。約48時間後に削除されるようです(ストアは削除ウォーターマークを保持しており、テーブルの最近のスナップショットはそれより古くはありませんでした)。しかし、私のMacでは、非常に古いレコードをまだ読み取ることができました。

そして、証拠がなくても結論は生き残ります。私のMacでは、スコアカードは前日にグラフが削除した2人の人物をまだスコアリングしていました。どちらもカレンダーの招待状からのみ知られていました。さて、パートナーに、あなたが削除した可能性のある連絡先と、あなたへの「近さ」を発見されたくないのであれば、expired_stable_graphからもいくつかの行を削除した方が良いでしょう(残念ながら、手動で行う必要があります)。しかし、あなたは何も隠すことはないでしょう(冗談です)。

独自のデータを見る

これのどれかに機密性がありますか?それはあなたに任せます。「機密性」は人によって意味が異なりますが(ここには plenty of choices があると思います)、重要なのは、これのどれも孤立して存在しないということです。それは結合され、相関されるように構築されています。ノードはリンクされるためにそこにあります:

パーソナルナレッジグラフ(合成データ)

私・このMacの所有者・1a グループ(ストアがエンティティとして保持)1家族(スコアリング済み)・7私に近いスコア・9雇用主・4グループチャット・6スコア付けされていないが知られている・61グループチャットへの所属・両方が参加したカレンダーイベント・雇用ステートメント・ストア内のグループによって命名・カットオフ以上の近さスコア・誰も入力しなかった

この見方

各ノードはストアの行であり、その下のレコードはストアが保持しているものです。サイズは、それを名前として持つ行の数です。形状はそれがどのような種類のモノであるかです。アクセントのノードはあなたであり、リングはストアが家族としてスコアリングする4つを示します。破線は、誰も入力しなかった結論です。

ノードをクリックするか、Tabキーでグラフに到達し、矢印キーで移動してEnterキーを押すと、そのレコードがこれらのノートを置き換えます。

ノードをクリックすると、グラフの下のレコードはストアがそれについて保持しているもの(行であり、それらの要約ではありません)になります。61個の薄いノードは予想外の部分です:ストアが知っていて、配置していない人々。彼らは一度あなたに書き込んだか、誰かの招待状にいたためにそこにいます。

しかし、最も重要な点は、これはあなた(Macを使用している人物)だけのことではないということです。あなたの周りの人々もそこにいます:あなたの家族、友人、「誰でも」あなたがデバイスを通して話したことのある人。彼らの誰も同意を求められておらず、ストアはそれらをあなたと、共有されたイベントやグループを通じて互いにリンクします。関係は、それが推論された行よりも1レベル上のインテリジェンスです。例えば、私のストア全体を相関させることで、私(まあ、私のために働くLLM)は以下のことを簡単に推論できました:

  • 世帯に子供がいること、そしてそのおおよその年齢。 家族メンバータイプと家族サークルが世帯を提供します。スコアカードの子供と息子/娘の列が、その中での子供の位置を示します。その隣には、ファミリー共有からコピーされた年齢があります。ストア内の生年月日は、システム自身の言葉であるimputed(推定)を持つことができますが、システムがそれを意味するものは私たちには不明です。
  • 子供が通っている保育園、およびそこに連絡するための両方の電話番号。 連絡先カードからコピーされました。ないものに注意してください:カレンダーには学校への送迎イベントがないため、ストアは機関とその電話番号を保持していますが、子供がドロップオフされる時間は保持していません。それでも、電話がすでに信頼している番号から親に電話するには十分です。
  • 家族がいつ、どの日に、どの時間帯にどこにいるか。 1つのカレンダーイベント、場所、2つの保存された時間枠、および家族の名前を付けたタイトル(参加者行が空の場合でも、ゲストリストが文字列に含まれています)。
  • 家族の誰がそこにいるか。 スコアカードは家族としてスコアリングされた人物を名前付けし、世帯エンティティがそれらを一緒に保持し、ファミリー共有サークルはそれらのうちの誰が同じ家族グループにいるかを示します。
  • そして、同じファイルで、マシンに何がインストールされているか。 パスワードマネージャーまで。

このプライバシーの単一障害点が間違った手に渡った場合、これがどのように武器化されるかは容易に想像できます。私たちはその(仮説的な)シナリオを次の書き込みで展開します。良い点は、この知識はあなたのマシン上にローカルに留まるように設計されており、フルディスクアクセス権限によって保護されていることです。ただし、他のサービスによって消費される可能性があります(ただし、何がどのようにアクセス可能かは私たちには完全には明らかではありません)。

現実は、このストアに含まれる情報の量は本当にすごいということです。デーモンが何を、どのように推論するかを掘り下げるたびに、いくつかの新しい調査線が開かれます。あなたやあなたの家族について誰にも知られたくないことは、どこかに含まれている可能性があり、私たちはあなたがそれがあるかどうかを知る権利があると思います。代わりに得られるのは、文書化がなく、ストアを検査する方法がなく、誤った推論を修正する一般的な方法がないことです。

そこで、私たちは2つのツールを提供します。1つ目はiKnowで、Macから何も離れることなく、独自のグラフをブラウジングするためのローカルダッシュボードです(次のセクションで詳しく説明します)。2つ目は、さらに深く掘り下げるためのものです。iKnowリポジトリは、あなた自身の剤のためのマニュアルを出荷しており、データベースがどこにあるか、そしてそれらをどのように読み取るかを伝えているため、あなたが探しているものを探しに行くことができます。(クラウドモデルではなく、自己ホスト型モデルを指してください。)

iKnow

私たちはiKnowを、Python標準ライブラリで実装されたWebダッシュボードとして設計しました。npmやCDNは使用していません。

データベースが保存されているMac上で直接実行することを意図しています。実行されると、127.0.0.1にバインドされ、ファイルシステム内のデータベースを(必要な権限が付与されている場合)見つけ、読み取り専用で開き、情報をオンザフライで収集し、ダッシュボードに表示します。何も書き込まれず、何もログに記録されません。値はストアからループバックを経由してブラウザタブに入ります。必要であればエアギャップで実行することもできます。

macOS 26.6.2および26.7.1でテスト済みであり、27.0.1では部分的にテスト済みです。

iKnowには数十ページあります。

ここから始める

あなたのMacが知っていること。 ランディングページ:あなたの周りの人々のグラフ。その下に、写真の中の顔、あなたの家族、あなたのハンドル、あなたの通信相手、そしてあなたの次の予定が表示されます。

そのグラフは、記事の冒頭のグラフと同じ世帯ですが、このツール独自のレンダラーによって描画されています:

ランディングページ

[画像: 約78個のラベル付きノードが1つの白いノード「(Me)」を中心に配置されたフォース指向グラフが表示されているダークダッシュボード。カラーキーには「あなた」「エンティティとしてストアに保持されているグループ」「家族(スコアリング済み)」「あなたに近いスコア」「雇用主」「グループチャット」「スコア付けされていないが知られている」と表示されています。]

最初の画面。白いノード「(Me)」はMacの所有者です。残りは、ストアがそれに関連付けている人々、雇用主、グループチャットであり、それがそれぞれ何であるかによって色分けされています。オレンジ色はスコアリングされた家族です。青色はカットオフ以上の近さスコアです。エッジの周りの薄い名前は、ストアが知っていて配置していない人々です。

ここにあるものは何も要約されていません。各ノードは行であり、それをクリックすると行が表示されます(これは、記事の冒頭のグラフも同様です)。

グラフは概要ですが、概要は簡単に無視できます。その背後にあるページはそうではありません。

ソーシャルグラフ。 ストアが共有会議、グループチャット、近さスコアを通じて誰と誰をリンクしているか。各円は、メンバーとそれらを裏付ける証拠に展開されます。

結論

親族スコアカード。 デーモンによって推論された家族の結合。

ランディングページのカードは、名前が付けられた人物に限定されています:

スコアカード上の家族

[画像: 「家族、スコアカードによる」という見出しのダッシュボードカード。サブタイトルは「61人が17の関係列でスコアリングされました。誰もそれを入力していません」。6人の人物がそれぞれ1つのラベルと1つのスコアでリストされています:Mara Quill、母、0.960;Tomas Quill、父、0.960;Maya Smith、娘、0.960;Nils Quill、兄、0.500;Leo Smith、息子、0.500;Ines Quill、妹、0.500。見出し「世帯、シグナルの合意数による」の下には、Mara Quill 8/9、Tomas QuillとPriya Sandoval 7/9、Maya Smith 6/9とスコア付けされ、最後の1つはQuill世帯、4メンバー、信頼度0.880と名前付けられています。]

6人の人物、6つの関係、そして「誰もそれを入力していません」というサブタイトル。これはスコアに当てはまります。それらが計算される元のデータの一部は、あなたが入力したものです(連絡先カード上の関係、緊急連絡先、ファミリー共有)。母親、父親、娘は0.960で、これらの列の最高値です。兄弟、息子、姉妹は0.500です。

その下にあるのは、私が最も議論しにくいと感じる部分です。9つの別々のチェック(パートナー列、複合スコア、世帯グループエンティティ、ファミリー共有トークン、iCloudファミリーフラグ、トップ12ヶ月の連絡先、写真の顔クラスター、連絡先レコード、到達可能なハンドル)と、カードはそれらのうちいくつが同じ人物に一致するかを数えます。母親には9つ中8つ。父親には7つ。パートナーのPriya Sandovalには7つ。パートナーは上記のリストにはありません。iKnowは、関係が別の列にロールアップする(motherとfatherがparentにロールアップする)関係をリストしますが、partnerは何もロールアップしません。それでも結合はパートナーを見つけました。

カードは1つのテーブルの要約であり、iKnowはそのテーブル全体も描画します:

すべての人物、すべての列

[画像: 「すべての人物、すべての列」という見出しのヒートマップ。17の関係列と省略されたヘッダーに対して30人の人物。上位7行は家族であり、それぞれ自身の関係(母、父、娘、兄、息子、妹、パートナー)、それがロールアップする列、そして家族と家族&友人列に点灯しています。パートナーの行は同僚にも点灯しています。その下には、数行が友人または同僚に点灯しており、各行が家族と家族&友人列に点灯しており、ほとんどが同じ2つのシェードで、卒業生と不明の列は上から下まで空です。]

familyAndFriendsでソートされています。これは最も広範なスコアです。上位7行はそれぞれ自身の関係とそれがロールアップする列(motherとfatherがparentに、sisterとbrotherがsiblingに、sonとdaughterがchildに)に点灯し、パートナーは同僚でもあります。さらに下には友人やオフィスの残りの人々がいます。その下では、ほとんどすべての人が同じ2つのセルです:familyとfamilyAndFriendsに繰り返される値。これは分類器が何も言うことがないときに書き込むものです。2つの列(alumniとunknown)はまったく使用されません。

これらのショットのスコアは架空のものであり、実際のものよりも寛大です。私たちが分解したMacでは、motherだけがトップに達しました。スコアリングされた少数の他の人々は、すべての家族ラベルに同時に小さな投票を受け取りました。父親と兄弟は同様でした。フィクスチャが保持しているのはテーブルの粒度です。それは常に少数の値(0.125、0.25、0.5、0.96)しか書き込まず、ほとんどの人は1つのデフォルト値を持っています。

顔インデックス。 あなたの写真に写っているすべての人の顔クラスター。

その共起グラフは、単一の連絡先、メッセージ、またはカレンダーエントリを使用しません。それはあなたの写真のみから構築されます:

顔の共起グラフ

[画像: 「顔の共起グラフ」という見出しのダッシュボードカード。47個の円があり、それぞれにぼかされた顔が描かれています。2つの顔が同じ写真に写っている場合にリンクされ、名前の代わりにクラスター識別子の6文字の断片でラベル付けされています。1つのクラスターが中央にあり、ほとんどすべてにリンクされています。左側にタイトな結び目、上に緩いグループ、右下に3番目のグループがあり、結び目とはリンクを共有していません。グラフの上にあるコントロールには「ノード上の写真 — ここに描画されている47個すべてに1つあります」と表示されています。]

2つの顔は同じ写真に写っているときにリンクされ、それが唯一の入力です。1,643枚の写真(それぞれに複数の顔が含まれる)にわたる8,904個のクラスター化された顔。ラベルは各クラスターのローカル識別子の断片です。なぜなら、名前を表示するものがないからです。所有者がハブです。左側の結び目は家族、右下のグループは仕事であり、2つは決して同じフレームを共有しません。

各ノードはクラスターのキーフェイスを着用しており、写真ライブラリから読み取られ、iKnow独自の画面共有スイッチによってぼかされています。ぼかしの下には誰もいません。フィクスチャには写真ライブラリがないため、すべての顔はそれのために描かれた合成ポートレートです。

これはこのページの正直なポイントです。グラフは顔クラスターを指していますが、ほとんど名前を付けることができません(29個中3個がフィクスチャにあります)。それは必要ありません。誰が誰の隣に立っているか、どれくらいの頻度か、そしてどのグループが決して会わないかはすべて、単一の名前なしでそこにあり、世帯を知っている人は誰でもすぐに名前を戻すことができます。

推測または提供。 あなたが入力したものと、Macが自分で計算したものと同じテーブルに存在します。信頼度スコアだけがそれらを分離します。

記録されたもの

1年間の連絡。 誰といつ話したか、メッセージテキストは一言もありません(そして、あなたが眠っているかどうかを伝えるのにテキストは必要ありません)。

ランディングページにあるカードは、最も反響を呼ぶものであり、推論は一切含まれていません。

1年間の連絡先

[画像: 「1年間の連絡先」という見出しのダッシュボードカード。サブタイトルは「365日間で18,432回のやり取り、146人の通信相手(97人名前あり)、5つのアプリ — テキストは一言もなし」。8人の人物がやり取り数、送受信の内訳、通話数、最後の連絡日とともにリストされ、最後のセクションは見出し「睡眠と読める時間」となっています。]

1年間の連絡先、人物ごと、送受信の内訳、通話数、最後の連絡日、5つのメッセージングアプリにわたって — そして、サブタイトルが言うように、メッセージテキストは一言もありません。これらはすべてメタデータであり、それだけで十分です。

最後の行は2回読むべきです:睡眠と読める時間。

iKnowもその行を描画します。同じログを1週間に折りたたんだものです:

平日と時間帯

[画像: 2つのダッシュボードカード。最初のカードは「平日と時間帯 — この人物が連絡可能な時間、そして彼らが眠っている時間」という見出しで、7つの平日行と24時間列のヒートマップです。毎日01時から07時まで薄い帯があり、土曜日と日曜日の朝は遅くまで続き、平日の労働時間は濃いプラトー、20時から22時の間は最も濃いセルです。2番目のカードは「ログが静かになる時間 — 誰も書き込まなかった睡眠スケジュール」という見出しで、「均等に分散された25%未満の時間が、6時間、01:00から07:00(ヨーロッパ/ロンドン)の連続した実行を形成します。18.4Kイベントのうち402件(2%)がこれに含まれます」と表示されています。]

各セルは、1年間に1つの平日1時間の間に発生したメッセージと通話を数えます。労働週、夕方、週末の遅い朝も含まれています。そして毎晩、1時から7時までの薄い帯も含まれています。誰も睡眠スケジュールを保存しませんでした。最も静かな6時間の区間は、タイムスタンプから無料で得られます。

これがこのストアの一般的な形状です。ほとんど何も収集する必要はありませんでした。なぜなら、そのほとんどすべてが何かの結果だからです。

カレンダー。 あなたがどこにいるかを知っている唯一のレイヤー:時間、部屋、参加者、ダイヤルイン。

あなたが引き出したもの。 事実を引き出しても、それは削除されません。行は期限切れのテーブルに移動し、信頼度と出所を保持します。

機械

ストア。 ファイル自体:それがモデル化するもの、そして2つの実際の行がそれらが触れるすべてに展開されたもの。

デバイスの指紋。 インストールされているすべてのアプリがプレーンテキストで記録され、そのアプリ識別子のソルトなしSHA-256トークンが隣にあります。そのため、ページはブラウザで再計算し、一致を確認できます。

他に誰がそれを読み取るか。 グラフは最初のコピーであり、唯一のコピーではありません。このページは、それにサブスクライブしているビュー、それらが公開するデータベース、同じ事実を繰り返すテーブル、Macにペアリングされたハードウェアからのストリーム、そしてセットアップされているがまだ実行されていない機械をマッピングします。

macOS 27に関する注意。 macOS 27は2026年9月14日にリリースされました。27.0.1へのアップグレード後、グラフは連絡先、カレンダー、Siriの提案、ファミリー共有、およびアプリカタログから構築されたほとんどの行を削除し、翌日に再構築しました。iKnowの一部のページは、macOS 27ではまだ完全に機能しない場合があります。

さらに深く掘り下げましょう: