D-FINE-seg – 1つのモデルで検出、インスタンス、セマンティックセグメンテーションを実現
D-FINE-seg – detection, instance and semantic segmentation in one model (github.com)
要約
D-FINE-segは、リアルタイムの物体検出、インスタンスセグメンテーション、セマンティックセグメンテーションを単一のコードベースで実現するフレームワークです。1つの設定フラグでタスクを切り替えられ、複数のモデルサイズが用意されています。データ準備からトレーニング、エクスポート、推論までエンドツーエンドのワークフローを提供し、既存モデルと比較して高い精度とリアルタイム性を両立しています。
全文翻訳
D-FINE-seg
リアルタイム物体検出、インスタンスセグメンテーション、セマンティックセグメンテーション
クイックスタート • 使い方 • エクスポート • 推論 • ベンチマーク • ビデオチュートリアル • Colab
[画像: tests] [画像: PyPI version] [画像: arXiv] [画像: Hugging Face Model Card] [画像: License] [画像: Contact me]
D-FINE-segは、リアルタイムの物体検出、インスタンスセグメンテーション、セマンティックセグメンテーションのためのフレームワークです。1つのコードベース、1つの設定フラグ(task: detect | segment | sem_seg)、5つのモデルサイズ(N -> X)を備えています。
- エンドツーエンドのワークフロー - データセット準備 -> トレーニング(DDP, EMA, AMP, モザイク)-> エクスポート(ONNX, TensorRT, OpenVINO, CoreML)-> ベンチマーク済みのマルチバックエンド推論
- 精度 - Cityscapesセマンティックセグメンテーションをネイティブ解像度1024x2048で実行した場合、D-FINE-seg-Xは14.6 msのエンドツーエンドで84.84 mIoUを達成し、これは28モデルの中で最高値です。YOLO26-xより+1.26 mIoU高く、Mask2Former Swin-Lより+1.5 mIoU高く、レイテンシは6.4倍低く、パラメータ数は4分の1です。また、D-FINE-seg-Lは、検出とインスタンスセグメンテーションにおいて、640 CityscapesでYOLO26およびRF-DETRを上回り、TACOとVisDroneでもYOLO26を上回ります(TensorRT FP16、エンドツーエンドプロトコル)。
- ペーパー - D-FINE-seg: Object Detection and Instance Segmentation Framework with Multi-Backend Deployment
- フォークではありません:検出コアはD-FINE論文に従っており、セグメンテーションヘッド、トレーニング、エクスポート、推論はゼロから実装されています。
1フレーム、3タスク、1つの設定フラグ:
ハイライト
- インスタンスセグメンテーションヘッド(
task: segment)- D-FINEのHybridEncoder PAN出力の上に軽量なマスクヘッドを配置:ストライド8/16/32の特徴量を1/4解像度に融合し、クエリごとのマスク埋め込み(3層MLP)と共有マスク特徴量とのドット積により、インスタンスごとのマスクを生成します。 - セマンティックセグメンテーションヘッド(
task: sem_seg)- フルフレーム特徴量上で、事前学習済みのインスタンスセグメンテーションマスクフューザーを再利用し、その後、小さな畳み込みネックと1x1分類器を続けます。クエリやNMSは不要です。 - マスクアウェアトレーニング - ボックスでクロップしたBCE + Diceマスク損失(インスタンスセグメンテーション)と、CE + マルチクラスソフトDice(
ignore_index付き)(セマンティックセグメンテーション)。マスクはコントラスティブデノイジング内で教師あり学習され、HungarianマッチャーではDice + sigmoid-focalマスクコストを使用します。これらはすべてトレーニング時にのみ機能し、推論コストはゼロです。 - 各タスクの事前学習済みウェイト - COCO(プレーンおよびObjects365事前学習済み)、COCOインスタンスセグメンテーション、Cityscapesセマンティックセグメンテーションで検出済み。
- マルチチャンネル入力 - RGBだけでなく、RGB + サーマル /深度 / NIRスタック(4チャンネル
.npy)でトレーニング可能。 - 最新のトレーニングスタック - Muonオプティマイザ、DDP、EMA、モザイク+アフィン拡張、知識蒸留、OneCycle、早期停止、希少クラスサンプリング(LVISリピートファクター)、WandB、自動バッチサイズ。
- モデル以外 - ByteTrackトラッキング、SAM3自動ラベリング、Gradioデモ、INT8量子化(OpenVINO / CoreML)。
クイックスタート
インストール
pip install dfine-seg # 推論 + トレーニング
pip install 'dfine-seg[all]' # + 全てのエクスポートバックエンド、SAM3、Gradioデモ
事前学習済みウェイトは、初回使用時にHugging Faceから自動ダウンロードされます:COCOでの検出(dfine_{n,s,m,l,x}_coco.pt、およびdfine_{n,s,m,l,x}_obj2coco.pt - Objects365事前学習後、COCO)、COCOインスタンスセグメンテーション(dfine_seg_{n,s,m,l,x}_coco.pt)、Cityscapesセマンティックセグメンテーション(dfine_sem_{n,s,m,l,x}_cityscapes.pt)。
追加機能(バックエンドは大きくプラットフォーム固有です)
| インストール | 追加機能 | 用途 |
|---|---|---|
pip install dfine-seg | torch, torchvision, opencv, hydra, wandb, albumentations, … | 推論 + トレーニング |
pip install 'dfine-seg[export]' | onnx, onnxruntime, openvino, nncf, coremltools | dfine export |
pip install 'dfine-seg[trt]' | tensorrt (Linux) | TensorRTエンジン - 対象GPUでビルド |
pip install 'dfine-seg[label]' | transformers | SAM3自動ラベリング |
pip install 'dfine-seg[demo]' | gradio | Gradio UI |
pip install 'dfine-seg[all]' | 上記すべて | フルセットアップ |
2行で予測:
from dfine_seg import load_model, read_image, Visualizer
model = load_model("s") # COCO検出、ウェイトは自動ダウンロード
model = load_model("s", task="segment") # COCOインスタンスセグメンテーション
model = load_model("x", task="sem_seg") # Cityscapesセマンティックセグメンテーション
model = load_model("output/models/exp/model.pt") # 独自のチェックポイント - サイズ/タスク/クラス/入力サイズは自動検出、サポート形式: .pt | .engine | .onnx | .xml
img = read_image("path/to/image.jpg")
out = model(img)[0]
print(out["boxes"], out["scores"], [model.names[int(i)] for i in out["labels"]])
drawn = Visualizer(model)(img, out) # 注釈付きBGRコピー - ボックス、マスク、またはセマンティックセグメンテーションのオーバーレイ
load_modelは、手動で構築するのと同じラッパーを返します(dfine_seg/infer/) - ウェイトを解決し、バックエンドを選択します。追加のキーワード引数はそのまま渡されます(load_model("s", conf_thresh=0.3))。出力テンソルはモデルが実行されたデバイス上に留まり、これらのラッパーファイルは独自のアプリケーションにコピーできる程度に自己完結しています。Visualizerは、与えられたモデルからクラス数と名前を読み取り、そのモデルが返したものを描画します - ボックス、インスタンスマスク、または密なラベルマップ - そのため、1回の呼び出しで全てのタスクをカバーできます(BGR uint8入力、BGR uint8出力)。
pipインストールからトレーニングするには、設定を具体化して実行します:
dfine init # ./config.yaml を書き出す - train.root と train.label_to_name を編集
dfine split
dfine train # Hydraのオーバーライドが機能します: dfine train model_name=m train.epochs=100
ソースから(コントリビューター向け)
git clone https://github.com/ArgoHA/D-FINE-seg.git
cd D-FINE-seg
uv sync
データの準備
2つのアノテーション形式をサポートしています:YOLO(デフォルト)とCOCO JSON。セマンティックセグメンテーションでは代わりにPNGマスクを使用します(以下参照)。
YOLO形式(デフォルト)
data/dataset/
├── images/ # 全ての画像: .jpg, .png など(マルチチャンネルの場合は .npy - 以下参照)
└── labels/ # 全てのラベル: 画像ごとに1つの.txtファイル(ファイル名ステムは同じ)
検出ラベル: class_id xc yc w h(正規化済み)
セグメンテーションラベル: class_id x1 y1 x2 y2 ... xN yN(正規化済みポリゴン座標)
入力タイプとチャンネル順: 3チャンネル .jpg/.png(BGR、cv2.imreadで読み込み)、3チャンネル .npy(RGB、np.loadで読み込み)、または4チャンネル .npy(RGB + 追加情報、例: RGB + サーマル)。
セマンティックセグメンテーションマスク(task: sem_seg)
data/dataset/
├── images/ # YOLOレイアウトと同じ
└── labels/ # 画像ごとに1つのシングルチャンネルuint8 .pngファイル(ファイル名ステムは同じ)、ピクセル値 = クラスID
各ピクセルはlabel_to_nameからのクラスを受け取ります(背景を含む)。train.sem_seg.ignore_index(デフォルト255)の値を持つピクセルは、損失とメトリクスから除外され、推論時には255が「背景」または「無視」クラスとなります。dfine splitは変更なく機能します。keep_ratio: Trueがサポートされており(レターボックスパディングはignore_indexで埋められるため、パディングピクセルは教師信号になりません)、coco_dataset: Trueはこのタスクではサポートされていません。
リリースされたCityscapesウェイトはload_model("x", task="sem_seg")でロードできます - 名前と入力サイズはチェックポイントから取得されます。これらは、独自のドライビング/アウトドアデータ用の強力な初期値としても機能します:train.pretrained_model_pathを異なるlabel_to_nameを持つものに設定すると、クラスヘッドは再初期化され、残りはCityscapesトレーニング(COCO検出ウェイトからのN、obj2cocoからのS/M/L/X)を維持します。それらからファインチューニングされたモデルは、依然としてCityscapesから派生しており、その非商用ライセンス(ライセンス参照)を継承します - 商用利用の場合は、代わりにCOCO / obj2cocoウェイトから開始してください。ベンチマーク数値と28モデルの完全な比較:cityscapes-benchmark。
マルチチャンネル入力(RGB + サーマル / 深度 / NIR / …)
train.in_channels: 4(3または4をサポート)を設定して、RGB + 1つの追加モダリティ(サーマル/深度/NIR)でトレーニングします。スタックはimages/内の.npy uint8 HWC配列(プレーン0-2にRGB、その後に追加情報)で、YOLOラベルは通常通りです。チャンネル数が一致しない場合は警告とともにスキップされます。準備済みのRGB+サーマルコンバーターについては、dfine_seg/etl/m3fd_to_yolo.pyを参照してください。
COCO JSON形式
標準のCOCO JSONアノテーションファイルを画像フォルダの隣に配置します。スプリットはファイル名によって自動的に検出されます:
data/dataset/
├── images/ # 全ての画像
├── train.json # トレーニングスプリット用のCOCO形式アノテーション
├── val.json # 検証スプリット用のCOCO形式アノテーション
└── test.json # (オプション)テストスプリット用のCOCO形式アノテーション
設定でcoco_dataset: Trueを設定してCOCOモードを有効にします(以下参照)。CSVスプリット生成ステップは不要です - スプリットはJSONファイルから直接読み込まれます。
単一のcoco.jsonしかない場合は、dfine splitを実行してtrain.json / val.json(および空きがあればtest.json)を生成します。これは、同じsplit:比率、シード、ignore_negativesを使用して画像を分割し、各画像の注釈を保持し、categories / info / licensesを各出力にコピーします。
設定
config.yamlを編集します - 主要な設定:
task: detect # detect | segment | sem_seg
exp_name: my_exp # 実験名(出力パスで使用)
model_name: s # n / s / m / l / x
train:
root: /path/to/project # プロジェクトルート、出力に使用
data_path: /path/to/dataset # images/ と labels/ (YOLO) または *.json ファイル (COCO) を含むフォルダ
coco_dataset: False # COCO JSONアノテーションを使用する場合はTrueに設定(train.json / val.json / test.json)
label_to_name:
0: class_a
1: class_b
epochs: 75
batch_size: 8
img_size: [640, 640] # (h, w)
使い方
| コマンド | 実行内容 |
|---|---|
dfine init | config.yamlをパッケージテンプレートから書き出す(--task、--model、-d、--force) |
dfine split | トレーニング/検証CSVスプリットを作成する(設定されていればテストスプリットも) |
dfine train | モデルをトレーニングする |
dfine export | ONNX、TensorRT、OpenVINO、CoreMLにエクスポートする |
dfine bench | 検証セットで全エクスポートモデルのベンチマークを行う |
dfine infer | テストフォルダで実行し、視覚化とYOLO txt予測を保存する |
dfine check-errors | 予測とGTを比較し、不一致のみを保存する(FP/FN) |
dfine test-batching | GPUに最適なバッチサイズを見つける |
dfine ov-int8 | OpenVINO用の精度を意識したINT8量子化(数時間かかる場合があります) |
dfine trt-int8 | TensorRT INT8キャリブレーション |
dfine main | トレーニング -> エクスポート -> ベンチマークを順次実行する(生のmakeターゲットと同じ) |
dfine demo | Gradio UIを起動する(pip install 'dfine-seg[demo]'が必要) |
dfine predict | 設定不要で、画像またはフォルダに対してモデルを実行する |
dfine hw_bench | このデバイス(cuda/mps/cpu)でのTorch推論スループットを測定する(GPUを飽和させるには--batchを使用) |
dfine version | インストールされているバージョンを表示する |
注:
- ほとんどのコマンドは
config.yamlを読み込み、トレーニング済みの実行に基づいて動作します。例外はinit(設定を書き出す)、predict、hw_bench、demo、version(設定不要)です。各コマンドのフラグ、デフォルト、例:dfine <command> -h。 - YOLO形式:
dfine trainはtrain.data_path内のtrain.csvとval.csvを必要とします(dfine splitで生成)。 - COCO形式:
coco_dataset: Trueを設定します -train.jsonとval.jsonが直接ロードされます。dfine splitは、分割する単一のcoco.jsonがある場合にのみ必要です。 dfine inferはtrain.path_to_test_dataでTorch推論を実行し、train.infer_pathに書き込みます。infer/export/benchは、train.path_to_save下の最新の<exp_name>_<date>実行を自動的に選択します。
すべてのdfineコマンドにはmakeエイリアス(make train == dfine train)もあり、任意のconfigキーをインラインでオーバーライドできます:
dfine train exp_name=my_exp model_name=m train.epochs=100
DDP(マルチGPU)を有効にするには、設定でtrain.ddp.enabled: Trueとtrain.ddp.n_gpus: Nを設定します。その後、dfine trainを実行するだけで、torchrunで自動的に起動します。
トレーニング機能
| 機能 | 説明 |
|---|---|
| Muonオプティマイザ | エンコーダー/デコーダーのアテンション+MLP行列のオプションのNewton–Schulzオプティマイザ |
| DDP | SyncBatchNormを備えたマルチGPU分散トレーニング |
| AMP | 自動混合精度(VRAMを約40%削減、約15%高速化) |
| EMA | 重みの指数移動平均 |
| 勾配累積 | 実効バッチサイズ = batch_size x b_accum_steps |
| 知識蒸留 | train.kd.teacherをトレーニング済みティーチャーのmodel.ptに設定します(クラスとチャンネルは同じ)。フリーズされたティーチャーは、その予測を生徒の損失に追加します。サイズが1つ大きいティーチャーと40%大きい入力サイズから開始します。 |
| 自動バッチサイズ | train.batch_size: -1は、完全なトレーニングステップ(KDティーチャーを含む)をプローブし、VRAMの約70%をターゲットにします |
| 勾配クリッピング | 設定可能な最大ノルム |
| モザイク拡張 | 4枚の画像をアフィン変換でモザイク化(検出に推奨) |
| Albumentations | 回転、反転、ぼかし、ノイズ、ガンマ、グレースケール、コーセドロップアウト、マルチスケール |
| OneCycleLRスケジューラ | バックボーンとヘッドの別々の学習率 |
| 早期停止 | 設定可能な忍耐力 |
| WandB統合 | 自動実験追跡 |
| 最適閾値検索 | トレーニング後に最適な信頼度閾値を自動検出 |
| バックグラウンドウォームアップ | Nエポックの間、背景のみの画像を無視する |
| 自動リサーチループ | エージェントのためのリサーチ/実行ループ(Cityscapesでのセマンティックセグメンテーション)、experiments/program.mdを参照 |
エクスポート
| フォーマット | 半精度 | 注釈 |
|---|---|---|
| ONNX | - | オプションで融合された後処理を含む |
| TensorRT | FP16 | 対象GPUでエクスポートする必要があります。静的入力形状のみ |
| OpenVINO | FP16, INT8 | FP32またはFP16(推論時に選択)用の単一エクスポートと、個別のINT8量子化スクリプト |
| CoreML | FP16, INT8 | クロスプラットフォームエクスポート、macOS / iOSでの推論。FP32とINT8はデフォルトでエクスポートされます |
ヒント: FP16は、GPU(TensorRT)およびCPU(OpenVINO)にとって最適なレイテンシ/精度トレードオフです。Apple Silicon(CoreML)の場合、FP32の方が高速です。
警告: TensorRTエンジンはバッチサイズ1で実行してください。TRT 10.13.3.9では、バッチ化されたエンジンはバッチ要素を独立して計算しません - 4つの同一画像を1回の
execute_async_v3呼び出しでフィードすると、4つの異なる結果(スコアのばらつきは最大0.20、異なるラベル)が返されるため、検出スコアはバッチ化されたものに依存します。バッチサイズ1は正確であり、FP16およびFP32の生のTensorRTおよびすべての最適化プロファイル形状で再現されますが、torchとONNX Runtimeはスロット間で同一のままです(NVIDIA/TensorRT#4813)。
エクスポート後、パリティ自己チェック(デフォルトでオンのexport.parity)が各バックエンドを共有入力で実行し、ソートされた上位K個の検出スコアとtorchとのコサイン類似度を、ウェイトの隣のparity.csvに書き込みます。
task: sem_segの場合、すべてのバックエンドは同じ融合argmaxグラフを取得します:単一のint32 sem_seg出力 [B, H, W](入力解像度でのラベルマップ、検出後処理なし)、パリティはピクセルごとのargmaxの一致度をスコアコサインの代わりに比較します。
推論
バックエンド
dfine_seg/infer/内の6つの推論バックエンド:
| バックエンド | フォーマット | デバイス |
|---|---|---|
| Torch | .pt | CUDA, MPS, CPU |
| TensorRT | .engine | CUDA |
| OpenVINO | .xml | CPU, iGPU |
| ONNX Runtime | .onnx | CUDA, CPU |
| CoreML | .mlpackage | macOS (GPU), iOS |
| LiteRT | .tflite | CPU, モバイル/エッジ (Android)、サポートは一時停止中 |
出力契約:検出/インスタンスセグメンテーションラッパーはlabels、boxes、scores(segmentの場合はmasks [N, H, W])を返します。sem_segラッパーは、元の画像解像度での単一のsem_seg [H, W]ラベルマップを返します。sem_segの場合、dfine inferはパレットオーバーレイとGTスタイルのグレースケールPNGラベルマップを書き込みます(クロップとトラッキングはボックスベースでありスキップされます)。
また提供されるもの:
Bytetrack- オブジェクトトラッカーのシンプルな実装SAM3- 自動ラベリングのためのテキストプロンプト可能なゼロショットセグメンテーション(マルチクラス:--promptを繰り返すか、"car, person"を渡す)
マルチオブジェクトトラッキング
ByteTrack(Zhang et al., ECCV 2022)の簡略化された実装が、ビデオフレームを横断する永続的なオブジェクトトラッキングのために含まれています - カルマンフィルターの代わりにEMA平滑化された速度を使用した定速運動予測を使用し、IoUと重心距離をマッチコストにブレンドし、デフォルトでクラスごとのマッチングを行います。
Gradioデモ
dfine demo # == make demo (pip: pip install 'dfine-seg[demo]')
アップロードされた画像や動画(またはウェブカメラのスナップショット)の推論を実行するためのWeb UIです。COCO検出sで起動します - セットアップ不要です。Modelパネルで、実行時に他のモデルに切り替えることができます:サイズプリセット、または独自の.pt / .onnx / .engine / .xmlのパス/アップロード、クラス名用のボックス付き。detect、segment、sem_segチェックポイントはすべてレンダリングされ、SAM3はテキストプロンプト可能なセグメンテーションのセカンドバックエンドとして選択可能です(プロンプトはカンマまたは改行で区切られます - それぞれがクラスになります)。
0.0.0.0:7860でサービスを提供し(LANからアクセス可能)、起動時に警告を表示します:Modelパネルはブラウザから送信された任意のパスをロードするため、ポートにアクセスできる人なら誰でもこのマシンからファイルをロードできます。dfine demo --host 127.0.0.1でローカルのみに戻します。
ベンチマーク
セマンティックセグメンテーション - Cityscapesネイティブ解像度1024x2048
5つのファミリーからの28モデル:私たちがトレーニングした5つのD-FINE-segサイズと、23の公式Cityscapesチェックポイント(YOLO26-sem、EfficientViT-Seg、SegFormer、Mask2Former)、いずれも再トレーニングされていません。入力は1024x2048フレーム全体を1回のフォワードパスで処理します。各モデルは独自のフレームワークの出荷済みプリ/ポストプロセッシングを実行し、500の検証画像で1つのバリデーターによってスコアリングされます。TensorRT fp16、バッチサイズ1、RTX 5070 Ti。e2e msには各フレームワークのCPUプリ/ポストプロセッシングが含まれます。engine msは純粋なTensorRT実行です。完全なテーブル、クラスごとのIoU、プロトコル、および既知のすべての非対称性:cityscapes-benchmark。
| model | params (M) | mIoU | pixel acc | engine ms | e2e ms |
|---|---|---|---|---|---|
| D-FINE-seg-N | 3.36 | 77.99 | 96.03 | 3.02 | 4.21 |
| D-FINE-seg-S | 7.99 | 81.12 | 96.47 | 5.38 | 6.37 |
| D-FINE-seg-M | 15.95 | 81.41 | 96.55 | 7.42 | 8.26 |
| D-FINE-seg-L | 24.97 | 83.80 | 96.93 | 8.98 | 9.77 |
| D-FINE-seg-X | 56.3 | 84.84 | 97.10 | 14.18 | 14.64 |
| YOLO26x-sem | 40.13 | 83.58 | 96.79 | 10.37 | 13.58 |
| EfficientViT-L2 | 52.61 | 83.20 | 96.87 | 9.56 | 19.87 |
| Mask2Former-Swin-L | 215.46 | 83.33 | 96.91 | 64.51 | 94.07 |
| SegFormer-B5 | 84.61 | 81.41 | 96.62 | 38.81 | 42.12 |
- D-FINE-seg-X vs Mask2Former-Swin-L(最も精度の高いMask2Formerチェックポイント):+1.51 mIoU、エンジンレイテンシ4.5倍低減、エンドツーエンドレイテンシ6.4倍低減、パラメータ数は約4分の1。Xは28モデルの中で最高のmIoUとピクセル精度を誇ります。
- D-FINE-seg-L vs YOLO26x-sem(最も精度の高いYOLO26-semチェックポイント):+0.22 mIoU、+0.14ピクセル精度、エンジンレイテンシ13%低減、エンドツーエンドレイテンシ28%低減、パラメータ数38%削減。1つのトレーニングシードとわずかな差なので、「同等かそれ以上」と読み取ってください。
- Cityscapesテスト(評価対象外の1525画像、公式評価サーバー):D-FINE-seg-X 83.23 vs YOLO26x-sem 82.10 mIoU - 検証セットの差がテストセットでも維持されています。
Cityscapes - YOLO26およびRF-DETRとの比較(ファインチューニング)
500 Cityscapes検証画像(元の解像度2048x1024)、TensorRT 10.13 FP16、バッチサイズ1、RTX 5070 Ti - 上記と同じプロトコルとレイテンシ列、各フレームワークでF1を最大化するように調整された信頼度閾値を使用。完全なプロトコル:cityscapes-benchmark。
検出
| model | params (M) | input | conf | F1 | precision | recall | IoU | e2e ms | engine ms |
|---|---|---|---|---|---|---|---|---|---|
| D-FINE-seg S | 10.29 | 640x640 | 0.5 | 0.703 | 0.817 | 0.617 | 0.446 | 2.0 | 1.38 |
| YOLO26-M | 21.79 | 640x640 | 0.25 | 0.691 | 0.792 | 0.613 | 0.432 | 3.03 | 1.59 |
| RF-DETR-medium | 33.39 | 576x576 | 0.35 | 0.673 | 0.769 | 0.599 | 0.409 | 10.2 | 1.45 |
インスタンスセグメンテーション
| model | params (M) | input | conf | F1 | precision | recall | IoU | e2e ms | engine ms |
|---|---|---|---|---|---|---|---|---|---|
| D-FINE-seg S | 11.87 | 640x640 | 0.5 | 0.661 | 0.748 | 0.592 | 0.375 | 3.09 | 1.9 |
| YOLO26-M | 26.98 | 640x640 | 0.25 | 0.599 | 0.688 | 0.53 | 0.312 | 5.32 | 2.05 |
| RF-DETR-seg-medium | 35.4 | 432x432 | 0.35 | 0.62 | 0.789 | 0.51 | 0.346 | 16.81 | 1.77 |
640でのセマンティックセグメンテーションの比較は、上記のネイティブ解像度の結果に取って代わられました。メトリック定義、VisDroneおよびTACOベンチマーク、COCOスタイルのAP、およびエクスポート形式の比較:docs/benchmarks.md
出力
| 出力 | 場所 | 説明 |
|---|---|---|
| モデル + ログ | output/models/{exp_name}_{date}/ | ウェイト、トレーニングメトリクス、混同行列、F1 vs 閾値プロット、クラスごとのメトリクス、ベンチマークメトリクス、計算された最適閾値 |
| デバッグ画像 | output/debug_images/ | 前処理されたトレーニング画像(拡張付き) |
| 評価予測 | output/eval_preds/ | GT(緑)と予測(青)を含む検証セットの予測 |
| ベンチマーク画像 | output/bench_imgs/ | 全エクスポートモデルからの予測 |
| 推論 | output/infer/ | 視覚化 + YOLO txtアノテーション(sem_seg: オーバーレイ + PNGラベルマップ) |
| エラーチェック | output/check_errors/ | FPとFNのみ - ラベル付けミスのあるサンプルを見つけるため |
結果例
トレーニング
ベンチマーク
WandBダッシュボード
推論
貢献
質問、バグレポート、変更提案はGitHub Issuesに投稿してください。プルリクエストを開く前にCONTRIBUTING.mdをお読みください:変更はまずイシューで議論されます。
引用
研究でD-FINE-segを使用する場合は、以下を引用してください:
@article{saakyan2026dfineseg,
title={D-FINE-seg: Object Detection and Instance Segmentation Framework with multi-backend deployment},
author={Saakyan Argo and Solntsev Dmitry},
eprint={2602.23043},
journal={arXiv preprint arXiv:2602.23043},
year={2026}
}
および元のD-FINE論文:
@misc{peng2024dfine,
title={D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
author={Yansong Peng and Hebei Li and Peixi Wu and Yueyi Zhang and Xiaoyan Sun and Feng Wu},
year={2024},
eprint={2410.13842},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Cityscapesでトレーニングされたセマンティックセグメンテーションウェイトを使用する場合は、Cityscapesデータセットも引用してください:
@inproceedings{Cordts2016Cityscapes,
title={The Cityscapes Dataset for Semantic Urban Scene Understanding},
author={Cordts, Marius and Omran, Mohamed and Ramos, Sebastian and Rehfeld, Timo and Enzweiler, Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2016}
}
ライセンス
コードはApache 2.0 Licenseの下でライセンスされています。
リリースされたCityscapesセマンティックセグメンテーションウェイト(dfine_sem_{n,s,m,l,x}_cityscapes.pt)は、Cityscapes datasetの派生物であり、その利用規約を継承しています:学術研究、教育、科学出版物、または個人的な実験などの非商用目的での配布は可能ですが、商用目的での配布はできません。独自のデータでトレーニングした場合、結果のモデルは商用利用可能であり、Apache-2.0(AGPLではありません)のままです。
謝辞
検出コアは、D-FINE論文とアーキテクチャに基づいています。マスクヘッドのデザインはMask DINOパラダイムに従っています。両チームの優れた仕事に感謝します。
このプロジェクトのベンチマークでは、Cityscapes、VisDrone、およびTACOデータセットを使用しています。これらのデータセットを公開してくれた著者らに感謝します。