Qwen 3:0.6BのようなローカルLLMを質問分類のためにファインチューニングして良好な結果
Good results fine tuning a local LLM like Qwen 3:0.6B to categorize questions (teachmecoolstuff.com)
要約
このプロジェクトでは、家庭関連の質問分類を行うためのチャットボットにおいて、非常に小さなローカルLLMであるQwen 3:0.6Bをファインチューニングした結果が報告されています。事前のプロンプトだけでは精度が低かったモデルが、わずか850件のデータセットでファインチューニングすることで、質問分類の精度が約10%から79%に大幅に向上しました。さらに、セマンティックな重複を避けたカテゴリIDを用いることで、より高い精度を目指せる可能性が示唆されています。
全文翻訳
家庭の質問を分類するためにローカルLLMをファインチューニングする
楽しい個人的なプロジェクトとして、私は家庭に関する一般的な質問に答えるチャットボットの開発に取り組んでいます。メンテナンスの質問から医師の予約まで、あらゆることに対処できるようにします。
基本的な考え方は、チャットボットがRAG(Retrieval-Augmented Generation)を通じて、ベクトルデータベースに問い合わせることで家庭の知識を得るというものです。しかし、より良い結果を得るために、ベクトル検索をメタデータ対応にしました。
基本的に、質問を前処理ステップで、既知のメタデータカテゴリ(例: プール、車、HVAC、料理)に分類します。この主な目的は、ベクトルランキングのための検索空間を、質問のカテゴリに一致するインデックスエントリのみに絞り込むことです。例えば、「プールポンプをいつ交換しましたか?」という質問は、インデックスデータベースに問い合わせる前に「pool」というカテゴリにマッピングされます。
この実験で検証したい仮説は、家庭関連の質問のデータセットでトレーニングされた場合、非常に小さなローカルLLMが信頼性の高い質問分類を実行できるようにファインチューニングできるかどうかです。
LLM
このプロジェクトでは、2つの異なるローカルLLMを使用しています – Qwen 3:4BとQwen 3:0.6Bです。4Bパラメータバージョンは一般的な質問応答に使用され、非常に小さい0.6Bバージョンは質問の分類に使用されます。この実験の前提全体は、わずか6億パラメータの小さなLLMが、家庭の質問の信頼できる分類器にファインチューニングできるかどうかを確認することです。
ファインチューニング
ファインチューニングには、Unslothという人気のオープンソースフレームワークを使用しています。これは、QwenやLlamaのようなローカルモデルのチューニングに適しているようです。
トレーニング目的で、私の初期データセットは約850個のデータエントリで構成されており、トレーニングデータ、評価データ、テストデータにそれぞれ70/15/15の割合で分割します。トレーニングデータと評価データはトレーニング中に使用され、テストデータセットは保留され、トレーニング後のテスト実行に使用されます。サンプルデータについては、以下のセクションを参照してください。
[ { "question": "Who cleans our gutters at the house?", "category": "gutters" }, { "question": "Who serviced the hot water heater for the home?", "category": "water heater" }, { "question": "Who fixed the sprinkler system in the yard?", "category": "irrigation" }, { "question": "Which store do we usually buy pinnekjott from?", "category": "cooking" }, { "question": "What dimensions are the air filters for the home AC?", "category": "hvac" }, { "question": "What year did we replace the downstairs AC unit?", "category": "hvac" } ]
基本的な考え方は、LLMに十分な数の家庭の質問をトレーニングして、信頼できる質問分類器になるように教え込むことです。
ベースライン
ファインチューニングを行う前に、比較のためのベースラインを確立することが重要です。この実験では、ベースラインは元のQwen 0.6Bモデルをプロンプトのみで「そのまま」使用しようとすることです。ベースラインに使用されたサンプルプロンプトは以下で見つけることができます。
Classify the homeowner question into exactly one category from the list below. Return only the category name from the list. Never return a code, a number, a synonym, an explanation, or any other text. The answer must be exactly one category name from the list. Choose the best category based on the meaning of the question. Valid categories: - appliances - brick work - car - cooking - doorbell - electric - fence - fountain - garden lights - gutters - hvac - irrigation - mosquito - painting - pool - tree service - water heater - window service Question: Who installed the tankless hot water setup for the house? Category:
ベースラインモデルの精度:
オフライン評価方法の1つとして、セカンドデータセットからのシナリオでモデルをテストするための約130個の統合テストのバッテリーを作成しました。ベースラインモデルの場合、結果は貧弱です。131回のテストのうち、モデルは13個の質問のみを正しく分類しました(正解率約10%)。概要を以下に示します。
{ "scenario": "baseline-category", "model_kind": "baseline", "model_name": "qwen3:0.6b", "label_mode": "category", "total": 131, "correct": 13, "incorrect": 118, "accuracy": 0.0992 }
実際の失敗を掘り下げると、いくつかの一般的なパターンが現れます。
- モデルは主に「electric/appliances」のような広範なラベルを使いすぎており、他のカテゴリ(例: pool, cooking, hvac)のほとんどを見逃しています。
- モデルは新しいカテゴリ(例: apartments)をinventし、提供された許可されたカテゴリのリストに固執しません。
テストレポートからの抜粋を以下に示します。
[ { "case_id": 1, "question": "When was the lower air conditioning system swapped out?", "expected_category": "hvac", "scenario": "baseline-category", "model_kind": "baseline", "model_name": "qwen3:0.6b", "label_mode": "category", "predicted_category": "electric", "correct": false }, { "case_id": 64, "question": "Which painter worked on Joe's room?", "expected_category": "painting", "scenario": "baseline-category", "model_kind": "baseline", "model_name": "qwen3:0.6b", "label_mode": "category", "predicted_category": null, "predicted_code": null, "correct": false, "status_code": 422, "error": "Ollama returned an unknown category name 'apartments' from response 'apartments'" } ]
ファインチューニング – 1回目の試行
ベースラインの結果から、Qwen 3 0.6Bのような小さなモデルは、プロンプトだけでは信頼できるパフォーマンスを提供できないことが明らかになりました。
次の実験として、以前と同じプロンプトを使用しますが、モデルをファインチューニングして、より高い精度で分類する方法を教え込みます。
興味のある方は、ファインチューニングスクリプトをこちらで確認できます。大まかには、QLoRAをファインチューニング戦略としてUnslothを活用しています。注意点: Unslothが提供するデフォルトのファインチューニングパラメータは、非常に良い出発点となります。私の経験では、少なくとも開始時点では、Unslothの値を調整することにこだわるよりも、良いデータセットを作成することの方が重要です。
ただし、避けるべき一般的な落とし穴の1つは、トレーニングデータでの過学習です。そのため、トレーニングデータに含まれていないデータでモデルをテストすることが重要です。静的なトレーニング/テストデータに加えて、将来の再トレーニング中にセカンドチャネルとしてユーザーフィードバックを提供してトレーニングデータを修正する方法も組み込みました。
結果:
統合テストのバッテリーを実行した後、以下のレポートに見られるように、予測精度の明確な改善が観察されました。
{ "scenario": "finetuned-category", "model_kind": "finetuned", "model_name": "our-house-qwen3-0.6b-category-names", "label_mode": "category", "total": 131, "correct": 104, "incorrect": 27, "accuracy": 0.7939 }
予測精度は10%から79%に向上しましたが、誤った結果の明確なパターンがまだいくつか見られます。
- モデルは正しい方向に向かっている明確な兆候を示していますが、許可されたリストからカテゴリの断片のみを出力するパターンが見られます。例としては、HVACの代わりに「ac/air」などがあります。
- モデルは、意味的に重複するカテゴリ(例: fountain、water heater、poolの間の水関連の混乱)によって混乱します。
ファインチューニング – 2回目の試行
最初のファインチューニング実験の簡単な改善策は、後処理ステップを追加することです。これにより、予測が意味的には正しいが、構文的には間違っている(例: ac、air)結果を正規化できるようになります。もう1つの調整は、より多くの例を提供し、モデルに何をするべきか、何をしてはいけないかを伝えることで、プロンプト自体にさらに強化を組み込むことです。どちらのアイデアも合理的だと思いますが、カテゴリが増えるにつれてメンテナンスが増加します。
代わりに、カテゴリのマッピング方法にいくつかの変更を加えて、ファインチューニングアプローチをわずかに調整できるかどうかを確認したかったのです。
実際には、最初の実験と比較して精度をさらに向上させるために、プロンプトにわずかな変更を加えることができます。この調整は、実際にはプロンプトの単純な変更であり、カテゴリを意味的な重複のない2文字の不透明なIDにマッピングします。以下にサンプルを示します。
Classify the homeowner question into exactly one label from the list below. Return only the short label code from the list. Never return the category name, a number, a synonym, an explanation, or any other text. The answer must be exactly one uppercase two-letter code. Choose the best label based on the meaning of the question. Valid labels: AA = appliances BB = brick work CC = car DD = cooking EE = doorbell FF = electric GG = fence HH = fountain II = garden lights JJ = gutters KK = hvac LL = irrigation MM = mosquito NN = painting OO = pool PP = tree service QQ = water heater RR = window service Question: Who installed the tankless hot water setup for the house? Code:
今、私はモデルに、意味的に重複する可能性のある(例: 水関連のカテゴリ)可変のカテゴリ文字列ではなく、固定形式のコードを出力するように求めています。
興味深いのは、この単純な変更からパフォーマンスの大きなブーストが見られることです。以下に概要を示します。
{ "scenario": "finetuned-code", "model_kind": "finetuned", "model_name": "our-house-qwen3-0.6b", "label_mode": "code", "total": 131, "correct": 120, "incorrect": 11, "accuracy": 0.916 }
ご覧のとおり、予測精度は現在約92%であり、非常に正確です。固定された、重複しない出力を要求することが、小さなQwenモデルの応答生成に役立つようです。
それでも、いくつかのミスは残っています。具体的な失敗を以下に示します。
- ケース15: water heater -> pool | When was the home's tankless hot water system last checked?
- ケース53: gutters -> mosquito | What did CompanyA bill us for the gutter cleaning visit?
- ケース62: mosquito -> garden lights | Which section of the mosquito misting line needed repair?
- ケース73: water heater -> pool | Who put in the tankless hot water system?
- ケース74: water heater -> pool | What manufacturer made the home's tankless water heater?
- ケース99: fountain -> pool | Who serviced the pump for the front water feature?
- ケース106: gutters -> mosquito | Who do we use for gutter cleaning service?
- ケース114: mosquito -> garden lights | What fluid do we pour into the mosquito misting system?
- ケース126: water heater -> pool | Who installed the tankless hot water setup for the house?
- ケース127: water heater -> pool | When was the tankless heater maintenance done last?
- ケース128: water heater -> pool | What brand is the tankless water unit we use at home?
この時点で、予測は一般的に信頼でき、ファインチューニングされたLLMは私のチャットボットで実用的な予測子として機能しますが、まだ取り組むべき問題があります。際立っている問題の1つは「water heater -> pool」であり、これは依然としてそれらの2つのカテゴリ間の重複する「水っぽい」意味合いが原因である可能性が高いです。これに対処するために、トレーニングデータを再検討し、さらにニュアンスを付ける必要があるでしょう。
チャットインタラクションのサンプルは、以下のスクリーンショットで見ることができます。小さなカテゴリタグ(例: 「pool」)に特に注意してください。これは、小さなQwen 3:0.6B LLMによって自動的に分類される部分です。
[画像: チャットボットのスクリーンショット。質問の横にカテゴリタグが表示されている。]
興味のある方は、GitHubリポジトリをこちらで確認できます。
更新 (2026/6/22)
この記事の主な焦点は小さなモデルのファインチューニングについて学ぶことでしたが、LLMファインチューニングよりも単純な分類アプローチを検討すべきだという読者からのフィードバックを複数受け取りました。これが、ロジスティック回帰を分類子として使用する新しい実験を実行するきっかけとなりました。興味のある方は、新しい記事をこちらで見つけることができます。