HackerRankがATSをオープンソース化。履歴書スコアは90/100。いや、74。いやいや、88。

HackerRankがATSをオープンソース化しました。私の履歴書は100点中90点を獲得しました。いや、待てよ、100点中74点。いやいや、88点。実際は83点でした。採用がどのように運のフィルターになっているのか。 Dan Kinsky 2026年6月28日 22シェア HackerRankによるこのオープンソースのATSは最近、爆発的に人気を集めています：https://github.com/interviewstreet/hiring-agent LinkedInやRedditで何百、時には何千もの「いいね」が付き、話題になっています。1同僚が数日前、偶然私にこのことを話していました。 私はそれを試すことにしました。 最初の実行：90/100。かなり良い感触でした！ セットアップのトラブルシューティングのためにデバッグプリントが散らばっていたので、それらを削除してもう一度実行しました。 74/100。 同じ履歴書。同じコマンド。変更したのはプリントステートメントを削除しただけです。 DEVELOPMENT_MODEを無効にして、100回実行するループに入れました。 スコアは66から99の範囲でした。 もしあなたの会社の足切りが85点だとすると、私は65%の確率で不合格になります。全く同じ履歴書で、運が違うだけです。 ツールの仕組みを簡単に説明します： PDFがテキストに解析されます。LLMが6回呼び出され、構造化された情報（基本的な情報、職務経歴、学歴、スキル、プロジェクト、受賞歴）が抽出されます。GitHubプロフィールが取得され、主要なリポジトリがスキャンされ、追加のコンテキストとして追加されます。そして、すべてが一度にLLMに渡され、採点されます。 採点は100点満点で、最大20点のボーナスポイントが加算されます： オープンソースへの貢献：35点 個人プロジェクト：30点 職務経験：25点 技術スキル：10点 スタートアップ経験、ポートフォリオサイト、技術ブログなどに対する最大20点のボーナスポイント デフォルトのモデルはgemma3:4bで、温度は0.1で実行されます。これは低く、モデルを決定論的な出力に近づけるはずです。 これらの個別のカテゴリを見て私が発見したことです。 技術スキルを見てください：100回の実行中98回で8/10点を獲得しました。ほぼ完璧な一貫性です。なぜでしょうか？技術スキルはチェックリストだからです。Reactを知っているか知らないかです。LLMが判断する余地はありません。5歳児でもそのチェックリストを照合できます。 次にプロジェクトを見てください。これは非常に大きなばらつきがあります。 LLMは、このような判断をコンスタントに行うのが苦手です。時には私のプロジェクトは「アーキテクチャの複雑さに欠ける」と言われ、時には「実世界でのデプロイメントを実証している」と言われます。LLMがどちらの意見を吐き出すかは運次第です。 温度0.1はすでに低いですが、温度を0に下げてもこの問題は解決しません。昨年10月には、ある人がGitHubのissueを開き、温度0で連続6回の実行で27、34、32、34、34、30のスコアを示しました。2この非決定性は、ファインチューニングで解決できるバグではなく、根本的な設計上の欠陥です。 この一部がモデルの問題ではないかと心配しました。結局、gemma3:4bは私のマシンで動作するローカルモデルでした。 Geminiでは、より狭い分布になりました。スコアは48から64の間に集中していました。しかし、足切りが60だとすると、自分のせいではないのに28%の確率で不合格になります。 オープンソースのスコアは一貫するようになりました。これは正当な改善です。しかし、プロジェクトのスコアは依然としてバラバラです。 経験については最も懸念しています。 25/25点。 毎回です。 昔の履歴書を引っ張り出しました。インターンシップが1つ載っています。 これも25/25点です。 手がかりはプロンプトにあります… ### 生産性 (0-25点) - 「職務」および「ボランティア」のセクションを分析し、実社会、インターンシップ、または生産経験を評価する - **特別な考慮事項**：スタートアップ（最初の10〜20名の従業員）での創業者、共同創業者、または初期エンジニアの役割には追加点を与える 全体で2行しかありません。 採点基準はありません。例もありません。15点と25点の違いを判断する基準もありません。 インターンシップが1つあるジュニアエンジニアが25/25点。分散システムで10年の経験を持つプリンシパルエンジニアが25/25点。私も25/25点。経験は2行しかなく、基準もありません。一貫していますが、役に立ちません。プロジェクトには詳細な採点基準と例がありますが、最もノイズが多いカテゴリです。一貫性がなく、これも役に立ちません。LLMがうまくできないことがいくつかあります。プロンプトをどう設定してもです。 履歴書を構造化データに解析するためにLLMを使用する – 素晴らしい、それは彼らが得意とすることです。誰かがPythonを知っているかどうかを確認するためにLLMを使用する – 素晴らしい。候補者の経験が18点か24点かを判断するためにLLMを使用する？それは「雰囲気チェック」にしかなりません。HRチーム、バーレイザー、その他数十の取り組みが何十年もかけて避けようとしてきたことです。 オープンソースとプロジェクトに65%の重みが置かれているのも問題です。私はS3を構築した30年の経験を持つエンジニアを、インターンシップ2回とオープンソースプロジェクトを持つ人よりも採用したいと思いますが、このツールではそうなりません。私が知っている最高のエンジニアの中には、GitHubに公開されていないものを構築した人もいます。これは、人間が彼らを見る前にスコアの半分以上が失われることを意味します。 もしあなたの会社で履歴書選考のやり方に発言権のあるエンジニアであれば、AIスクリーニングツールには非常に注意してください。区別できないツールは質をフィルタリングしているのではなく、ただフィルタリングしているだけです。履歴書の半分を捨てて、応募者に「運が悪い奴とは付き合わない」と伝えるのと変わりません。 お読みいただきありがとうございます。もしこの記事が面白いと感じたら教えてください。そうでないと、私がこれらを書き続けるかどうかわかりません。 購読する 訂正 (6月28日): 読者から、resume_evaluation_criteria.jinjaテンプレートの1行目に「Software Intern」とあることが指摘されました。これはどこにも文書化されておらず、リポジトリの他のどこにも参照されていません。同じテンプレートで、後に「創業者、共同創業者、または初期段階のエンジニアの役割」にボーナスポイントが与えられます。明示的なSenior SWEプロンプトで再実行しましたが、結果は同じでした。スコアリングの側面は役職に依存しません。 1バイラルなLinkedIn（自己責任で読んでください）およびRedditの投稿。どちらもリポジトリが最近オープンソース化されたと主張していますが、コミット履歴を見ると、昨年10月からオープンソース化されており、最近になって急に人気が出た可能性が高いです。 2温度0での非決定性は、昨年10月に開かれたこのGitHub issueで指摘されました。 22シェア