HN 日本語サマリー

← 一覧へ戻る
プログラミング

HackerRankがATSをオープンソース化。履歴書スコアは90/100。いや、74。いやいや、88。

HackerRank open sourced its ATS. My resume scored 90/100. Oh wait 74. No – 88 (danunparsed.com)

900 pointsby sambellll386 コメント

要約

HackerRankが提供するオープンソースの採用管理システム(ATS)を筆者が試したところ、同じ履歴書でもスコアが大きく変動することが判明しました。特にプロジェクトの評価は不安定で、LLMが経験を判断する際の非決定性と一貫性の欠如が指摘されています。筆者は、AIスクリーニングツールが候補者の質ではなく、運によってフィルタリングしてしまう危険性について警鐘を鳴らしています。

全文翻訳

HackerRankがATSをオープンソース化。私の履歴書は90/100点だった。いや、74点。いや、88点。実際は83/100点。

HackerRankによるこのオープンソースATSが最近話題になっています:https://github.com/interviewstreet/hiring-agent

[画像: GitHub上のinterviewstreet/hiring-agentのリポジトリのスター数の成長チャート。2025年10月から2026年5月にかけては横ばいだったが、2026年6月から7月にかけて急増し、3000スター近くに達している。]

LinkedInやRedditでも、数百、時には数千の「いいね」と共に登場しています[1]。数日前、同僚が通りすがりに私にこの件を話しました。

私はこれを試してみることにしました。

最初の実行結果:90/100点。気分は良かった!

セットアップのトラブルシューティングのために散らばっていたデバッグプリントを整理して、もう一度実行しました。

74/100点。

同じ履歴書。同じコマンド。変更したのはプリント文を削除しただけです。

DEVELOPMENT_MODEを無効にし、100回ループで実行しました。

[画像: gemma3:4bをtemp=0.1で100回評価した際の総スコア分布。スコアは65から99の範囲で、ほとんどが78から88の間に集中している。]

スコアは66から99の範囲でした。

もしあなたの会社のカットオフが85点だとすると、私は65%の時間で不合格になります。全く同じ履歴書で、運が違うだけです。

このツールがどのように機能するかを簡単に説明します。

PDFはテキストに解析されます。LLMが6回呼び出され、構造化された情報(基本情報、職務経歴、学歴、スキル、プロジェクト、受賞歴)が抽出されます。GitHubプロフィールが取得され、トップリポジトリがスキャンされ、追加のコンテキストとして付与されます。その後、すべてが一度にLLMにフィードされ、採点されます。

採点は100点満点で、さらに最大20点のボーナスポイントがあります。

  • オープンソースへの貢献:35点
  • 個人プロジェクト:30点
  • 職務経験:25点
  • 技術スキル:10点
  • スタートアップ経験、ポートフォリオサイト、技術ブログなど:最大20点のボーナスポイント

デフォルトのモデルはgemma3:4bで、温度0.1で実行されます。これは低めの設定で、モデルを決定論的な出力に近づけるはずです。

個々のカテゴリを見たときに発見したことを以下に示します。

[画像: gemma3:4bをtemp=0.1で100回評価した際のカテゴリ別スコア分布:オープンソース、プロジェクト、職務経験、技術スキル、ボーナスポイント、減点。技術スキルはほぼ完璧な一貫性で8/10を示している。プロジェクトとオープンソースは変動が大きい。職務経験は22〜23点にタイトに集中している。]

技術スキルを見てください:100回の実行中98回で8/10のスコアでした。ほぼ完璧な一貫性です。なぜでしょう?技術スキルはチェックリストだからです。Reactを知っているか知らないか、それだけです。LLMが判断する余地はありません。5歳児でもそのチェックリストを照合できます。

次にプロジェクトを見てください。これは非常に大きなばらつきがあります。

LLMはこのような判断を安定して行うのが苦手です。「アーキテクチャの複雑さが欠けている」とか、「実際のデプロイメントを示している」とか、時々言われます。LLMがどちらを吐き出すかは、サイコロを振るようなものです。

温度0.1はすでに低いですが、温度0に下げてもこれは解決しません。誰かが10月にGitHubで、温度0での6回の連続実行で27点、34点、32点、34点、34点、30点というスコアを示すIssueを開いています[2]。この非決定性は微調整で解決できるバグではなく、根本的な設計上の欠陥です。

モデルの一部が原因かもしれないと心配していました。結局、gemma3:4bは私のマシンでローカル実行しているモデルでした。

[画像: gemini-3.1-flash-liteをtemp=0.1で50回評価した際の総スコア分布。スコアは45から65の範囲で、ほとんどが60〜61に集中している。]

Geminiはよりタイトな分布をもたらしました。スコアは48から64の間に集中しています。しかし、カットオフが60点なら、あなた自身のせいではなく、依然として28%の時間で不合格になります。

[画像: gemini-3.1-flash-liteをtemp=0.1で評価した際のカテゴリ別スコア分布。職務経験と技術スキルはほぼ完璧な一貫性を示している。プロジェクトは依然として変動が大きい。減点は平均4.7で、スコアを引き下げている。]

オープンソースのスコアは一貫性が出るようになりました。これは正当な改善です。しかし、プロジェクトのスコアは依然としてバラバラです。

最も懸念しているのは職務経験です。

25/25点。

全ての実行で。

古い履歴書を引っ張り出してきました。インターンシップが1つだけ載っています。

これも25/25点。

手がかりはプロンプトにあります…

全体は2行しかありません。

ルーブリックなし。例なし。15点と25点の差が何で決まるかのアンカーなし。

インターンシップ1回のジュニアエンジニアは25/25点。10年の分散システム経験を持つプリンシパルエンジニアも25/25点。私も25/25点。職務経験は2行でアンカーがないため、一貫性はあるが役に立たない。プロジェクトには詳細なルーブリックと例があるが、最もノイズの多いカテゴリであり、一貫性がなく、やはり役に立たない。LLMがどんなにプロンプトを工夫しても、うまくできないことがいくつかあります。

履歴書を構造化データに解析するためにLLMを使うのは素晴らしい、それが得意なことです。Pythonを知っているかどうかをチェックするために使うのも素晴らしいです。候補者の経験が18点に値するか、24点に値するかを判断するために使う?それは「雰囲気チェック」になります。HRチームやバーレイザー、その他の多くのイニシアチブが何十年も避けようとしてきたことです。

オープンソース+プロジェクトの65%という重み付けも助けになりません。私はS3を構築した30年の経験を持つエンジニアを、2回のインターンシップとオープンソースプロジェクトを持つ人物よりも選びます。しかし、このツールはそうしません。私が知っている最高のエンジニアの中には、GitHubに載ったことのないものを作った人もいます。人間の目に触れる前に、彼らのスコアの半分以上が失われてしまいます。

もしあなたが、会社が履歴書スクリーニングをどのように扱っているかについて発言権のあるエンジニアなら、AIスクリーニングツールには非常に注意してください。区別できないツールは品質をフィルタリングしているのではなく、単にフィルタリングしているだけです。半分の履歴書を捨てて、応募者に「運が悪かったね」と言うのと同じようなものです。

訂正(6月28日):読者から、resume_evaluation_criteria.jinjaテンプレートの1行目に「Software Intern」と記載されていると指摘がありました。これは文書化されておらず、リポジトリの他の場所でも参照されていません。後に「founder roles, co-founder positions, or early-stage engineer roles」でボーナスポイントを与えるのと同じテンプレートです。明示的なSenior SWEプロンプトで再実行したところ、結果は同じでした。スコアリングの次元はポジションに依存しません。

更新(6月30日):これはHacker Newsで話題になりました。もし興味があれば、そのスレッドはこちらです:https://news.ycombinator.com/item?id=48713832 পড়ুন。

何人かの人が、フロンティアモデルにはこの問題がないと指摘しました。私はClaudeのサポートを導入したGitHub PRの1つを確認し、クレジットがなくなるまでOpus 4.8をループで実行しました。

[画像: Claude Opus 4.8をtemp=0.1で実行した際の総スコア分布。スコアは49から63の範囲で、ほとんどが50〜55に集中している。]

[画像: Claude Opus 4.8をtemp=0.1で実行した際のカテゴリ別スコア分布。プロジェクトは依然として変動が大きいが、以前よりはタイトになっている。]

範囲はわずかにタイトになりました。スコアは48-64から49-63に下がり、プロジェクトは12-25から13-23に下がりました。根本的な点は同じです。プロジェクトは一貫性がなく、スキルは完璧です。

1

バイラルなLinkedIn(自己責任でご覧ください)およびRedditの投稿。どちらもリポジトリが最近オープンソース化されたと主張していますが、コミット履歴に基づくと、最近話題になっただけで、2025年10月からオープンソースであった可能性が高いです。

2

温度0での非決定性は、2025年10月に開かれたこのGitHub issueで指摘されました。

投稿なし