不審な不連続性
Suspicious Discontinuities (danluu.com)
要約
アメリカの税制や補助金制度には、特定の所得水準でインセンティブが急激に変化する「不連続性」が存在し、時には所得を減らすインセンティブさえ生じさせています。健康保険補助金の所得上限や、ペル・グラント受給者を選抜する大学の入学基準などがその例です。こうした不連続性は、例えばオプション取引で意図的に損失を出すなど、個人が合理的に行動した結果として現れます。記事では、ハードウェアやソフトウェアのキュー、大学入試、選挙結果、中古車販売価格、p値など、多岐にわたる分野での不連続性の具体例を挙げ、その影響と、ゆっくりとしたフェーズアウトによる改善策について論じています。
全文翻訳
昨年末に個人の金融フォーラムを読んでいたなら、年末までに損失を出そうと必死になっている人からの質問を目にした可能性は十分にあります。損失を出す方法はいくつかあります。一般的に提案されていたスキームの1つは、価値がなくなることが予想されるプットオプションを購入することで、購入者は(おそらく)損失を計上できます。
人々が損失を出そうとしていた理由の1つは、米国では、健康保険補助金に厳格な所得上限があるためです。個人では48,560ドル(世帯が大きい場合はそれ以上、4人家族では100,400ドル)です。年齢、場所、世帯人数、プランの種類など、詳細が変動する要因は数多くありますが、どのような状況であっても、上限の片側から反対側に移動する個人が健康保険費用を年間約7,200ドル増加させることは珍しくありませんでした。つまり、ACA保険を購入している個人が55,000ドルを稼ぐ場合、48,560ドルの補助金上限を下回るために所得を6,440ドル減らす方が、55,000ドルを稼ぐよりも有利になります。
これは非常に深刻な例ですが、米国の税制は、収入増加を抑制し、場合によっては収入減少を実際に奨励する不連続性に満ちています。その他の不連続性としては、TANFの所得制限、Medicaidの所得制限、無料カバレッジのCHIPの所得制限、および軽減カバレッジのCHIPの所得制限があります。これらは場所や状況によって異なります。TANFとMedicaidの所得制限は一般的に「低所得」と見なされる範囲にあり、CHIPの制限は一般的に「中間層」と見なされる範囲にあります。これらの補助金の不連続性は、ACA補助金の不連続性と同じ影響を与えます。特定の所得レベルでは、人々は損失を出すことを奨励されます。
誰でも自分の税金が可能な限り低くなるように自分の状況を整理することができます。財務省に最も有利なパターンを選ぶ義務はありません。税金を増やすという愛国的な義務さえありません。裁判所は何度も、税金を可能な限り低く抑えるために状況を整理することに、何も不審な点はないと言っています。裕福な人も貧しい人も同様にそれを実行しており、誰もが正しく行っています。なぜなら、法律が要求する以上の税金を支払う公的な義務を負っている人はいないからです。
有名な学習判事(Learned Hand)の引用に同意するなら、実効税率を下げて可処分所得を増やすために損失を出すことは、個人レベルでは完全に合法的な行動です。しかし、プットオプションを購入することで、おそらく(平均的には)はるかに裕福なオプション取引業者に資金を流すことによって、人々が損失を出すことを奨励する税制は、最適とは言えません。
上記の問題に対する簡単な解決策は、急激な閾値ではなく、緩やかな段階的廃止を採用することです。緩やかな段階的廃止は、実際には一部の補助金で実施されており、それにも問題がある場合がありますが、税金/補助金政策に急激な不連続性を導入するよりも、一般的に問題は少なくなります。
この記事では、さまざまな不連続性を見ていきます。
ハードウェアまたはソフトウェアキュー
ナイーブなキューは不連続な動作をします。キューがいっぱいの場合、新しいエントリはドロップされます。キューがいっぱいでない場合、新しいエントリはドロップされません。目標によっては、これはしばしば非理想的な影響を与える可能性があります。例えば、ネットワーキングでは、ナイーブなキューは、帯域幅利用率が低いバースト的なワークロードにとって「不公平」と見なされる可能性があります。なぜなら、帯域幅利用率が低いワークロードは、帯域幅をより多く使用するがバースト的でないワークロードよりも多くのドロップを経験するべきではないからです(これも、目標によっては不公平ではないと主張できます)。
この問題に対する解決策のクラスは、Random Early Dropとそのバリアントであり、キューの満杯度(およびその他の要因)によって決定される確率で着信アイテムがドロップされるようにし、不連続性を平滑化し、キューのドロップ確率の不連続性によって引き起こされる問題を軽減します。
リンクアグリゲーターでの投票に関するこの記事は、ある意味で極性が逆転しているものの、基本的に同じ考え方です。フロントページに掲載されているかどうかによって、トラフィックの量が劇的に変化するという非常に急激な不連続性があります。これは、リンクがN-1票しか受け取らず、N票を受け取った場合にドロップされないという、キューからリンクがドロップされると見なすことができます。
大学入試とペルグラント受給者
ペルグラントは、学校が低所得学生を支援/受け入れることの真剣さの指標として使用され始めました。最初の影響は、ペルグラントの閾値を超える学生の合格確率が大幅に低下し、閾値を下回る学生の合格確率が大幅に上昇したことです。そのように表現すると、意図したとおりに機能しているように聞こえます。
しかし、各グループ内での状況を見ると、低所得家庭の学生を支援するという目標がある場合に望ましい結果とは反対の状況が見られます。ペルグラントの資格がない人々の間では、所得が最も低い人々が最も深刻な影響を受け、合格確率が最も大幅に低下しています。資格のある人々の間では、所得が最も高い人々が最も恩恵を受ける可能性が高く、これも低所得家庭の学生を支援するという目標がある場合に望ましい結果とは反対です。
以下のグラフは、2008年(最初のグラフ)と2016年(2番目のグラフ)の2つの大学における学生の親の所得のヒストグラムであり、赤い線はペルグラントの閾値を示しています。
[画像: 2008年の2つの大学の学生の所得分布のヒストグラム。高所得者が一般人口と比較して非常に多く占めているが、分布は滑らかである]
[画像: 2016年の2つの大学の学生の所得分布のヒストグラム。高所得者は依然として非常に多く占めており、ペルグラントの閾値には急激な不連続性がある。プロットは、ペルグラントの閾値でほぼ0に戻る、上向きに傾斜した区分的線形関数が2つあるように見える]
大学がペルグラント受給者を最適化することによる二次的な影響は、賢い親が年末に課税所得を削減するために一部の人々が行うことと同じことを行うことができるということです。誰かがRoth IRAの代わりにTraditional IRAにお金を入れるかもしれません。そして、IRA拠出限度額に達している場合、オプションで損失を出すことを試み、事実上、自分たちよりも裕福な可能性が高いオプション取引業者に資金を移すことで、所得をペルグラントの閾値以下に抑え、子供たちが選抜校に入学する確率を高めることができます。
選挙統計
以下のロシアの選挙における投票所ごとのヒストグラムは、2004年頃から始まる、きれいな丸い数字(例: 95%)での投票率と結果の奇妙なスパイクを示しています。これは、不正な結果による選挙不正が行われており、不正な結果を作成する人々の一部は、滑らかな分布を持つ結果を作成することさえ気にしないことを示唆しているようです。
[画像]
不正な数字を見つけるには、ベンフォードの法則も参照してください。
中古車販売価格
Mark Ainsworthは、米国の自動車オークションの販売価格とオークションで提供される車両の量に1万ドルの境界線での不連続性があることを指摘しています。以下の価格グラフは、モデルイヤーなどの多くの要因を調整していますが、生の未調整データでも同じ不連続性が見られます。
[画像: オークションでの車の販売価格のグラフ。上記で説明されている不連続性を示している]
[画像: オークションでの車の量のグラフ。ディーラーからオークションへの販売では上記で説明されている不連続性が見られるが、フリート販売からオークションへの販売では見られない]
p値
心理学論文の著者は、p値が特定の閾値(通常は0.05、時には0.1または0.01)を下回る論文を作成するよう奨励されています。Masicampoらによる3つの心理学ジャーナルに掲載された論文のp値のプロットでは、0.05のすぐ下にあるp値を持つ論文が奇妙に多く見つかりました。
[画像: 公表されたp値のヒストグラム。p=0.05にスパイクがある]
p=0.05のスパイクは、以下のような、あまり良くない多くの仮説と一致しています。
- 著者はp=0.05を得るために結果を改ざんしている
- ジャーナルはp=0.05の場合よりもp=0.055の場合の方が論文を受け入れる可能性がはるかに高い
- 著者はp=0.05の場合よりもp=0.055の場合の方が論文を投稿する可能性がはるかに低い
Headら(2015)は、多くの分野にわたる証拠を調査しています。
Andrew Gelmanらは、統計的有意性やp値の閾値という考え方を長年廃止しようと活動しています。その理由の簡単な要約については、この論文を参照してください。何かが「有意」であるかどうかを判断するための明確なルールがないことは、著者がp値に関して不正を行うインセンティブを減らすだけでなく、他の理由もあります。
薬物関連の訴追
この4つのグラフの上位2つは、2010年の公正な量刑法(Fair Sentencing Act)の施行前後におけるコカイン所持量のヒストグラムを示しています。この法律は、所持による10年の最低刑罰をトリガーするために必要なコカインの量を50gから280gに引き上げました。2010年以前は比較的滑らかな分布でしたが、2010年以降は急激な不連続性が見られます。
左下のグラフは、280グラムでの訴追の急激なスパイクと、証拠基準が変更された後の2013年の減少の可能性を示しています1。
[画像]
高校卒業試験の成績
これはポーランド語の試験の高校卒業試験の成績のヒストグラムです。多くの学生が30点または30点強を得点している一方、23〜29点の学生は奇妙に少ないことがわかります。これは2013年のデータですが、私が調べた他の年(2010〜2012年)でも同様の不連続性が見られます。
私が調べた年(2010〜2013年)では、数学の卒業試験の成績には異常な不連続性は見られません。
[画像]
マトゥラ(高校最終試験)の採点をしている教師は、誰のテストかを知りません。知られているのは、学生の番号(コード)と、マトゥラがどの地区から来たか(通常はポーランドの全く別の地域から)だけです。システムは、例えば、時々教師の監督者がテストが正しく採点されているか確認するために来るなど、あらゆる種類の操作を防ぐように作られています。私はシステムの欠点(と利点)についてあまり話したくありませんが、それは最終テストが行われる世界のあらゆる教育システムでよく知られています。しかし、教師が非常に厳密に従う採点基準があることを念頭に置く必要があります。
そのため、テストの点数が30%未満の場合、試験は不合格となります。しかし、最終的な声明をプロトコルにする前に、3人(正確な数は覚えていません)の委員会がテストを再度確認します。ここで、人文科学と数学の違いが現れます。教師は、その人が、その学校、そして採点チームにとって悲劇であるため、試験に不合格にならないように、1点(または数点)の不足点を見つけようとすることがよくあります。ポーランド語の場合のように、執筆や自由回答式の質問を採点している場合は、「不足している」点を見つけることはそれほど難しくありませんが、数学ではほぼ不可能です。したがって、成績の分布がこれほど異なる理由です。
p値の場合と同様に、明確な閾値があることは奇妙な行動を引き起こします。この場合、どの科目でも30点未満(すべての科目で30点以上が必要)で試験に不合格になることは、人々にとって任意に否定的な影響を与えるため、教師は簡単な方法があれば人々が不合格になるのを防ごうとしますが、問題のより深い根源は、連続的なスコアの離散化を生成する必要があるという考え方です。
誕生日とスポーツ
これらは、UEFAユースリーグのサッカー選手のスキャッタープロットです。両方のプロットのX軸は、プレイヤーが年を法としてどれだけ年を取っているか、つまり0から1に正規化された誕生日です。
左側のグラフはヒストグラムで、人の誕生日が年の中でどこに位置するかと、UEFAユースリーグ(U19)レベルのクラブに入る確率との間に非常に強い関係があることを示しています。右側のグラフは、誕生時期がフィールド上での実際の貢献度とはほとんど相関がないことを示していると主張しています。著者はプレー時間を価値の代理として使用していますが、それは測定が容易であるためでしょう。それは優れた尺度ではありませんが、彼らが見つけた結果(U19リーグに入ることを条件に、年内では若いプレイヤーの方が価値が高い)は、スポーツと差別に関する他の研究と一致しています。例えば、野球の黒人選手は、野球の非人種隔離後数十年間、白人選手よりも大幅に優れていたこと、フランス系カナダ人のディフェンス選手も平均より優れていること(フランス系カナダ人はステレオタイプ的に戦いを恐れ、十分に努力せず、攻撃に集中しすぎているとされている)などが挙げられます。
不連続性は上記のグラフでは直接示されていません。なぜなら、グラフは1年間の誕生日のみを示しているからです。もし複数の年にわたるコホートごとの誕生日をプロットした場合、UEFAユースリーグに入る確率にのこぎり歯状のパターンが見られ、閾値の前日と後日に生まれた人との間で10倍の違いがあると予想されます。
[画像]
誕生日や月が、より高いレベルのユーススポーツやプロスポーツへの参加の良い予測因子であるというこの現象は、さまざまなスポーツで研究されています。
一般的に、これはユーススポーツにおける不連続性によって引き起こされていると考えられています。
- 子供たちは年齢(年単位)でグループに分けられ、同じ年の人々と競い合います。
- 特定の年の中で、年上の子供たちはより強く、より速く、そしてより優れたパフォーマンスを発揮します。
- これにより、年内では年上の子供たちが年下の子供たちを凌駕し、その結果、さまざまな理由で年内では年上の子供たちの参加レベルが高くなります。
これは、ユーススポーツの仕組みにおける「バグ」と言えるかもしれません。しかし、野球で見られたように、複数のスポーツの調査でも、個々のチームに数千万ドル、あるいは数億ドルの損失をもたらす明らかに悪い意思決定が、その悪さが公に議論されているにもかかわらず、数十年も続くことがあります。この場合、ユーススポーツチームはプロチームの育成チームではないため、スキル(単に年上であるために背が高く速いだけでなく)で選手を選択する経済的インセンティブがありません。そのため、このシステム全体で非最適化された状態は、プロスポーツチームが完全に制御下にある局所的に非最適な決定を下すよりもさらに修正が困難です。
調達オークション
Kawaiらは、日本の政府調達を調査し、Porterら(1993)で説明されているような、ニューヨーク州ロングアイランドでの調達オークションにおける談合の疑いがあるパターンを見つけました。例として以下が挙げられています。
1983年2月、ニューヨーク州運輸局(DoT)は、0.8マイルの道路舗装の調達オークションを開催しました。オークションでの最低入札額は400万ドルで、DoTはその入札額が独自のコスト見積もりと比較して高すぎると判断し、契約を授与しませんでした。プロジェクトは1983年5月に再オークションにかけられ、最初のオークションのすべての入札者が参加しました。再オークションでの最低入札額は、最初のオークションよりも20%高く、以前の最低入札者によって提出されました。再び、契約は授与されませんでした。DoTは1984年2月に3回目のオークションを開催し、最初のオークションと同じ入札者が参加しました。3回目のオークションでの最低入札額は、2回目よりも10%高く、これも同じ入札者によって提出されました。DoTはこれを不審に思ったようです。「同じ企業が各オークションで最低入札額を提出したことは注目に値します。異常な入札パターンにより、契約は1987年まで授与されませんでした。」
異なる企業は異なるコスト構造を持っているため、特定のプロジェクトのオークションで最低入札者となる企業は、その後の同じプロジェクトのオークションでも最低入札者となると予想されるため、これは予想されると主張できます。企業間の実際の構造的なコストの違いと談合を区別するために、Kawaiら(2015)は、1位と2位の企業の入札額の差が非常に小さいオークションを調査しました。これにより、勝者は実質的にランダムになります。
調査されたオークション構造では、入札者は秘密の入札を提出します。秘密の入札額が秘密の最低額を上回る場合、最低入札者がオークションに勝ち、契約を得ます。そうでない場合、最低入札額はすべての入札者に開示され、別のラウンドの入札が行われます。Kawaiらは、約97%のオークションで、最初のラウンドで最低入札額を提出した入札者が、2回目のラウンドでも最低入札額を提出したことを見つけました(2番目に低い入札者が2番目に低いままである確率は26%でした)。
以下は、1位と2位の入札者間の差額、および2位と3位の入札者間の差額の、1回目と2回目のラウンドの入札額の差のヒストグラムです。各行は、オークションがどの程度近いかを示す異なるフィルタリング基準を持っています。最初の行では、3回目のラウンドに達したすべてのオークションが含まれています。2番目と3番目の行では、1位と2位の入札者間の正規化された差がそれぞれ0.05および0.01未満でした。最後の行では、1位と3位の入札者間の正規化された差が0.03未満でした。オークションの絶対的なサイズは変動する可能性があるため、すべての数値は正規化されています。
[画像: 1位と2位の入札者間の差額、および2位と3位の入札者間の差額のヒストグラム。さまざまなフィルタリング基準で表示]
2位と3位の入札者間を比較した場合、1位と2位の入札者間の差額の分布はほぼ対称的であることがわかります。しかし、1位と2位の入札者間を比較した場合、ゼロでの急激な不連続性があり、2位の入札者が1位の入札者よりも多く入札額を下げることはほとんどないことを示しています。論文を読むと、同じ構造が3回目のラウンドに入るオークションにも継続していることがわかります。
私は特に日本の調達オークションを批判したいわけではありません。調達オークションに関する広範な文献があり、多くの場合、上記よりもはるかに露骨な談合が見つかっています(例: 少数の企業があり、オークションで誰が勝つかを順番に決める、あるいは少数の企業があり、勝者以外のすべての企業が同じ落札額を入れる)。
レストランの検査スコア
以下のヒストグラムは、A評価とB評価の違いである13と14の間に急激な不連続性を示しています。一部の地域では、B評価とC評価の違いである27と28の間にも不連続性があるようです。そして、2014年のこの古い分析では、B評価とC評価の間に同様の不連続性が見られました。
[画像: レストランの検査スコアのヒストグラム。13と14、および27と28の間に不連続性が見られる]
検査官は、どの違反を記録するかについて裁量権を持っており、レストランが次の上位評価に押し上げられるケースがあるようです。
マラソン完走時間
9,789,093回の完走記録におけるマラソン完走時間(X軸に完走時間、Y軸に回数)のヒストグラムは、毎時30分ごと、および:10、:15、:20のような「丸い」時間で顕著な不連続性を示しています。
[画像: マラソン完走時間のヒストグラム。毎時30分ごと、および:10、:15、:20のような丸い時間にスパイクが見られる]
各レース内での時間の分析(セクション4.4、図7〜9を参照)は、これが少なくとも部分的に、人々が「丸い」時間に近づいている場合、レースの終盤でスピードを上げる(または通常よりも遅くしない)ためであることを示しています2。
注記
この記事は、実際には目標やポイントを持っていません。単に私が面白いと思う不連続性のコレクションです。
おそらく注目に値する点は、キャリアを通じて、不連続性に対する疑念を持ち、その発生源を突き止めることから多くの利益を得てきたこと、そして不連続性を平滑化するために標準的な技術を適用することからも利益を得てきたことです。
不連続性を見つけるためには、「散布図を描く」、「ヒストグラムを描く」、「CDFを描く」といった基本的なツールが役立つことがよくあります。時間的な要素を追加する他の種類の視覚化、例えばflamescopeなども役立つことがあります。
キューは一種の不連続性を作り出し、状況によっては平滑化されるべきであることを上記で述べました。また、他の種類の閾値でも同様の動作が見られること、そしてランダム化が閾値の不連続性を平滑化するための有用なツールとなり得ることも述べました。ランダム化は、MLやその他のアプリケーションで精度を低下させる際に、量子化誤差を減らすためにも使用できます。
Leah Hanson, Omar Rizwan, Dmitry Belenko, Kamal Marhubi, Danny Vilea, Nick Roberts, Lifan Zeng, Mark Ainsworth, Wesley Aptekar-Cassels, Thomas Hauk, @BaudDev、およびMichael Sullivanに、コメント/修正/議論に感謝します。
また、他の興味深い不連続性を私に送っていただくことを歓迎します!
- この論文に関するオンラインでのコメントのほとんどは不正確です。この論文は、押収されたコカインの量が280gに跳ね上がったため、警察の不正行為の証拠として使用されることがよくあります。これは論文で説明されていることとは反対であり、著者は、薬物押収記録に基づくと、押収された量がこの変化の原因ではないと指摘しています。薬物押収が原因ではないと指摘した後、著者は検察官が押収された量とは異なる量で人々を起訴できると指摘し、次のように述べています。
私は、米国検察官執行局(EOUSA)の事件管理データにおいて、2010年以降に280gで集積が見られることを発見しました。また、検察官の約30%が2010年以降の280gの事件数の増加に責任があり、検察官レベルでの集積には地区内および地区間でばらつきがあることも発見しました。280gで事件を集積する検察官は、2010年以降の5年間の閾値である28g超の事件の割合が高く、2010年以前の10年間の閾値である50g超の事件の割合も高いです。さらに、「集積」を行う検察官が別の地区に異動した場合、その地区の他のすべての検察官も最低刑罰での集積の割合を増やします。これらの結果は、観察された量刑での集積が、検察官の裁量に起因することを示唆しています。
これは要旨で言及され、その後導入部で詳述されています(引用された箇所は導入部からです)。したがって、この論文についてコメントしているほとんどの人が、論文またはコメントしている投稿を読んでいないと考えています。ブログ投稿での論文へのコメントのいくつかを調査しましたが、一般的に、これを特定できる場合(例: 投稿のタイトルが間違っている場合)、コメント者の大多数は、コメントしている論文や投稿を読んでいないことがわかりますが、それは別の投稿のトピックです。
押収に関して何らかの不審なことが起こっている証拠はいくつかあります(例: 図A8.(c)を参照)。しかし、論文の分析が正しい場合、その影響は検察官の裁量の影響よりもはるかに小さいです。
[戻る] - このグラフやこの論文についてオンラインで見られる最も一般的なコメントの1つは、ペースランナーがマラソンを提供しているためだというものです。論文のセクション4.4では、これがなぜあり得ないのかについての複数の説明が提供されており、ここでも人々は論文を読まずにコメントする傾向があることが示唆されています。[戻る]