HN 日本語サマリー

← 一覧へ戻る
その他

スプレッドシート使用に関する私のルール

My Rules for Using Spreadsheets (leancrew.com)

28 pointsby surprisetalk20 コメント

要約

著者は、スプレッドシートの利便性(データ格納、ロジック実行、プレゼンテーション機能)を認めつつも、その使用には慎重であるべきだと主張しています。過去の経験から、複雑なデータ分析や大規模なデータセットを扱う際には、スプレッドシートの柔軟性がかえってエラーや非効率を生む原因となることを指摘しています。

全文翻訳

スプレッドシート使用に関する私のルール

次の投稿 前の投稿

2026年8月1日 午前10時29分 Dr. Drang 著

私の基本的なルールは「やらない」ですが、一言ではブログ記事になりません。

以下では、私がそのルールに至った経緯と、それに例外を設ける場合について説明したいと思います。最近、スプレッドシートをどのように使い、使わないかについてかなり考えてきました。この内省は、Allison Sheridan の Macstock でのプレゼンテーション(彼女のサイトで他の最近のスプレッドシートに関する投稿と共に閲覧できます)と、最近 Numbers を使って差分表を作成したりデータテーブルを整理したりした経験に部分的に触発されています。

まず、スプレッドシートがなぜそれほど魅力的なのかを考えてみましょう。すぐに、データコンテナとして機能するセルのグリッドが表示されます。これらのコンテナを定義する必要はなく、名前を付ける必要もなく、初期化する必要もありません。ただそこにあり、あなたが自由に記入するのを待っています。

このデータに対する操作を開始する際にも、セルの名前を付ける必要はありません。クリック(またはドラッグ)するだけで、関数引数を入力できます。スプレッドシートアプリが適切な行/列参照を埋め込みます。セルの目的を思い出したい場合は、隣接するセルに名前や説明を入力できます。同様に、適切な演算順序を自分で見つける必要もありません。アプリはセル依存関係チェーンを解決し、すべてを、どこでも、同時に再計算します。

そして、各セルのサイズ、色、境界線、フォントスタイルを設定できるため、スプレッドシートはレポート、メモ、スライドショーに挿入するための見栄えの良いテーブルを生成できます。

つまり、スプレッドシートはデータストア、論理マシン、プレゼンテーションツールなのです。わかりますか?

しかし、スプレッドシートがそれらすべてであるなら、なぜ私の「やらない」ルールがあるのでしょうか? その源は数多くありますが、私の職業生活の過去10〜15年間、数十ものデータセットを分析しなければならなかった経験に強く影響されていると言わざるを得ません。それらはすべて Excel スプレッドシートとして送られてきました。それらを送ってきたエンジニアリング会社は、単なるデータストアとしてそれらを作成したのではありませんでした。彼らは独自の分析(通常は私の分析とわずかに重複していました)を含め、スプレッドシートを独自のレポートに含めるためのテーブルとしてフォーマットしていました。これはいくつかの理由で私の仕事を困難にしました。

  1. 彼らの分析を理解し、同意する必要があったため、すべての数式を確認する必要がありました。それらの数式の中には複雑なものもありました。ネストされた IF ステートメントは、従来のプログラミング言語では理解しやすいですが、スプレッドシートでは厄介です。一部は一貫性がなく、同じテーブルの異なる行が異なる数式を持っていました。まるで異なる人が異なる時期に作成したか、以前のプロジェクトのスプレッドシートから適応させたかのようでした。一部は遠くのセルを参照しており、追跡するには多くのスクロールが必要でした。10年以上にわたって、数式を理解しやすくするためにセル名を使用したものは一つもありませんでした。

    上記で言及した複雑な数式には、時折(頻繁ではありませんが)間違いが含まれていました。そして、数式は正しい場合でも、ヘッダーセルの説明が間違っていることがありました。これは、矛盾を解決するために電話でのやり取りが必要になり、分析をさらに遅らせました。

  2. データが2つ以上のシートに分割されていることがよくありました。これは主に、他のエンジニアのレポートにテーブルをうまく収めるためだったと思いますが、彼らの目的には適していても私の目的には適していませんでした。私は分析のためにデータを再結合する必要がありました。また、シートにはしばしば複雑な複数行のヘッダーがあり、CSV ファイルとしてエクスポートするだけでは済まなくなりました。

  3. 私が協力したすべてのエンジニアは、異なる方法でスプレッドシートを構築していました。同じ会社で働いていた人々でさえ、「ABC Engineering」という社内スタイルに従っていませんでした。個々のエンジニアでさえ、プロジェクトごとにスプレッドシートのスタイルを変更していました。基本的に、受け取ったすべてのスプレッドシートは sui generis(唯一無二)であり、すべてのデータクリーニングを手作業で行う必要がありました。これは、このステップに自動化を頼ることができなかっただけでなく、コピー&ペーストの間違いを避けるために作業を二重、三重に確認する必要があったため、私の作業を遅らせました。

根本的に、この経験、特に項目1は、大規模または複雑なものに対してスプレッドシートを使用することに私をうんざりさせました。私が協力していたエンジニアは賢かったのですが、彼らのスプレッドシートは賢くありませんでした。私の結論は、スプレッドシートを組み立てる典型的なクリック&ドラッグ方式の単純さが、スプレッドシートが成長したり新しいデータに適応したりするにつれて、組織の不良とエラーを助長したということでした。「ああ、私は決してそんなことはしないだろう」と言うのは簡単ですが、私は自分がそうするだろうと知っているほど年をとっています。今日のアプリでスプレッドシートを簡単に構築できる容易さは、私を岩礁に導くサイレンの歌のように感じます。

(Reinhart/Rogoff の論文について私に書き込もうとしているなら、安心してください。それは初歩的なスプレッドシートエラーの典型的な例です。ハーバード大学の2人の教授が決してしないであろうエラーであり、不必要な緊縮財政政策による多くの苦しみをもたらしました。そして、Reinhart と Rogoff のエラーが彼らの結論の本質的な真実を否定しないことについて私に書き込もうとしているなら、黙っていてください。)

データと分析ロジックが同じドキュメントにあるという利便性は、特にサイズが異なる複数のデータセットにそのロジックを適用する必要がある場合に問題となります。スプレッドシートテンプレートは、複数のスプレッドシートをまったく同じレイアウトで作成できる場合に優れていますが、私が扱うデータはそのような厳格なパターンには適合しません。例えば、複数の時系列の分析とプロットを行っている場合、それらの系列の期間やデータポイントの数はめったに同じではありません。ロジックがプログラム内にあり、データから分離されている場合、これらのサイズの違いを処理する方がはるかに簡単です。

スプレッドシートのもう一つの問題は、格納できるデータ量が他のデータ分析ワークフローを使用する場合よりも制限されることです。スプレッドシートのサイズ制限は確かに非常に大きいですが、「ビッグデータ」の時代には「非常に大きい」では十分ではないかもしれません。彼女のMacstock での講演で、Allison は米国の赤ちゃんの名前のデータセットでその問題にどのように遭遇したかを示しています。そのデータを処理することについて少し寄り道しましょう。


赤ちゃんの名前のデータセットをダウンロードする方法の1つは、ZIP 形式の CSV ファイルのコレクションとしてダウンロードすることです。コレクション内の各ファイルは1年に関連付けられており、yob1960.txt のような名前が付いています。内容は次のようになります。

Mary,F,51472
Susan,F,39208
Linda,F,37316
Karen,F,36378
Donna,F,34138
[etc]

ここで、最初の項目は名前、2番目は性別、3番目はその年にその名前が付けられた赤ちゃんの数です。行はまず性別、次に数で並べられています。すべてのファイルを連結すると、2,181,032 件のエントリがあることがわかります。Allison が発見したように、これは Excel スプレッドシートには収まりません。Excel は 1,048,576 行に制限されています。これは非常にコンピュータ的な数値で、2^20 または 1024^2 です。Numbers の制限は、よりコンピュータ的ではありませんが、より人間的な 1,000,000 行です。

Allison は…えーと…ずるをしてサイズの問題を回避しました。彼女は人気のない名前を削除してリストを Excel に収まるようにし、その後ピボットテーブルの操作をいくつか実演しました。動画の 1:13:50 から見ることができます。

私は彼女の作業と同様のことを行いましたが、ずるはしませんでした。まず、個々のファイルを1つの大きな CSV ファイルに連結し、年のフィールドも追加しました。これは次のシェルコマンドで行われました。

echo 'Year,Name,Sex,Count' > all-years.csv
for f in yob*.txt; do
  y=${f:3:4}
  sed -e "s/
$//;s/^/$y,/' $f >> all-years.csv
done

年はファイル名から部分文字列展開によって抽出され、sed を介して各行の先頭に追加されます。元のファイルは Windows 形式で CRLF 改行コードを使用しているため、sed コマンドは CR 文字も削除します。その結果、all-years.csv という名前のファイル(Unix 改行コード付き)が得られます。内容は次のようになります。

Year,Name,Sex,Count
1880,Mary,F,7065
1880,Anna,F,2604
1880,Emma,F,2003
1880,Elizabeth,F,1939
1880,Minnie,F,1746
[etc]

(はい、データセットは社会保障登録から来ているとされていますが、社会保障法より数十年前の1880年から始まっています。これは説明できません。また、ミニーがかつて女の子の名前で5番目に人気があった理由も説明できません。)

Python と Pandas を使用して、2001年から2025年(データセットの最後の年)までの女の子の名前で最も人気のある5つを抽出します。これは、簡単なインタラクティブな Python セッションの開始部分です。

>>> import pandas as pd
>>> df = pd.read_csv('all-years.csv')
>>> cols = ['Name', 'Count']

これは CSV ファイルをデータフレームに読み込み、出力に含めたいデータフレームの列を定義します。各行の先頭にある >>> はインタラクティブな Python プロンプトです。興味のある名前のリストを取得する方法は次のとおりです。

>>> df[(df.Sex=='F') & (df.Year>2000)][cols].groupby('Name')\
... .sum().sort_values('Count', ascending=False)[:5]
           Count
Name            
Emma      449576
Olivia    423613
Isabella  381577
Sophia    368619
Emily     353077

... は継続入力行を示します。その後のすべてが出力です。

コマンドを読み進めると、次のことがわかります。

  1. 2000年以降に生まれた女の子のデータサブセットを取得しています。
  2. 出力は Name と Count フィールドに限定しています。
  3. 出力を Name でグループ化しています。
  4. 各 Name の Count を合計しています。
  5. 結果を Count の降順で並べ替えています。
  6. 上位5つの名前のみに制限しています。

これは明らかに長いコマンドですが、論理的な方法で構築されていることがわかります。

これらを1世紀前の人気のある女の子の名前と比較したい場合、コマンドは非常に似ています。

>>> df[(df.Sex=='F') & (df.Year>1900) & (df.Year<=1925)][cols].groupby('Name')\
... .sum().sort_values('Count', ascending=False)[:5]
            Count
Name             
Mary      1056333
Helen      505522
Dorothy    475151
Margaret   402317
Ruth       364923

私の妻と私は、これらの名前の一部を持つ大叔母がいました。

データベースの達人であれば、Pandas の groupby 関数が SQL の GROUP BY 構文のコピーであると認識するでしょう。SQLite を使用して、これをインタラクティブなセッションでやり直してみましょう。CSV ファイルからデータをインポートすることから始めます。

sqlite> .mode csv
sqlite> .import all-years.csv names
sqlite> .mode columns

モードはデータをインポートするために csv に設定され、出力を希望どおりに見せるために columns に戻されます。

これで、21世紀の女の子の名前の上位5つを取得し、降順で表示します。

sqlite> select Name, sum(Count) from names
     ...> where Sex is "F" and Year > 2000
     ...> group by Name order by sum(Count) desc limit 5;
Name      sum(Count)
--------  ----------
Emma      449576    
Olivia    423613    
Isabella  381577    
Sophia    368619    
Emily     353077    

SQL は確かに英語に似ていますが、Pandas との類似性がわかります。では、20世紀初頭はどうでしょうか。

sqlite> select Name, sum(Count) from names
     ...> where Sex is "F" and Year > 1900 and Year <= 1925
     ...> group by Name order by sum(Count) desc limit 5;
Name      sum(Count)
--------  ----------
Mary      1056333   
Helen     505522    
Dorothy   475151    
Margaret  402317    
Ruth      364923    

Allison は、ピボットテーブルを使用して、切り捨てられた Excel ファイルで同様のことを行います。「ピボットテーブル」という名前は嫌いです。単純なグループ化と集計操作の曖昧な用語だと思います。なぜか私の感情は関係なく、ピボットテーブルはここにあります。Pandas には、Excel から来た人々をなだめるために pivot_table 関数さえ追加されています。内部的には、pivot_table は groupby を呼び出します。


さて、これはかなり長い寄り道でしたが、どこにいたか忘れてしまっても許します。スプレッドシートの使用をためらわせるもののリストをちょうど通過したところでした。なぜスプレッドシート使用に関する私の最初のルールが「やらない」なのか、という点です。

しかし、例外を認めます。私の2つの主な例外は次のとおりです。

  1. 問題が画面にほとんどスクロールなしで見えるほど小さく、カンマや括弧を数えなくても簡単に理解できるほど操作が単純な場合。これは、立方和の差分表で行ったことです。数式は主に減算で構成され、その他にべき乗や除算の演算がいくつかありました。右下にある連立方程式の解だけが実際の関数呼び出しを含んでおり、ネストされた呼び出しはありませんでした。

    [画像: Cubic sum spreadsheet]

  2. データを渡す前に編集するための中継地点としてスプレッドシートを使用する場合。これは、野球チームの進捗の投稿で、Baseball Reference からの大きくて扱いにくいシーズン結果テーブルを編集するために行いました。Safari でテーブルを選択し、Numbers に貼り付けて、不要な列と行を削除するのは、速くて簡単でした。しかし、これは一回限りのプロジェクトだったため、この方法で行いました。もし私がシーズン中の毎日、全30チームの進捗チャートを作成する仕事を任されたら、手作業でそのようにすることは決してありません。Pandas の read_html 関数を使用して HTML テーブルをデータフレームにプルし、さまざまな drop コマンドを使用してそれを削減します。

以前はデータ入力にもスプレッドシートを使用していましたが、今はもう使用していません。かつては、本で見つけた数値テーブルを電子形式で入力する唯一の信頼できる方法でした。しかし、OCR は非常に改善されたため、最後にこれを行ったのはいつだったか覚えていません。

スプレッドシートを使うのが大好きな人がたくさんいることは知っています。彼らは多くの時間を費やしてその詳細を学び、別のツールに切り替えたくありません。それは構いません。この投稿は、誰か他の人のルールではなく、私のルールについてのものです。スプレッドシートで、良質で正確で複雑な作業ができないと言っているわけではありません。それは単に私が行うことはないということです。

次の投稿 前の投稿