HN 日本語サマリー

← 一覧へ戻る
ビジネス・スタートアップ

Ada: CSVおよびExcelからビジネスインテリジェンスを提供するAIソフトウェア (LLMだがそれ以上)

Ada: An AI business intelligence software from CSV and Excel(yes LLMs but more) (github.com)

4 pointsby saineshnakra2 コメント

要約

Adaは、CSVやExcelファイルをアップロードするだけで、インタラクティブなダッシュボード、異常検知、予測、ビジネス上の変化の説明、次に調査すべき推奨事項を提供するオープンソースの自動データアナリストです。ユーザーは自然言語で質問でき、その計算根拠も提示されます。Adaは、従来のBIツールでは困難な、初めてのユーザーでもビジネスの状況を理解できるシンプルなユースケースに焦点を当てています。AI機能はオプションであり、ローカル実行が可能な決定論的な計算が常に権威を持ちます。

全文翻訳

ADA: Automated Data Analyst

[画像: CI] [画像: Python] [画像: License: MIT] [画像: Stars]

ADAは、まだ確認していないCSVまたはExcelファイルに対する最初のパスです。日付、測定値、グルーピング列を検出し、可能な限りクリーニングを行い、トレンド、グループ別内訳、異常フラグ、ベースライン予測を構築します。すべての数値はpandasから取得され、それを生成した計算とともに表示されます。

販売データのエクスポートにも機能しますが、研究データ(実験室アッセイ、フィールド調査、機器ログ)のために構築されました。温度、pH、濃度などの測定値を合計するのではなく平均化し、数値列のNA、nd、<LODを欠損値として読み取ります。

Webアプリを試す(サインアップ不要、APIキー不要)か、pip installしてください。

[画像: ADAに平易な英語で質問し、その計算結果とともにpandasベースの回答を得る]

クイックスタート

pip install automated-data-analyst
import ada

report = ada.analyze("lab-measurements.csv")   # パス、DataFrame、または生のバイト
print(report)
lab-measurements.csv — 936 行、2024年9月2日~2026年2月23日
  date=Run Date  measure=Viability %  segment=Treatment

直近の変動は+0.1ポイント。Controlが平均91.6%で最も高い。
...
  91.6%  主要な治療法
      Controlが平均Viability %で最も高く、91.6%です。Compound Bが最も低く、84.8%です。
      calc: Treatmentごとの平均Viability %; 平均はシェアに分割されません
  1  異常な期間
      2025年7月は最も急激な異常です:viability %は81.5%に達し、予想される88.1%–90.1%の範囲を下回りました。
      1期間がトレンドラインバンドの外にあります。
      calc: 期間値 vs Theil–Senトレンドライン ± 20個の安定した系列のうち1つだけがフラグを立てるように調整されたバンド
  ...

そのファイルはパッケージに含まれています:ada.sample("Lab Measurements")でロードでき、ada.samples()でバンドルされている4つのデータセットすべてを一覧表示できます。

コマンドラインから:

ada analyze measurements.csv          # 同じレポート
ada analyze measurements.csv --json   # JSON形式で
ada schema measurements.csv           # ADAがどの列を何に使用したか
ada ask orders.csv "which category made the most revenue"

何をするか

  • 控えめにクリーニングし、変更内容を報告します: エンコーディング(UTF-8、UTF-16、Latin-1)、区切り文字(;、タブ)、ヘッダー上のタイトル行、$1,203.55や(48.10)のような数値形式、日付の日の順序/月の順序、欠損値マーカー。同一行はカウントされ、削除されません。
  • 列の役割を検出します: 名前、タイプ、カーディナリティから、日付、測定値、グルーピング列、ID列を検出します。ada.analyze(df, measure="OD600")やアプリでいずれかをオーバーライドできます。
  • 合計できるものを認識します: 金額とカウントは合計されます。レート(Viability %、Churn Rate)と測定レベル(Water Temp (°C)、pH、Concentration (mg/L))は平均化されます。平均値には合計や「総計に対するシェア」はなく、レートの変更はパーセンテージポイントで報告されます。
  • タイムラインを構築します: データが埋まる期間の粒度を選択し、データが部分的にしかカバーしていない最後の期間を削除し、チャートの下に両方を記載します。
  • 異常をフラグ付けします: Theil-Senトレンドラインの周りのバンドの外にある期間。バンドはシミュレーションによって調整され、安定した系列が約20回に1回誤ってアラームを発生させます。
  • バックテスト付きで予測します: 月ごとの季節性を持つトレンドライン。変更なしの予測と比較して、保持されていない期間でスコアリングされます。履歴が少なすぎる場合は実行を拒否します。
  • 平易な英語の質問(「サイトごとの平均pH」、「どの治療法が最も低下したか」)に回答します。固定クエリプランに変換してpandasで実行します。表現できない質問は、近似的に回答するのではなく拒否されます。
  • 95%の区間、サンプルサイズ、ランク相関チェックで相関を報告します。複数のペアの中から最も強いものとして選択されたことを示します。
  • 選択したスライスを分析します: Exploreチャート上でボックスや投げ縄を描画するか、バーをクリックすると、全体の分析の隣にそれらの行に対する同じ分析結果が得られます。

Webアプリは最大25MBのファイルを受け付けます。デフォルトでは最新の250,000行が分析されます(row_limit=で変更可能)。

[画像: ラボサンプルのADAダッシュボード:異常と予測を伴う Viability の推移、治療法ごとの変化、ヒートマップ、分布、散布図] [画像: 各発見とその計算結果をリストするADA証拠台帳]

しないこと

1つのテーブルを記述します。ドメイン知識はなく、統計パッケージでもありません:仮説検定、研究デザイン、多重比較補正はありません。印刷される推奨事項は、次に何を見るべきかの提案であり、因果関係の主張ではありません。特定の比較に対してp値が必要な場合、ADAはその前のステップです。

Pythonからの使用

report = ada.analyze(df, date="Survey Date", measure="Water Temp (°C)", dimension="Site")

report.profile()          # 列ごとの1行:タイプ、欠損値、一意の値
report.evidence           # 発見、それぞれに .statement と .calculation がある
report.trend()            # 期間ごとの測定値、調整に関する注記付き
report.segments()         # グループごとの測定値、DataFrameとして
report.anomalies          # フラグ付けされた期間
report.forecast()         # .backtest 付きの予測
report.ask("average pH by site")
report.focus("North Marsh")   # 1つのグループに対する同じ分析
report.to_dict()          # JSONセーフ、スキーマバージョンでバージョン管理
report.to_markdown()      # Webアプリがダウンロードするレポート

ADAが回答できない場合、数値の代わりにRefusalを返します。 refusalは偽値であり、ada.REFUSAL_CODESからのcodeを持ちます:

forecast = report.forecast()
if not forecast:
    print(forecast.code, forecast.message)
    # thin_history 予測にはこの履歴よりも多くの履歴が必要です。テーブルには4期間あります。

report.anomaliesは、チェックして何も見つからなかった場合は空のタプルを返し、チェックできなかった場合(日付列がない、期間が少なすぎる)はRefusalを返します。どちらも偽値なので、違いが重要な場合は型を確認してください。

スケジュールされたチェック

ada checkは異常検出を実行し、終了コードを通じて報告するため、cronジョブに配置できます:

ada check saas-subscriptions.csv --frequency M
# anomaly:2025-04-01  162,605.02, expected 267,236.53 below
終了コード意味
0チェック済み、何もフラグ付けされず
1少なくとも1つの期間がフラグ付けされた
2入力を読み取れなかった
3チェックできなかった:日付列がない、または期間が少なすぎる

スケジュールされたものには--frequency(Pythonではfrequency=)を渡してください。これにより、実行ごとに期間の粒度が変更されなくなります。

サンプルデータセット

すべて合成データです。Webアプリで選択するか、ada.sample(name)でロードしてください。

サンプル何を示すか
Lab measurements治療法ごとの細胞培養アッセイ:生存率は平均化され、生細胞数は合計され、1つの減少アーム、1つの不良プレート
SaaS subscriptions2025年4月の収益低下を異常検出が発見
Support tickets収益列がなく、変更なし予測に勝てず、それを報告する予測
Ecommerce orders返品は負の行として扱われるため、合計は混合符号を処理する必要がある

Webアプリのローカル実行

git clone https://github.com/saineshnakra/automated-data-analyst.git
cd automated-data-analyst
python -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate
pip install -e ".[app]"
streamlit run app.py

APIキーは不要です。アプリはデモデータセットで開きます。pip install -e ".[app,ai,dev]"でオプションのAIレイヤーとリンターが追加されます。Python 3.11、3.12、3.13でテスト済みです。

データは私のマシンから離れますか?

ADAを自分で実行する場合:いいえ。 クリーニング、検出、チャート、回答は、ネットワーク呼び出しなしでpandasを使用してローカルで計算されます。

ホストされているWebアプリ: ファイルはStreamlitサーバーにアップロードされ、セッション中はメモリに保持されます。データベースには書き込まれません。それが気になる場合は、ローカルで実行してください。

オプションのAIレイヤー(APIキーが必要)は、ルールで解析できない質問のためのクエリプランナーと、書面による要約を追加します。列名、タイプ、計算された発見を受け取ります。行は受け取りません。発見はグループ(例:サイトや製品)の名前を付けることができます。計画されたクエリはあなたに表示され、承認後にのみローカルで実行されます。モデル生成コードは決して実行されません。

詳細:プライバシー · SECURITY.md

ドキュメント

ページ内容
Concepts用語:測定値、セグメント、期間、レートとレベル、証拠
How it worksアップロードからレポートまでのステップ
Architectureどのモジュールが何をするか
Referenceステップごとの1ページ、正確なルールと閾値付き
Developmentセットアップ、テスト、CI
FAQ短い回答

なぜ推測するのではなく拒否するのかについての背景:I Built an AI Data Analyst That Tells You When It Hallucinates

貢献

サンプルファイル(合成データでも可)付きのバグレポートが最も役立ちます。コードについては、CONTRIBUTING.md、good first issues、およびロードマップを参照してください。新しい分析ルールには、薄いデータでの動作を含むテストが必要です。

ADAが役に立つ場合、スターは他の人がそれを見つけるのに役立ちます。

引用

リポジトリのルートにCITATION.cffがあります。GitHubのCite this repositoryボタンでBibTeXまたはAPA形式に変換できます。

ライセンス

MIT · Copyright (c) 2024 Sainesh Nakra