HN 日本語サマリー

← 一覧へ戻る
オープンソース

Google Copybara: リポジトリ間でコードを移動するツール

Google copybara: moving code between repositories (github.com)

261 pointsby reconnecting49 コメント

要約

Copybaraは、Google社内で使用されている、リポジトリ間でコードを変形・移動させるためのツールです。機密リポジトリと公開リポジトリの同期など、複数のリポジトリ間でコードを管理する必要がある場合に特に有用です。現在、Gitリポジトリのみをサポートしていますが、拡張可能なアーキテクチャにより、将来的に他のリポジトリタイプもサポートする予定です。

全文翻訳

Copybara

リポジトリ間でコードを変換し移動するためのツール。

CopybaraはGoogle社内で使用されているツールで、リポジトリ間でコードを変換し移動します。

ソースコードが複数のリポジトリに存在する必要がある場合、Copybaraを使用するとこれらのリポジトリ間でソースコードを変換および移動できます。一般的なケースとしては、機密リポジトリと公開リポジトリを同期させておく必要があるプロジェクトが挙げられます。

Copybaraでは、常に単一の真実の源(ソース・オブ・トゥルース)が存在するように、いずれかのリポジトリを権威あるリポジトリとして選択する必要があります。ただし、このツールはどのリポジトリへの貢献も許可しており、どのリポジトリからでもリリースを作成できます。

最も一般的なユースケースは、あるリポジトリから別のリポジトリへのコードの繰り返し移動です。Copybaraは、コードを一度だけ新しいリポジトリに移動するためにも使用できます。

Copybaraの利用例としては、以下のようなものがあります。

  • 機密リポジトリから公開リポジトリへコードの一部をインポートする。
  • 公開リポジトリから機密リポジトリへコードをインポートする。
  • 権威のないリポジトリからの変更を権威あるリポジトリにインポートする。権威のないリポジトリ(例: 公開リポジトリの貢献者)で変更が行われた場合、Copybaraはその変更を変換し、権威あるリポジトリ内の適切な場所に移動します。マージコンフリクトは、権威あるリポジトリ内の古い変更に対処する場合と同じ方法で処理されます。

Copybaraの主な機能の1つは、ステートレスであること、より具体的には、状態を宛先リポジトリ(コミットメッセージ内のラベルとして)に保存することです。これにより、複数のユーザー(またはサービス)が同じ設定/リポジトリに対してCopybaraを使用し、同じ結果を得ることができます。

現在、サポートされているリポジトリタイプはGitのみです。CopybaraはMercurialリポジトリからの読み取りも可能ですが、この機能はまだ実験段階です。拡張可能なアーキテクチャにより、ほぼあらゆるユースケースに対応するカスタムのオリジンとデスティネーションを追加できます。将来的には、他のリポジトリタイプに対する公式サポートが追加される予定です。

例

core.workflow(
    name = "default",
    origin = git.github_origin(
      url = "https://github.com/google/copybara.git",
      ref = "master",
    ),
    destination = git.destination(
        url = "file:///tmp/foo",
    ),

    # README_INTERNAL.txtファイルが存在する場合でも、それを削除せずにすべてをコピーします。
    destination_files = glob(["third_party/copybara/**"], exclude = ["README_INTERNAL.txt"]),

    authoring = authoring.pass_thru("Default email <default@default.com>"),
    transformations = [
        core.replace(
                before = "//third_party/bazel/bashunit",
                after = "//another/path:bashunit",
                paths = glob(["**/BUILD"])),
        core.move("", "third_party/copybara")
    ],
)

実行:

$ (mkdir /tmp/foo ; cd /tmp/foo ; git init --bare)
$ copybara copy.bara.sky

Copybaraの開始方法

最も簡単な開始方法は、ビルド済みのバイナリが含まれる週次の「スナップショット」リリースを使用することです。これらは手動テスト、バージョン互換性、または正確性の保証なしに自動的にリリースされることに注意してください。

https://github.com/google/copybara/releases からリリースを選択してください。

ソースからのビルド

Copybaraのリリースされていないバージョンを使用するには、HEADからコンパイルする必要があります。そのためには、以下の手順を実行する必要があります。

  • JDK 11をインストール。
  • Bazelをインストール。
  • Copybaraソースをローカルにクローンします。
    • git clone https://github.com/google/copybara.git
  • ビルドします。
    • bazel build //java/com/google/copybara
    • 実行可能なuberjarを作成するには bazel build //java/com/google/copybara:copybara_deploy.jar を使用します。
  • テスト: 壊れたバージョンを使用していないことを確認したい場合は、bazel test //... を実行します。特定のテストでは、基盤となるツール(例: Mercurial、Quiltなど)がインストールされている必要があることに注意してください。これらのテストは、Pull Requestがこれらのモジュールに関連しない場合(そして当社のCIがすべてのテストを実行するため)はスキップしても構いません。
システムパッケージ

これらのパッケージは、お使いのシステムの適切なパッケージマネージャーを使用してインストールできます。

Arch Linux
Bazelプラグインを使用したIntellijの使用

IntellijとBazelプラグインを使用している場合は、このプロジェクト構成を使用してください。

directories:
  copybara/integration
  java/com/google/copybara
  javatests/com/google/copybara
  third_party

targets:
  //copybara/integration/...
  //java/com/google/copybara/...
  //javatests/com/google/copybara/...
  //third_party/...

注意: 設定ファイルは任意の場所に保存できます。ローカルフォルダでも構いません。それらをソースコードとして扱い、VCS(gitなど)に保存することをお勧めします。

Bazelでビルド済みCopybaraを使用する

週次のスナップショットリリースを使用する場合、Copybaraは次のようにインストールします。

  1. Copybaraはバージョン65.0のクラスファイルを出荷するため、Java Runtime 21以降で実行する必要があります。.bazelrc ファイルに以下を追加します: run --java_runtime_version=remotejdk_21

  2. http_jar を使用してリリース成果物をダウンロードします。

    • WORKSPACEで: load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_jar")
    • MODULE.bazelで: http_jar = use_repo_rule("@bazel_tools//tools/build_defs/repo:http.bzl", "http_jar")
  3. WORKSPACEまたはMODULE.bazelで、[version] プレースホルダーを埋めます。

    http_jar(
        name = "com_github_google_copybara",
        # https://github.com/google/copybara/releases/download/[version]/copybara_deploy.jar.sha256 から記入してください。
        # sha256 = "",
        urls = ["https://github.com/google/copybara/releases/download/[version]/copybara_deploy.jar"],
    )
    
  4. いずれかのBUILDファイル(例: /tools/BUILD.bazel)で java_binary を宣言します。

    load("@rules_java//java:java_binary.bzl", "java_binary")
    java_binary(
       name = "copybara",
       main_class = "com.google.copybara.Main",
       runtime_deps = ["@com_github_google_copybara//jar"],
    )
    
  5. 例えば bazel run //tools:copybara -- migrate copy.bara.sky のように bazel run でそのターゲットを使用します。

Bazelの外部リポジトリとしてソースからCopybaraをビルドする

Copybaraのすべての依存関係に対して便利なマクロが定義されています。必要に応じて {{ sha256sum }} と {{ commit }} を置き換えて、以下のコードを WORKSPACE ファイルに追加してください。

http_archive(
  name = "com_github_google_copybara",
  sha256 = "{{ sha256sum }}",
  strip_prefix = "copybara-{{ commit }}",
  url = "https://github.com/google/copybara/archive/{{ commit }}.zip",
)

load("@com_github_google_copybara//:repositories.bzl", "copybara_repositories")

copybara_repositories()

load("@com_github_google_copybara//:repositories.maven.bzl", "copybara_maven_repositories")

copybara_maven_repositories()

load("@com_github_google_copybara//:repositories.go.bzl", "copybara_go_repositories")

copybara_go_repositories()

その後、ワークスペース内からCopybaraツールをビルドおよび実行できます。

bazel run @com_github_google_copybara//java/com/google/copybara -- <args...>
Dockerを使用してCopybaraをビルドおよび実行する

注意: Dockerの使用は現在実験段階であり、フィードバックや貢献を歓迎します。

以下のようにDockerを使用してCopybaraをビルドできます。

docker build --rm -t copybara .

ビルドが完了したら、Copybaraを使用したいコードのルートから、次のようにイメージを実行できます。

docker run -it -v "$(pwd)":/usr/src/app copybara help
環境変数

コンテナにコマンドライン引数を渡すことに加えて、以下の環境変数を代替として設定することもできます。

  • COPYBARA_SUBCOMMAND=migrate
    • 実行するコマンドを変更できます。デフォルトは migrate です。
  • COPYBARA_CONFIG=copy.bara.sky
    • 設定ファイルのパスを指定できます。デフォルトはルートの copy.bara.sky です。
  • COPYBARA_WORKFLOW=default
    • 実行するワークフローを指定できます。デフォルトは default です。
  • COPYBARA_SOURCEREF=''
    • sourcerefを指定できます。デフォルトはなしです。
  • COPYBARA_OPTIONS=''
    • Copybaraのオプションを指定できます。デフォルトはなしです。
docker run \
    -e COPYBARA_SUBCOMMAND='validate' \
    -e COPYBARA_CONFIG='other.config.sky' \
    -v "$(pwd)":/usr/src/app \
    -it copybara
Gitの設定と認証情報

Gitの設定とSSH認証情報をDockerコンテナと共有するには、いくつかの方法があります。以下に例を示します。

docker run \
    -v ~/.gitconfig:/root/.gitconfig:ro \
    -v ~/.ssh:/root/.ssh \
    -v ${SSH_AUTH_SOCK}:${SSH_AUTH_SOCK} -e SSH_AUTH_SOCK \
    -v "$(pwd)":/usr/src/app \
    -it copybara

ドキュメント

ドキュメントはまだ作成中です。以下にリソースを示します。

お問い合わせ

Copybaraの仕組みについてご質問がある場合は、メーリングリストまでお問い合わせください。

オプションのヒント

  • Bazelでテストエラーを確認したい場合、ログを cat する代わりに、~/.bazelrc に以下の行を追加します。

    test --test_output=streamed