Data Transfer レポート ファイルでは、広告キャンペーンの未集計のイベントレベルのデータが提供されます。基本的に、このデータはアド マネージャーの広告サーバーログの未加工データであり、イベントの種類ごとに個別のファイルが生成されます。Data Transfer ファイルには、秒単位の精度のイベントデータが含まれます。それ以外の情報もファイルに追加して、デバイスや地域、イベントに関連するその他の情報を参照できるようにすることも可能です。Data Transfer ファイルに含めるには、アド マネージャーで広告ユニットを承認する必要があります。
設定手順
Data Transfer レポート ファイルの使用には追加料金がかかります。使用するには、まず [高度な機能] で [Data Transfer] を有効にする必要があります。ここでは、料金の詳細も確認できます。注: [高度な機能] で Data Transfer を有効にするには、管理者権限が必要です。
以前に Data Transfer を有効にしたことがありますか？オフラインの追加条項により、以前に [高度な機能] 以外で Data Transfer を有効にしていたネットワークについては、以下の点にご注意ください。
- 次の手順で説明するように、[高度な機能] で利用規約に再度同意するよう求められます。[高度な機能] で Data Transfer を有効にすると、オフラインの追加条項に関する契約は無効となります。ご不明な点がある場合は、アカウント マネージャーにお問い合わせください。
- 以前に有効にしていたすべての管理対象 360 ネットワークについては、アカウント マネージャーに連絡して、[高度な機能] で Data Transfer を有効にしてもらう必要があります。
詳しくは、アカウント マネージャーにお問い合わせください。
Data Transfer レポートを有効にする
抽出、変換、読み込み（ETL）プロセスの管理、大容量ファイルのサポート、テキスト ファイルの操作、中規模データストアの設計と管理、スクリプトの設計と実装をお客様の組織内で行うことができない場合は、Google マーケティング プラットフォーム パートナーに委託されることをおすすめします。
- Google アド マネージャーにログインします。
- [管理者]、[高度な機能] に移動します。
- [機能] で [Data Transfer レポート] に移動します。
- [レート] で、Data Transfer レポートの料金の詳細を確認します。
- Data Transfer レポートを有効にするには、[ステータス] で
をオンにし、利用規約を確認して同意します。
をオンにし、利用規約を確認して同意します。 この機能を有効にしたら、Data Transfer の構成を設定できます。Google アド マネージャーには、Data Transfer の出力ファイル形式として CSV と Parquet の 2 つがあります。
使用可能な Data Transfer レポート ファイル
各 Data Transfer ファイルには、さまざまなイベントに関する情報が含まれています。ファイル形式ごとにフィールドを追加して、それらのイベントに関連するコンテキスト情報を確認することができます。
Backfill ファイルがある場合、ダイナミック アロケーションを使って Ad Exchange や AdSense から配信されたインプレッションは Network ファイルに含まれません。ダイナミック アロケーションを使用したインプレッションに関する情報は、Backfill ファイルで確認できます。Data Transfer ファイルに含まれるデータについて
- データの遅延
記録されてから 15 時間以内の遅れであれば正常です。ただし、Data Transfer ファイルの処理に通常より時間がかかることがあります。データが遅れた場合、そのデータは正確なタイムスタンプが付けられた状態で次の時間のファイルに含められます。たとえば、主に午前 8 時～午前 9 時のタイムスタンプのデータが含まれるファイルに、8 時より前のタイムスタンプのデータが一部含まれることがあります。 -
アクティビティのない時間帯
アクティビティのない時間については、ヘッダーデータのみを含む空の Data Transfer ファイルが配信されます。 - 日付と曜日が切り替わる時間
通常、1 日の最初の時間別ファイルには太平洋標準時間で午前 0 時～午前 1 時のイベントが含まれますが、イベントのタイムスタンプはパブリッシャーのネットワークのタイムゾーンが基準となります。たとえば、パブリッシャーが米国東部時間に設定している場合、最初の時間別ファイルには午前 3 時～午前 4 時のイベントが含まれます。午前 3 時より前の 3 時間分のデータは前日のファイルに含まれます。このように、タイムスタンプとファイル名の日付はずれることがあります。ファイルの配信時間やファイル名ではなく、ファイル内のイベントのタイムスタンプを必ず確認するようにしてください。 - Data Transfer 機能によるマスター / コンパニオンのレポート
Data Transfer ファイルには、マスターとコンパニオンのクリエイティブのインプレッションが両方含まれます。一方、クエリツールでは、それぞれのクリエイティブではなく、マスターとコンパニオンのクリエイティブ セットが配信された場合にインプレッションが 1 回カウントされます（マスターとコンパニオンで情報を分割する場合は除きます）。
コンパニオン クリエイティブのインプレッションの場合、IsCompanionが「TRUE」となります。CreativeIdフィールドには、マスター / コンパニオン クリエイティブのクリエイティブ セット ID ではなく個々のクリエイティブ ID が含まれます。Data Transfer ファイルには、コンパニオン のインプレッションをマスターのインプレッションに関連付けるためのクリエイティブ セット ID 用の追加フィールドはありません。 - アド マネージャーのレポートとの差異
アド マネージャーのレポートや API で生成されるレポートでは、不正なトラフィック（スパムデータ）が定期的に削除されます。ただし、Data Transfer ファイルの発行スケジュールによっては、こうした削除が一部反映されないことがあります。その結果、Data Transfer ではインプレッション数、クリック数、その他のイベント数がわずかに多くなる可能性があります。差異がある場合、その度合いは通常 1% 以下です。CodeServesData Transfer ファイルでは、アド マネージャーのレポートの「コード配信数」指標より高い値が表示されることがあります。これは、Data Transfer では配信されたインプレッションごとにコード配信が 1 回カウントされるのに対し、レポートではリクエストごとにコード配信が 1 回カウントされるためです。Google 広告のテキスト広告などの一部のクリエイティブ フォーマットでは、1 回のリクエストに複数のインプレッションが含まれることがあります。KeyPartフィールドの値別にデータ転送ファイルをグループ化し、ユニーク インプレッション数を比較できます。リクエスト数とインプレッション数の Data Transfer ファイルには、アド マネージャーのレポートの「埋められなかったインプレッション数」指標より低い値が表示されることがあります。これは、Data Transfer では一致しなかった広告リクエストのみがカウントされるのに対し、レポートでは一致しなかった広告リクエストと一致しなかったメディエーション リクエストの両方がカウントされるためです。Data Transfer の埋められなかったインプレッション数は、レポートの「未配信の広告リクエスト数の合計」指標により近い値になります。
NetworkBackfillBidsJoinableファイルには、ネットワーク管理タグによる広告の入札が含まれます。これらの入札の BidSourceType 値は 4 で、Google アド マネージャーのレポートには表示されません。Data Transfer と Google アド マネージャーのレポートの入札の合計を比較する場合は、BidSourceType = 4を除外します。
CSV 出力形式と Parquet 出力形式のメリットとデメリット
| CSV（カンマ区切り値） | Parquet（カラム型ストレージ） | |
|---|---|---|
| 読み取りとアクセス | 人間が読みやすい形式で、基本的なテキスト エディタやスプレッドシート ソフトウェアで簡単に開いて編集できます。 | 表示と編集には専用のツールが必要で、技術者以外のユーザーが簡単にアクセスすることはできません。 |
| 汎用性と互換性 | ほぼすべてのデータ分析ツールと処理ツールで広くサポートされています。 | 特に古いシステムでは、完全な互換性を確保するために追加のライブラリやソフトウェアが必要になる場合があります。 |
| シンプルさと使いやすさ | シンプルな構造で、理解しやすく扱いやすい形式です。特に小規模なデータセットや簡単なアドホック分析に向いています。 | 特にカラム型ストレージに慣れていないユーザーの場合、最初は実装が複雑になる可能性があります。 |
| パフォーマンスと効率 | 行ベースのストレージで圧縮がないため、大規模なデータセットでは速度が低下する可能性があります。 | カラム型ストレージと効率的な圧縮技術により、大規模なデータ処理と分析で優れたパフォーマンスを提供します。 |
| ストレージ効率 | 組み込みの圧縮機能がなく、データ保存が冗長になる可能性があるため、ストレージ効率が低くなります。 | カラム型ストレージと高度な圧縮アルゴリズムにより、ストレージ効率が高く、ストレージ費用を削減できます。特に大規模なデータセットの場合、Parquet は CSV ファイルよりも 50～75% 小さくなる場合があります。 |
Data Transfer がすでに CSV で有効になっている場合は、アカウント マネージャーに連絡して Parquet へのアクセス権を取得してください。
サンプル ファイルをダウンロードする
サンプル ファイルを CSV または Parquet としてダウンロードして、各 Data Transfer レポート ファイルに含まれるデータと項目をプレビューできます。
| イベントの種類 | ファイル名とタイプ | 内容 | サンプル ファイル |
|---|---|---|---|
| 参加可能な入札単価 | NetworkBackfillBidsJoinable |
入札に関する情報。他の Data Transfer ファイルと結合できます。 1 時間に 1 回です。 |
|
| コード配信 | NetworkCodeServes |
ダウンロードされたかどうかにかかわらず、アド マネージャーからのすべての応答を記録します。 1 時間に 2 回です。 注: リクエストとコード配信のファイルは、インプレッションのファイルに追加費用なしで含まれます。 |
|
| インプレッション | NetworkImpressions |
ダウンロード インプレッションに関する情報。 1 時間に 2 回です。 |
|
| リクエスト | NetworkRequests |
処理されたかどうかにかかわらず、アド マネージャーが受信したすべての広告リクエストを記録します。 1 時間に 2 回です。 注: リクエストとコード配信のファイルは、インプレッションのファイルに追加費用なしで含まれます。 |
|
| アクティブ ビュー | NetworkActiveViews |
アクティブ ビュー測定対象の、アド マネージャーに基づくインプレッションに関する情報。 1 時間に 2 回です。 |
|
| 入札単価 | NetworkBackfillBids （ベータ版） |
認定バイヤーと Open Bidding オークションの入札に関する情報。 1 時間に 1 回です。 |
|
| クリック | NetworkClicks |
クリックに関する情報（TrueView のビュースルー クリックなど）。 1 時間に 2 回です。 |
|
| 落札に必要な最小単価 | NetworkMinimumBidToWin （ベータ版） |
少なくとも 1 つの空き枠広告申込情報が競合した場合に、オークションの落札に必要な最小入札単価。 1 時間に 1 回です。 |
|
| リッチメディア コンバージョン | NetworkRichMediaConversions |
標準のアクションとカスタム アクション（再生や一時停止など）、アクションの継続時間など、スタジオのイベントに関する情報。 1 時間に 2 回です。 |
|
| 動画コンバージョン | NetworkVideoConversions |
アクション（再生や一時停止など）、コンテンツ ID、連続配信広告の位置などの、動画固有のイベントに関する情報。すべての動画イベントはこちらをご覧ください。 1 時間に 2 回です。 |
ファイル配信の仕組み
Data Transfer ファイルは、1 時間ごとにアド マネージャーのクラウド ストレージ バケットにプッシュされます。定期的に最新データを確認することをおすすめします。データの大半は記録されてから 5～15 時間後に配信され、利用可能になります。ただし、一部の遅延を伴うイベントについては、発生してから最大 8 日かかる場合があります。アド マネージャーから第三者サーバーに Data Transfer 情報を配信することはありません。
ファイル名には、米国太平洋標準時間でのイベントの開始時間が含まれます（夏時間も適用されます）が、そのファイル内のタイムスタンプは常にアド マネージャー ネットワークのタイムゾーンが基準となります（このタイムゾーンでは夏時間が適用されない可能性があります）。このため、タイムゾーン設定の関係で、ファイルが空白の場合や、ファイルが配信されない、またはファイルに 1 時間分以上のデータが含まれる場合があります。
このような夏時間の移行期も、インプレッション データはすべて配信されます。
ファイル名
データ転送ファイルの名前の形式は次のとおりです。
- CSV:
[タイプ]_[ネットワーク ID]_[YYYYMMDD]_[HH].gz - Parquet:
[タイプ]_[ネットワーク ID]_[YYYYMMDD]_[HH]/という名前のフォルダに配信されます。このフォルダには、[タイプ]_[ネットワーク ID]_[YYYYMMDD]_[HH]-[パーティション インデックス]-of-[パーティションの合計数].parquetという名前のパーティション分割ファイルが含まれています。
- 「
YYYYMMDD」は年月日です。 - 「
HHHH」は 24 時間表記の開始時間です。各ファイル名に含まれている時間（01、02、03 など）は、米国太平洋タイムゾーンでの時間です。ネットワークのタイムゾーン固有のデータが必要な場合は、Data Transfer ファイル内のタイムスタンプを使用してください。ファイルの配信を計算する際は、この時差にご留意ください。
[パーティション インデックス]は、作成されたファイル（パーティション）の合計数に対するファイルのパーティション番号（0 から始まる）です。[パーティションの合計数]は、ファイルの作成に使用されたファイル（パーティション）の数です。
Parquet 形式の場合、「_corrected」フォルダが発行され、そのフォルダ内に「_corrected」ファイルが配置されます。
広告リクエスト プロセスにおける Data Transfer ファイル
以下の図は、広告リクエスト プロセスのさまざまな段階に関連付けられている Data Transfer ファイル形式を示しています。
Data Transfer レポート ファイルを使用する
Data Transfer の設定が完了すると、アド マネージャーのクラウド ストレージ バケットにファイルが保存されるようになります。これらのファイルには、ウェブ、コマンドライン ツール、API をからアクセスできます。アド マネージャーのクラウド ストレージ バケットにアクセスする方法について
ファイル名に記されている開始時間に基づいて特定の Data Transfer ファイルのデータのみを取得し、分析すると、夏時間やデータ収集の遅延などのためにその後のファイルで提供されたデータを見落とす可能性があります。この場合は、Data Transfer ファイルをすべて別のシステム（データ ウェアハウスやクエリエンジンなど）に読み込んでから、イベントのタイムスタンプを基準に分析データを絞り込むことをおすすめします。
Data Transfer ファイルは、CSV ファイルと Parquet ファイルの 2 つの形式で使用できます。
ユーザーは、ファイルごとに CSV、Parquet、またはその両方の出力形式を選択できます。Parquet はデータ ウェアハウスのユースケースと取り込みに最適な形式です。CSV ファイルはファイルサイズに応じてスプレッドシート エディタで使用できます。Data Transfer の情報を利用した分析方法として一般的な例を次に挙げます。
- イベントとアクティビティの多次元的なユーザー集計（クリエイティブ単位など）
- ユーザーと顧客データベースとの照合
- ユーザーの地域と属性の情報に基づいたレポート作成
マッチテーブルは、Data Transfer ファイル内の値に対する名前と ID の照合表です。これを使って、広告配信情報（広告ユニット、広告申込情報など）とデータベース内の事前割り当て値とを照合できます。
ファイルをローカルに保存する
目安として、イベントあたり圧縮ファイルで 25～35 バイトとなります。そのため、1,000 万インプレッションでは、圧縮された CSV ファイルで約 300 MB のディスク容量が必要になります。Parquet 出力形式では、多くの場合ファイルサイズがこれより小さくなります。ただし、これはあくまで目安であり、これよりファイルサイズが多少大きくなることもあります。また、これは圧縮形式のデータサイズなので、ファイルを解凍して使用するにはさらに容量が必要になります。
60 日以上前の Data Transfer ファイルはアド マネージャーから消去されます。60 日間より長くファイルを保存したい場合は、ファイルをローカルに保存するか、恒久的なクラウド ストレージ ソリューションに移動することをおすすめします。たとえば、Google Cloud Storage アカウントを別途取得すれば、そこで提供されるストレージでファイルを自由に管理することができます。
BigQuery Data Transfer Service について
サイズの大きな Data Transfer ファイルを処理するためのサポートツール
Google Code では、CRUSH（Custom Reporting Utilities for Shell）というオープンソースのツールキットを公開しています。このツールキットを使用すると、区切り文字で区切られたテキストデータをコマンドラインまたはシェル スクリプトで処理できます。大規模な開発が行われ広範囲なテストも完了している CRUSH ツールは、Linux や Unix のオペレーティング システムで最適に動作します。CRUSH のサポートは、オープンソース コミュニティを通じて利用できます。
オープンソースではない別のツールとしては、Syncsort が開発したデータ統合ソフトウェア DMX があります。