タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLではなくELT（音楽グループではない）が主流になりつつある」といったような論調も増えてきました。 この記事では、ETLとELTの違いや、なぜELTにシフトしつつあるのか、この先どうなるのか（予想）について、私なりの見解を書いてみようと思います。 一昔前まではETLパターンが多かった Redshiftが登場した2013年頃、人々はデータレイク層はS3上で構築し、データウェアハウス層〜データマート層はRedshift上に組む人が多かったよう
DataEngineeringStudy #13に10Xの瀧本が登壇した際の資料です。
こんにちは。CData Software Japanリードエンジニアの杉本です。 以下の記事でも紹介されている通り、データレプリケーション・ELTツール「CDataSync」の Starter ライセンスで全データソース（現在約200種類以上）の利用が可能になりました！ www.cdatablog.jp 試しにデータソースの一覧のフルページキャプチャをしてみたところ、壮観ですねー！ www.cdata.com 通常SaaSなどのクラウドサービス上のデータはExcel・CSVエクスポート機能やAPI連携の開発を行わなければ、データをまるっと取ってくることができませんが、このCDataSyncを使うことで手軽にRDBやDWHにデータを複製して活用することができるようになります。 今回の記事ではCDataSync 無償版ライセンスの取得方法から簡単な使い方まで、ざっくりとお伝えしたいと思います。
大阪オフィスの玉井です。 今回はMeltanoというツールをご紹介します。 Meltanoとは？ 公式から引用すると「DataOps時代におけるEL(T)ツール」だそうです。 … …私の個人的な感覚で説明しますが、絶妙な位置づけのEL(T)ツールです。やることはELT（メインはEL）なのですが、とにかく位置づけが絶妙なのです。 Meltanoの絶妙なポジション データをE（抽出）してL（ロード）する…という仕組みを行いたいとき、ざっくり分けると、下記のどちらかを選ぶと思います。 手動で開発する（Pythonなど） そういうサービスを導入する（Fivetranなど） 前者は何でもできますが、人と時間のコストが半端じゃないです。後者はめちゃくちゃ楽ですが、ちょっとカスタマイズしたいみたいな時に、あまり身動きがとれません（融通が効きづらい）。 Meltanoは上記の中間に位置する感じです。コード
この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Snowpark 今回の処理 結局Snowparkが使えると何がいいか 最後に はじめに こんにちは@Takayoshi_maです。今日はGoogle Analytics(UA) → Airbyte → Snowflake (Snowpark for Python)という流れでデータの抽出、加工を行います。 各々の技術について大雑把に紹介 Snowflake Snowflake社（ティッカーコード: SNOW）
こんにちは！シンプルフォームの山岸です。 当社では現在、Snowflake をベースとするデータ基盤への移行に向けて、機能・非機能それぞれについて検証・構築を進めています。今回は、機能要件の中でも特に重要な要素である ELT アーキテクチャについて、具体的な実装とともにご紹介できればと思います。 アーキテクチャ 早速本題ですが、移行後のデータ基盤として以下のような ELT アーキテクチャを構築しました。 プロダクト環境として product1, product2 ... のような複数の AWS アカウントが存在しているようなケースを想定します。各環境のプロダクト用 Aurora データベースを、Snowflake 環境上のスキーマとして再現します。 Snowflake 環境にデータを取り込んだ後のモデリングは dbt で行います。Staging 層から実際に利用されるテーブルを再現する部分
OPEN SOURCEpip install dlt and go dlt (data load tool) is the most popular production-ready open source Python library for moving data. It loads data from various and often messy data sources into well-structured, live datasets. Unlike other non-Python solutions, with dlt library, there's no need to use any backends or containers. We do not replace your data platform, deployments, or security mode
このポストについて#このポストは datatech-jp Advent Calendar 2023 の18日目の投稿です。 web の記事で見かけた dlt というツールが気になったので調べてみた。 dlt の概要について書いていく。 What is dlt?#https://dlthub.com/ dlt とは “data load tool” の略。 雑に言うとデータパイプラインにおける ELT の Extract と Load を行う ものとなっている。 主にベルリンとニューヨークに拠点を持つ dltHub 社によって開発されており、OSS の Python ライブラリとして提供されている。 次のような特徴を持つ。 プラットフォームではなくあくまでライブラリであることが強調されているつまり Airflow, GitHub Actions, Google Cloud Functions
こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL（Extract/Transform/Load）の誤字でしょと言われることが多いのですが、ELT（Extract/Load/Transform）です。 データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について データ分析基盤構築の肝は、データレイクとDWHの分離 データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い データ分析基盤における個人情報の扱いについて データの民主化とは？ まずはじめに、データの民主化の概念の説明です。「データの民主化」あるいは「アナリティクス（分析）の民主化」とも言われます。これは、データ
※ こちらはミツモアAdvent Calendar 2021の12/20分の記事です。 こんにちは、ミツモアCTOの柄澤（@fmy）です。今回は、ちょうど1年半前ぐらいに整備したミツモアデータ分析基盤についてご紹介いたします。（記事にするのが遅くなってすみません） 全体像 ミツモアのデータパイプラインの全体像は以下のようになっています。 ミツモアのデータパイプライン このパターンはETL（Extract / Transform / Load）ではなくELTと言われ、ExtractとLoadを行ったのちに、データウェアハウスの中でTransformを実施する戦略となっています。BigQueryに代表される今日のデータウェアハウスは膨大なデータを保持し、大量の並列処理を可能とする能力があるので、一旦データウェアハウスにあらゆるデータを入れたのちに、自由にデータの変換処理をする方が筋が良いように
CData Drivers あらゆるSaaS / DB へのリアルタイム連携を実現する高機能コネクタ。
ヤマハは、「Every Little Thing」（以下、ELT）とコラボレーションした「なりきりマイク feat.ELT 持田香織 スペシャルルーム」を、ビッグエコー（第一興商）の3店舗で提供すると発表した。10月11日までの期間限定で、人の歌声を別人の歌声にリアルタイム変換する新技術「TransVox（トランスヴォックス）」の実証研究との位置付け。
別居するも、子どもが心配で2020年5月に家に戻った 2018年9月、A子さんは伊藤の同意を経て1度目の別居に至った。別居先の賃貸マンションの名義人は伊藤。伊藤はA子さんの別居先も把握している状況だった。前出の知人が語る。 「A子さんは子どもを伊藤さんの家に置いて別居していましたが、ほぼ毎日のように会っていました。朝夕のご飯を作りに自宅に通い、保育園の送迎や、夜、子どもの入浴や歯磨きを済ませて、別居先に戻るという生活を続けていました。その時のA子さんは仕事はしていたもののそこまでの経済力はなかったので、子どもたちは連れていけなかったそうです。別居費用は特にもらわず、子供の塾代、ご飯代は領収書を見せたら払ってもらえたそうです。足りない分は自分の貯金を取り崩して生活していた。 結婚について語る伊藤「結婚して子どもを育てて、その子を成人させてっていうとかなり経済的な負担がある」（YouTubeチ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに はじめまして。 NTTデータ ソリューション事業本部 デジタルサクセスソリューション事業部 の nttd-nagano です。 Informatica（インフォマティカ） のクラウドデータマネージメントプラットフォームとして、「Intelligent Data Management Cloud」（※1。以下IDMCと記載）というものがあります。 今回は、そのIDMCのデータ統合サービス「Cloud Data Integration」（※2。以下CDIと記載）の機能「プッシュダウン最適化」機能（Pushdown Optimiza
こんにちは！シンプルフォームの山岸です。 皆さん、ETL / ELT のワークフローエンジンには何を利用されているでしょうか？ Apache Airflow や、その AWS マネージドサービスである Amazon MWAA を利用されている方も多いかと思います。もしくは TROCCO や Fivetran のようなマネージドなワークフローツールを利用されているかもしれません。 当社では多くのワークフローで AWS Step Functions (SFN) を利用しています。今回、Snowflake への ELT ワークフローを SFN で実装してみたので、本記事ではその内容についてご紹介できればと思います。 背景・課題感 背景 少し前に、「Snowflake × dbt で構築する ELT アーキテクチャ」というタイトルの記事を投稿しました。詳細な説明はそちらに譲りますが、AWS 環境か
こんにちは。株式会社JMDC データウェアハウス開発部の垂水です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2025 2日目の記事です。 目次 1. はじめに 2. 刷新前後のシステム構成イメージ ■before ■after 3. 現行システムで抱えている課題と解決状況 4. ELTからETLに切り替わってどうだったか ■データ加工ロジックの基盤刷新(SQL -> pandas) 良かった点・工夫した点 ■データ保存先の刷新(RDB -> S3) コストとリソースのトレードオフ 5. おわりに 1. はじめに 現在、データベースの機能と処理性能に深く依存していたELTシステムを、アプリケーション側で処理を行うETLシステムへと刷新するプロジェクトを進めています。 本番リリースがいよいよ目前に迫ってき
これは何？ この記事は Snowflake Advent Calendar 2022 の19日目および dbt Advent Calendar 2022 の22日目の記事です。 (本当は別々の日でそれぞれ記事で上げたかったのですが、同じような内容になるので統合させていただきました。恐縮です。) 私はちょうど一年前くらいからdbtをSnowflake上で利用しています。 その中で色々と我流のTipsが貯まりはじめたので、私なりの利活用やベストプラクティスについてざっくりとまとめつつ、今後のSnowflake + dbtのデータエンジニアリングの展望についても軽く触れていきたいと思います。 Snowflakeとdbtの使い分け 2022/12/19時点での結論構成、こんな使い分けの構成がよいと思っています！ 理由は後述します。 可能な限り上流に近いデータソースからdbtに登録してしまってTra
“Data is the new oil” — a statement that has underscored our approach to data management over the past decade. We’ve dedicated ourselves to gathering, processing, and analyzing vast volumes of data to fuel our journey towards becoming a data-driven organization. However, with the rise of ChatGPT, collecting over 1 million users in just 5 days, the landscape has shifted. This phenomenon has sparked
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く