公開日 2024/05/28更新日 2024/12/02注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット会員限定コンテンツ無料登録してアーキテクチャ
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。この記事追加してっていう要望も歓迎いたします。 テンプレート 2025年 2024/09/12 : 株式会社朝日新聞社 データソース : Google Analytics、Adobe Analytics、Amazon S3、Amazon RDS データ処理 : TROCCO、BigQuery アウトプット :Tableau、Looker Studio 2024/09/12 : 株式会社CARTA MARKETING FIRM データソース : Amazon EC2、Amazon S3 データ処理 : Fivetran、Snowflake、dbt、AWS Step Functions、Element
8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータ基盤アーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要まとめページはこちら https://findy-tools.io/products/bigquery/49 ▼Findy T
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである。スタースキーマには唯1つもしくは少数のファクト表と複数のディメンション表が含まれる。スタースキーマはスノーフレークスキーマの一種であるが、多くの用途で利用されている。 DWHに利用される最も単純なスキーマ 唯一または少数のファクトテーブルと、複数のディメンションテーブルが含まれる スノーフレークスキーマの一種 モデル ファクト表はデータウェアハウスでの解析で利用され、複数の異なるディメンションに区分される。ファクト表は主要なデータを持つ一方、ディメンション表は相対的にサイズが小さくディメン
SNOWDAY JAPAN 2023で「7年使ったRedshiftから6ヶ月かけてSnowflakeへ移行した話 〜手の内全部お見せします〜」というタイトルで登壇した資料です。 https://www.snowflake.com/about/events/snowday-japan-2023/?lan…
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
はじめに データ活用と生成AI 構造化されたデータと生成AI 事例 Uber LinkedIn Pinterest さいごに はじめに ikki-sanのデータ活用の民主化へのコメントをそうだなと思いながら読んで、最近自分もそんな感じの領域のことをベンダー所属のプロダクトマネージャーとしてやっているので、考えていることをまとめてみる。 この数年間で「データの民主化」はイマイチ進まなかった印象ですが、その原因は「SQLの習得難易度」によるところが大きい。そこに関しては生成AIで相当解決されるはずなので、今後はデータの民主化がスタンダードになると予想しています。— ikki / stable代表 (@ikki_mz) 2025年4月7日 データ活用と生成AI これまで社内に蓄積された構造化されたデータを取得・操作するにはSQLおよびデータベースの理解が必要であり、その理解がない人たちは誰かにデ
「Streamlit」の使いはじめ方をまとめました。 1. Streamlit「Streamlit」は、機械学習およびデータサイエンスのためのWebアプリケーションフレームを簡単に作成して共有できるPythonライブラリです。 2. HelloWorldの作成HelloWorldの作成手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 (2) パッケージのインストール。 $ pip install streamlit(3) helloworld.pyの作成。 ・helloworld.py import streamlit as st st.text("Hello World!")(4) helloworld.pyの実行。 $ streamlit run helloworld.pyブラウザが自動的に開いて、Webアプリケーションが表示されます。 3. 風船を飛ばすボタンの作成あ
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
株式会社CARTA MARKETING FIRMでDSP(Demand-Side Platform)の開発をしている機械学習エンジニアのmikanfactoryです。特にMLOpsを担当しています。 背景 当社のDSPでは、配信ログを用いた機械学習モデルによる配信最適化を行っています。データパイプラインはSnowflake+dbtで構築し、Prefectを使用して機械学習モデルの構築・デプロイを実施しています。 サービスの成長に伴い、データパイプラインのコストは徐々に上昇傾向にありました。特に12月中旬には大幅なコスト増加が発生し、さらに年末年始の繁忙期を控えていたため、早急なコスト対策が必要となりました。 データパイプライン 図のような構成となっていました（※わかりやすくするために一部加工してあります）。 改善方針 影響範囲を最小限に抑えるため、上流（テーブルA、B）ではなく下流のテーブ
米通信キャリア大手のAT&Tは7月12日（現地時間）、約1億900万人、“ほぼ全員の”モバイル顧客データがサードパーティのクラウド上のワークスペースから違法にダウンロードされたことが判明したと発表した。 AT&Tは米Bleeping Computerなどに対し、「サードパーティのクラウド」が米Snowflakeであることを明らかにした。 AT&Tが米証券取引委員会（SEC）に提出した書類によると、盗まれたデータには、2022年5月1日から10月31日までと2023年1月2日に行われた、AT&Tのほぼすべてのモバイル顧客とMVNOの顧客の通話記録とテキストメッセージ記録が含まれていた。 通話やテキストの内容、顧客名、社会保障番号や生年月日などの個人情報は含まれていなかったとしている。 顧客はFAQページで自分の電話番号も含まれているかどうかを確認できる。 Snowflakeは、法人顧客向けに
スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 株式会社Algoage事業概要株式会社Algoageは、東京大学で機械学習の研究をしていたメンバーで2018年に創業したスタートアップです。AIを活用したサービス開発、研究開発を行っており、2020年に合同会社DMM.comと資本業務提携を締結いたしました。 「誰もが簡単に、最良の意思決定ができる世界」をミッション
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
DifyのMCPプラグインとZapier MCPを利用してDifyとSnowflakeを連携させ、Snowflakeのデータを自然言語で扱ってみました。本記事では、その連携方法を中心に紹介したいと思います。 はじめに 利用したサービス Dify Zapier Snowflake 構成 連携設定 Snowflake の設定 Zapierの設定 Dify の設定 動作確認 まとめ 参考 はじめに こんにちは。NTTコミュニケーションズの大島です。普段は、クラウドサービスを中心に、データレイクやデータウェアハウスの検証をしています。 最近注目されているMCP (Model Context Protocol)という技術があります。 これはAnthropic が発表したオープンなプロトコルで、AI と外部システムの接続を標準化するものです。 LLMを利用したアプリケーション(MCPクライアント)が、
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
公開日 2024/12/10更新日 2024/12/10Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 はじめにLayerXでは、「バクラク」という企業のバックオフィス業務を効率化するクラウドサービスを提供しています。稟議、経費精算、法人カード、請求書受取、請求書発行といった経理業務に加え、勤怠管理といった人事領域（HRM）の業務を効率化するサービスも展開しています。最新のAI技術を活用し、お客様の業務が、より「ラク」になる環境の実現を目指しています。導入実績は10,000社を超え、多くのお客様に選んでいただいております。 バクラク | バックオフィスから全社の生産性を高める このようなサービスを支えるためには、ビジネスニーズに迅速に応えられる拡張性の高い効率的なデータ基盤が不可欠です。バクラクでは、サービスの成長と共に増大するデータ量や複雑化する
こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。 とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思
この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、実際に移行作業を進めてみてどうだったか等を紹介したいと思います。データ基盤を運用している方、データウェアハウスの比較検討をされている方などの参考になれば幸いです。 なぜデータウェアハウスを移行するのか Redshiftのパフォーマンスとコストの問題 まず、NewsPicksの従来のデータ基
執筆：Nick Biasini、協力：Kendall McKay、Guilherme Venere クラウド データ プラットフォーム Snowflake のログイン情報の流出、盗難に端を発した数々の影響と流出後の攻撃が続々とニュースになっています。 攻撃者は、情報窃取マルウェアを使用して Snowflake アカウントのログイン情報を入手しました。中には多要素認証（MFA）で保護されていないものがあり、それを使用して Snowflake の顧客アカウントに侵入し、機密情報を盗み出しました。しかし、Snowflake の本当の問題はこの点ではありません。このインシデントは、ここしばらく脅威環境で見られているはるかに大きな変化の現れであり、その焦点はアイデンティティにあります。 過去数十年の間に犯罪的脅威を取り巻く環境が崩壊し、ランサムウェアやデータ強奪が広まっている状況を Talos は目
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経験がない データエンジニアリングを学んでみたいが、どこから手をつけるといいかわからない 簡単なバックグラウンドと経緯 Tableauによるクロス集計中心のデータ分析職（他業務も兼務）から、2023年2月にデータ分
こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、蓄積された膨大なデータを活用してビジネス価値を生み出す取り組みを行ってきました。 さて、近年の生成AIブームに乗り、データサイエンティスト達は従来の機械学習・AI技術に加えて生成AIをデータ活用に利用
DATA CLOUD WORLD TOUR JAPAN Day 2 15:05-15:35 の発表のスライドです。
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
Snowflakeのアーキテクチャはどうなっているか 圧倒的なスケーラビリティを実現するクラウドネイティブ設計思想：Snowflakeで何ができる？ 基礎情報解説（3） 過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4 - Speaker Deck。 私たちのチームでは、ビジネスに直接価値を提供しているdbtモデルの開発はプロ
Simple, Immutable, Reproducible SnowflakeOS is a NixOS based Linux distribution focused on beginner friendliness and ease of use.
新興 PostgreSQL サービス企業の買収劇の背景：Snowflake と Databricks が描く未来に思いを馳せてみた 日本の PostgreSQL コミュニティが今月、大きな盛り上がりを見せています。その理由は、データ・AI 業界の二大巨頭である Snowflake と Databricks が、立て続けに PostgreSQL のマネージドサービスプロバイダの新興企業を買収し、両社が PostgreSQL のマネージドサービス提供を開始すると発表したためです。この動きは、 PostgreSQL がこれまで以上に最も重要なデータベースの一つとしての地位を確立し、PostgreSQL ユーザーのスキルが活かせる場が大きく広がっていることを示唆しています。 なぜ、この買収劇が立て続けに起きたのでしょうか。考えられる主な理由は以下の 3 点です。 1. アナリティクスプラットフォー
皆さん、こんにちは。株式会社カオナビでデータ収集〜活用を推進するチームを率いています、本江 雄人（@Yuto_Hongo）です。 普段は、データ基盤の構築・運用から、製品利用実績・社内の営業活動データの活用推進、加えて「人的資本データnavi」でのAIを活用した有価証券報告書データ収集・メディア運用など担当しています。 今回は、データを活用していくため「mcp-snowflake-server」の導入について、その背景から利用してみての感想までをお話しします。データ活用の民主化に悩む方、mcp-snowflake-serverに興味がある方に少しでも参考になれば嬉しいです。 本記事のサマリ mcp-snowflake-server に関して ローカルで動作し、Snowflakeのユーザー・ロール準拠の権限管理となる SQLを書けない層へデータ接点を増やし、データのさらなる民主化が期待できる
過去2回の記事でSnowflakeとは何か、何ができるかを見てきました。今回はSnowflakeの特長を裏付ける実装とクラウドネイティブな設計思想を見ていきます。
ぐるなびCTOの岩本です。自社の全プロダクト・サービスにおける技術戦略の責任者としてサービス構築・品質向上に最適な技術の選択、意思決定を行っています。また、在籍するEngineer全体に対して技術的なビジョンを示し、エンジニア組織を牽引しています。 ぐるなび社ではデータの活用を推進しており、その過程で発生する課題に対してどのような対策を講じているかについて、お話しさせていただきました。セミナーには約300名の方々にご参加いただき、盛況のうちに終了しました。今回のブログでは、セッションで使用したスライドの内容に基づき、セッション中にお伝えしきれなかった情報を詳しくご紹介したいと思います。 Snowflake World Tour - Tokyo 2024 -当日の様子 まず、セッションタイトルは「データの民主化による持続可能なビジネスの成功のためのAI活用」というもので、私たちはこのテーマで
大阪オフィスの玉井です。 題名の通り、極めて先進的な（？）データレイクの構築に成功したので、当記事にて詳細をお伝え致します。 概要説明 NADL（Nakamori Akina Data Lake）とは？ 日本が誇る歌姫である中森明菜氏の（ほぼ）全ての楽曲に関するデータを保存したデータレイクです。 SnowflakeはDWHのイメージが強いですが、データレイクを構築・運用する機能を備えています。今回、Snowflakeのデータレイク周りの機能を活用して、NADLを構築しました。 構築作業の流れ SpotifyのAPIから中森明菜の楽曲データを取得する 楽曲データの取得には Get Track’s Audio Analysisを使用 取得した楽曲データをGoogle Cloud Storage（GCS）にアップロードする 上記のGCS（のバケット）をSnowflakeの外部ステージとして連携す
Snowflakeパフォーマンス最適化機能クラスタリングキー & Search Optimization & Query Acceleration はじめに SnowVillageのUnConference第五回イベントで、けびんさんのSOS検証記事の解説LTを聞いた事が、この記事を書くきっかけとなりました。 その際に紹介いただいた以下の記事とその際の質疑応答を通じて自分の不勉強さを痛感し、自分でもちゃんと学ぼうと思い、改めて仕様の理解と実際の検証結果と共にこの記事にしました。 各機能の詳細な説明はけびんさんや諸先輩方の記事を参考にいただく事でより深く理解が出来ると考えています。この記事ではそれらの各機能を理解しつつ、その全体像を自分なりの考え方で体系化し、またそれらについてTPC-Hのデータを用いたハンズオン形式にすることでステップバイステップで、どのような効果があるかを比較した結果を加
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く