Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
Athenaの人気記事 117件 - はてなブックマーク
[go: Go Back, main page]

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 117件

新着順 人気順

Athenaの検索結果1 - 40 件 / 117件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

Athenaに関するエントリは117件あります。 awsAWSデータ などが関連タグです。 人気エントリには 『S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記』などがあります。
  • S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

    2026/01/05追記: 続編&最新フォーマット対応版を書いた DuckDBでALBのログを集計するClaude Code Skillを作った | Kirishiki Studios AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したい

      S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記
    • AWS Athenaの安価な代替手段:Lambda x DuckDB - Qiita

      Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価格設定は、予算が厳しい場合など、すべてのユーザーに適しているわけではありません。このブログ投稿では、Athenaの代替となる、低コストで同等の機能を提供できるアルティメットを紹介します。 利点: Athe

        AWS Athenaの安価な代替手段:Lambda x DuckDB - Qiita
      • Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築

        はじめにこんにちは、Finatextで証券プラットフォーム(Brokerage as a Service、以下BaaS)の開発に携わっている石橋(@bashi0501)です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善(後述します)に活かしていきたいという意図があるため、マ

          Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
        • AWS Config + Athena + QuickSightによる複数AWSアカウント横断でのセキュリティ状態の可視化 - メドピア開発者ブログ

          CTO室SREの侘美です。最近は社内のセキュリティ対策関連を生業にしております。 今回は最近進めていた社内のAWSアカウントのセキュリティ可視化がある程度形になったので記事にしたいと思います。 課題:多数のAWSアカウントのセキュリティをチェックしたい サイバー攻撃が増加している昨今、AWSなどのPaaS環境においても構築時にセキュリティの観点で注意すべき点がいくつもあります。 例えば、不必要なサーバー/ポートがインターネットに公開されていないか、アカウントにMFAが設定されているか、等々実施しておきたいセキュリティ対策は多岐にわたります。 弊社では、AWSを用いてインフラを構築する際にセキュリティ上守るべきルール集を、インフラセキュリティポリシーというドキュメントを定義しています。 しかし、あくまでドキュメントベースなので、実際にこのドキュメントに書かれたルールに準拠した構成になっている

            AWS Config + Athena + QuickSightによる複数AWSアカウント横断でのセキュリティ状態の可視化 - メドピア開発者ブログ
          • VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers

            こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M

              VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
            • AWS Configコスト上昇の原因を調査:QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers

              ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ

                AWS Configコスト上昇の原因を調査:QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers
              • [新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました! | DevelopersIO

                  [新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました! | DevelopersIO
                • AWS Config の料金がなぜこんなに高い? Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO

                  AWS Config の料金がなぜこんなに高い? Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた AWS Config の configuration item recorded の内訳をマネジメントコンソールから確認するのは骨が折れます。 Amazon Athena でクエリしてお手軽に確認しましょう。 だいじょうぶ Athena こわくない。

                    AWS Config の料金がなぜこんなに高い? Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO
                  • AS59128 のフロー情報収集と Amazon Athena での分析 - KMC活動ブログ

                    こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。 経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。 このままでは障害時の対応が手探りで安定運用に支障がある、また (

                      AS59128 のフロー情報収集と Amazon Athena での分析 - KMC活動ブログ
                    • [新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました! | DevelopersIO

                      はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから以下のデータソースにアクセスできるようになったということです! 本日は、中でも注目度の高いBigQueryへのクエリについて試してみます。 SAP HANA (Express Edition) Teradata Cloudera Hortonworks Snowflake Microsoft SQL Server Oracle Azure Data Lake Storage (ADLS) Gen2 Azure Synapse Google BigQuery Amazon Athenaのデータソースコネクタが動作するVPC/Sub

                        [新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました! | DevelopersIO
                      • Amazon Athenaを高速化!バケッティングとパーティションの違い - サーバーワークスエンジニアブログ

                        はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します! Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンスを向上させる方法はいくつかありますが、その中でも効果が大きいのが「スキャンするデータ量を減らす」ことです。 Athena の料金はスキャンしたデータ量に応じて発生するため、パフォーマンスを向上だけではなくコストも最適化できます。 Athena がスキャンする必要があるデータ量を減らすための方法として、パーティションとバケッティングというものがあります。 今回は、パーティションとバケッティングをどのように使い分け、併用すればよいか解説します! パーティションとは パーティションとは、S3 上のデータをフォルダ(プレフィッ

                          Amazon Athenaを高速化!バケッティングとパーティションの違い - サーバーワークスエンジニアブログ
                        • AWS AthenaでALBのログを過去分も検索する - クラウドワークス エンジニアブログ

                          こんにちは。SREチームの田中 (@kangaechu)です。リモートワークで座ってばかりの生活に危機感を感じ、昨年11月頃からランニングを始めました。最初は1キロ走っただけでヒイヒイ言っていたのですが、最近は10キロくらい走れるようになりました。運動は嫌いな方だったのですが、走るのが楽しいと思えるようになったのが一番の収穫かなと思っています。 今回はALB(Application Load Balancer)のログ検索について紹介します。 3行で説明するよ AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できない 正規表現をいい感じにすることで過去ログも検索できるようになった Athenaのテーブル作成、Terraformでできるよ crowdworks.jpのシステムログ検索: Athena システムのイベントを適宜記録し、利用状況の把握や障害時の調査、シ

                            AWS AthenaでALBのログを過去分も検索する - クラウドワークス エンジニアブログ
                          • Microsoftは2019年から社内で独自のAIチップ「Athena」を開発しておりOpenAIの大規模言語モデルで既にテスト中

                            Microsoftは2019年頃からChatGPTやGPT-4のような大規模言語モデル(LLM)のトレーニングに使用できるAIチップの開発に取り組んでいると、The Informationが報じています。報道によると、MicrosoftとOpenAIの一部の従業員は開発中のAIチップを用いてLLMのパフォーマンスを既にテストしているそうです。 Microsoft Readies AI Chip as Machine Learning Costs Surge — The Information https://www.theinformation.com/articles/microsoft-readies-ai-chip-as-machine-learning-costs-surge Microsoft Building Its Own AI Chip on TSMC's 5nm Proc

                              Microsoftは2019年から社内で独自のAIチップ「Athena」を開発しておりOpenAIの大規模言語モデルで既にテスト中
                            • センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO

                              はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1

                                センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO
                              • AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

                                Amazon AthenaにPartition Projection(パーティション射影)という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります(ALB、VPCフローログ、CloudTrail....)。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを

                                  AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記
                                • 「けしからんSoftEther VPN」「Athenaで170万円請求」 GWにまとめ読みしたいインフラ記事5選 | ログミーBusiness

                                  DX・リモートワークの推進で、より注目を集めるようになったITインフラ。いつもの仕事にもスピード感が求められ、スキルアップへの余力がなかった方も、少なくないのではないでしょうか。そんな方こそ、時間のあるGW中に、ひとつでも新たな情報や気づきをぜひ得ておきましょう。今回はインフラ分野に特化して、GWまとめ読みにおすすめの記事を、連載もの・1記事完結もの合わせ、5つピックアップしました。 まとめ読みおすすめインフラ記事(1) けしからんSoftEther VPNを作ったら怒られた 登大遊氏のVPN構築ソフトを日本政府が配布停止した理由 情報科学若手の会とは、情報科学に携わる学生、若手研究者、エンジニアのディスカッションと交流の会です。NTT東日本特殊局員の登氏が政府に配布停止要請されたVPNソフトの話など、シン・テレワークシステムの開発のもととなった数々の経験を開発秘話として講演しました。まず

                                    「けしからんSoftEther VPN」「Athenaで170万円請求」 GWにまとめ読みしたいインフラ記事5選 | ログミーBusiness
                                  • Amazon Athena を使用して AWS Cost and Usage Report をクエリする | Amazon Web Services

                                    Amazon Web Services ブログ Amazon Athena を使用して AWS Cost and Usage Report をクエリする AWS Cost and Usage Report には、お客様のコストと使用状況に関する包括的な情報が含まれています。Amazon Athena を使って AWS Cost and Usage Report のデータソースに問い合わせることで、迅速に価値を引き出すことができます。 Amazon Athena はサーバーレスのインタラクティブなクエリサービスであり、Amazon S3 バケット内の情報に直接クエリし、標準的な SQL を使用して分析します。これには、pricing、products、および reservations に関連する追加のメタデータが含まれます。最も良い点は、インフラストラクチャの設定や維持が必要ないことです。

                                      Amazon Athena を使用して AWS Cost and Usage Report をクエリする | Amazon Web Services
                                    • [調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 | DevelopersIO

                                        [調査報告] Amazon Athena 従来のS3ファイルレイアウトとIcebergテーブルフォーマットのデータ容量比較 | DevelopersIO
                                      • Athena で S3 と MySQL を JOIN する | DevelopersIO

                                        目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで

                                          Athena で S3 と MySQL を JOIN する | DevelopersIO
                                        • Amazon AthenaでIPレンジを使ってアクセスログを集計したい - hitode909の日記

                                          運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。

                                            Amazon AthenaでIPレンジを使ってアクセスログを集計したい - hitode909の日記
                                          • Athenaで気軽にS3のデータを集計する - Qiita

                                            S3のJSONを気軽にAthenaで集計したいと思い、安く済ます方法を調べた。 事前の印象では結構なお値段かかってしまうものだと思っていたが、小さいデータを最低コストで集計する分にはかなり安く済みそうだった。 ということで、ここでやりたいのは、 S3の小さいデータを 気軽に 安く SQLで集計する ということで、RDSなど立てるのはもってのほかである。 前提知識 パーティション データをパーティション分割することで、各クエリでスキャンするデータの量を制限し、パフォーマンスの向上とコストの削減を達成できます。Athena では、データのパーティション分割に Hive を使用します。すべてのキーでデータをパーティション化できます。一般的な方法では、時間に基づいてデータをパーティション分割します。これにより、通常、複数レベルのパーティション構成となります。たとえば、1 時間ごとに配信されるデータ

                                              Athenaで気軽にS3のデータを集計する - Qiita
                                            • Amazon S3 Tablesにデータを投入してAthenaとRedshiftからクエリしてみた - Qiita

                                              この記事はBeeX Advent Calendar 2024の5日目の記事です。 遅刻しました。(12/5投稿予定だった) ※本記事には一部AWSのプレビュー機能も含まれており、一般公開された際には記事の内容から変更される可能性がありますので、認識の上ご覧ください。 はじめに 先日アメリカのラスベガスで開催された AWS re:Invent 2024では多くのAWSアップデートが発表されました。 本記事ではその中でもAmazon S3 Tablesにフォーカスして検証してみましたので、記録として書いていきます。 ざっくりどんなことをする必要があるか知りたい方は以下のAWSブログをご確認ください。 概要 S3 Tablesとは まずS3 Tablesについてですが、概要ページには次のように記載されています。 Amazon S3 Tablesは、Apache Icebergをサポートする初のク

                                              • Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 | Amazon Web Services

                                                Amazon Web Services ブログ Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 Amazon AthenaはS3上に置かれたファイルにクエリ(SQL)を実行できるサーバレスのサービスです。先日GAしたFederated Query機能を利用すると、クエリの範囲をS3に加えて多数のデータソース(例えば他のRDBやAmazon DynamoDB等)に広げ、複数のデータソースにまたがってSQL処理することが可能になります。(Federated Queryの機能説明はこちらにあります) 先日(4/17)、「AWSの基礎を学ぼう」というオンライン勉強会に講師として呼んでいただく機会があったので、このFederated Queryを使ったハンズオンキットを作成しました

                                                  Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 | Amazon Web Services
                                                • S3+Athena構成の弊社データ基盤の限界が近い - Qiita

                                                  Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用

                                                    S3+Athena構成の弊社データ基盤の限界が近い - Qiita
                                                  • Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました! #reinvent | DevelopersIO

                                                    Icebergの強みを活かす INSERT INTOで300万レコードのデータコピー 普通のAthenaのテーブルと比較して、オーバヘッドが生じることが確認できました。上記では、1レコードINSERTでも7秒かかったりしたので、300万レコードをINSERT INTOしたときの時間がどうなるのかを確認したいと思います。 上記のテーブルからパーティションを取り除いて、INSERT INTOでデータのコピー先のテーブルを作成します。 CREATE TABLE iceberg_table ( id int, data string, category string) LOCATION 's3://<mybucket>/iceberg_table/' TBLPROPERTIES ( 'table_type'='ICEBERG', 'format'='parquet', 'compaction_bi

                                                      Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました! #reinvent | DevelopersIO
                                                    • Athenaのおかげでログ調査が楽になったお話 - ROBOT PAYMENT TECH-BLOG

                                                      こんにちは、サブスクペイサービスでCREを担当してますmurakamiCPです。 CREチームの日々の業務の中で、最も多い問い合わせは「ログ調査」だったりします。 何らかのエラーが起こった際や、お客様の問い合わせでログを追っての確認だったりと要因は様々です。 (この「問い合わせ」自体を減らすことができるサービス作りも取り組んでますが、それはまた別のお話ということで) 端的に「ログ調査」といっても、日々増え続ける膨大なログから該当箇所を見つけるのはなかなか骨が折れますよね。 そんな調査がちょっと楽になったお話をしたいと思います。 AWS移行してでてきた課題 Athena導入 Athenaを使うにあたっての注意 AWS移行してでてきた課題 AWSへ移行した際に、アプリケーション関連のログもAWSの「CloudWatch」で取得するようになり、物理的なlogファイルの保管ではなくなりました。 a

                                                        Athenaのおかげでログ調査が楽になったお話 - ROBOT PAYMENT TECH-BLOG
                                                      • AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO

                                                        データレイクとデータウェアハウス(DWH)は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス(DWH)に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は

                                                          AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO
                                                        • Terraform+Amazon Athenaで快適なログ集計の準備をする - Qiita

                                                          はじめに Amazon AthenaはS3に入ったログをSQLで抽出したり集計したりできる超便利機能。 でも、Terraformで一発で作ろうとするとちょっとクセがあるので、整理をしてみた。 Amazon Athenaに必要なリソース Amazon Athenaに必要なリソースは以下の5つ。 ワークグループ データベース テーブル データ SQL だ。データベースに登録するデータはS3に格納しておく必要がある。 ワークスペース+データベースの作成 これはそんなに難しいことはない。Terraformで普通に定義していこう。 ################################################################################ # Athena # ############################################

                                                            Terraform+Amazon Athenaで快適なログ集計の準備をする - Qiita
                                                          • Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました | DevelopersIO

                                                            Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました いわさです。 Amazon Athena では1年前のアップデートでクエリパフォーマンスを改善するための実行計画を利用することが出来るようになりました。 そして、本日のアップデートで実行計画の可視化機能が提供され、さらに実行済みクエリから統計情報が取得出来るようになりました。 この記事では、以下のような料金情報CSVを集計するクエリを例にご紹介したいと思います。 実行計画の可視化 以前から、EXPLAIN を実行する機能は Athena でも可能で、以下のような情報を出力することが出来ていました。 しかし、結果の解析に少しコツで、可視化など行いたい場合は別のツールを使って可視化する必要がありました。 今回のアップデートで、実行ボタンの隣に「説明」ボタンが追加されています。 こちらはクエリ

                                                              Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました | DevelopersIO
                                                            • 非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜 - Nealle Developer's Blog

                                                              こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します! ところで、、、障害が発生したときの調査って大変ですよね?非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかといった詳細な情報まではまだ把握できません。エラーログにしっかりと必要な情報を出力できていれば良いのですが、なかなかそうはなっていないのが現状です、、、。 また、実行パラメータには場合によっては個人

                                                                非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜 - Nealle Developer's Blog
                                                              • Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services

                                                                AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase

                                                                  Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
                                                                • [動画公開] Amazon Athena (Iceberg) x dbt ではじめるデータ分析! #ちょっぴりDD | DevelopersIO

                                                                  データアナリティクス事業本部のコンサルティングチームの石川です。AWS主催のオンラインカンファレンス、ちょっぴり DiveDeep する AWS の時間にて「Amazon Athena (Iceberg) x dbt ではじめるデータ分析!」というテーマにて登壇しました。セッション動画と資料が公開されました。 セッション概要 コンサルティングチームでは、Amazon RedshiftやSnowflakeと「dbt」を用いたサーバレスなデータプラットフォームである「dbt-template」ソリューションと、コンサルティングサービスをご提供しております。今回は、「dbt-template」のAmazon Athena対応で得られた技術調査の結果と、テーブルフォーマット「Iceberg」と「dbt」対応について、ちょっぴりDiveDeepしました。 前半は、2023/04にGAになった現在イチ

                                                                    [動画公開] Amazon Athena (Iceberg) x dbt ではじめるデータ分析! #ちょっぴりDD | DevelopersIO
                                                                  • データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について - NRIネットコムBlog

                                                                    データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract(抽出)・Transform(変換・加工)・Load(保管)の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が一番時間が掛かるといっても過言ではありません。また、一度作ったらお終いではなく、分析する対象・方法が変わるたびに修正を加える必要があります。そのため、ETL処理は人にお任せではなく、自前で作れるようにした方が良いです。 ETLとELT 先程、自分の組織でETL処理を作れるようにするのが大事と言いましたが、そのためにはETL処理を一部の人間ではなく、できるだけ多くの人で修正できるようにすることが大切です。そのため、GUIよりETL処理を行えるようなツールも使うのも選択肢の一つだと思います。それ以外にお勧めとしては、ELT処理とい

                                                                      データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について - NRIネットコムBlog
                                                                    • もうSQL文に悩まない!Claude Code + Athena で自然言語によるログ解析をやってみた | DevelopersIO

                                                                        もうSQL文に悩まない!Claude Code + Athena で自然言語によるログ解析をやってみた | DevelopersIO
                                                                      • AthenaとCloudWatchで始める低コストなSLOエラーバジェット監視

                                                                        2023-06-24 Reject Day 2023 https://connpass.com/event/282843/

                                                                          AthenaとCloudWatchで始める低コストなSLOエラーバジェット監視
                                                                        • Amazon SESでDMARCの集計レポートを受信してAthenaで検索をかけてみる | DevelopersIO

                                                                          初めに DAMRCにおける集計レポートはご存知でしょうか。 DMARCではruaタグに所定のアドレスを指定することで1日に1度程度を目安にその受信サーバに届いたメールの配信状況の集約情報を受け取ることができます。 なかな個別のレポートを目で検査するのは厳しいかと思いますが、各社のDMARC分析用のサービスであったり、OSSでもparsedmarcのようなツールがあったりと現在では比較的気軽に分析することができます。 継続的な分析というよりはとりあえずの導入でSPF/DKIM対応から漏れている環境をサクッとみたい時にAWS上で何か良い感じに作れないかなぁと思って考えてみたところ、それくらいであればAmazon SESで受信したデータをS3に格納しAthenaで検索すれば使った分だけの費用で良い感じでは? と思いついたので構築してみることにしました。 注意 https://datatracke

                                                                            Amazon SESでDMARCの集計レポートを受信してAthenaで検索をかけてみる | DevelopersIO
                                                                          • AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた!

                                                                            この記事はAWS for Games Advent Calendar 2022の25日目の記事です。 皆さんはログの扱いに慣れておりますでしょうか? 必要なログは全て綺麗に ETL していつでもばっちり見れる状態です! となっていればどんなに良いことか、、中々後回しにされがちな部分かと思います。弊社でも様々なゲームが平行稼働している中、 大量のログがローテートされてサーバから消えていく タイトル別でうまくいい感じに一か所で管理したい 何かインシデントが起きた時、急いでいる時にサーバに SSH してログを漁りたくない さっと見れるようにしたい みたいな話がありつつも、中々手を付けられずにいました(主に syslog 周り)。今回 AWS さんの協力もあり、技術取得の一環で検証をスタートしてみました。「ログを S3 に集めて、 Glue でなんやかんや加工してみて、 Athena でいい感じに

                                                                              AWS上でログを収集[S3]→加工[Glue]→閲覧[Athena]してみた!
                                                                            • Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標 - Gunosyデータ分析ブログ

                                                                              はじめに こんにちは、DR&MLOps*1 チームの楠です! こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進するためのデータレイク上での分析用データマートとしての Athena view の利用方法と、IaC のための Terraform による宣言的な Athena view の定義方法をご紹介します! はじめに 背景 前提知識: Athena における view Athena view の利点 利点1. SQL と view カタログ定義のみからなるので、データ転送ワークフローを組まなくてよい 利点2. テーブルのスキーマを容易に変更できる 利点3. よく利用する共通テーブル式をきちんとテーブルとして定義

                                                                                Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標 - Gunosyデータ分析ブログ
                                                                              • ALB ログフィールドが追加されても正しい Athena クエリ結果を得るための方法 〜直近の ALB ログフィールド追加の事例を添えて〜 | DevelopersIO

                                                                                  ALB ログフィールドが追加されても正しい Athena クエリ結果を得るための方法 〜直近の ALB ログフィールド追加の事例を添えて〜 | DevelopersIO
                                                                                • 【Amazon Athena/Apache Iceberg】AWSの基礎を学ぼう

                                                                                  概要 「AWSの基礎を学ぼう」で”アナリティクス強化月間 Athena ACID トランザクション + Icerberg”のハンズオンイベントに参加した感想ページです。 「AWS エバンジェリストシリーズ AWSの基礎を学ぼう」とは AWS エバンジェリストシリーズ AWSの基礎を学ぼう 以下、Connpassページより引用 Amazon Web Services (AWS)は現在200を超えるサービスを提供し、日々サービスの拡充を続けています。 このAWS エバンンジェリストシリーズでは週次でAWSのサービスをひとつづつ取り上げながらその基礎を説明していく 初心者、中級者をターゲットとした講座です。午後の仕事前にスキルアップを一緒にしませんか? 注意点 登壇者による発表内容はアマゾン ウェブ サービス ジャパンとして主催しているものではなく、コミュニティ活動の一環として勉強会の主催を行っ

                                                                                    【Amazon Athena/Apache Iceberg】AWSの基礎を学ぼう

                                                                                  新着記事