タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
2026/01/05追記: 続編＆最新フォーマット対応版を書いた DuckDBでALBのログを集計するClaude Code Skillを作った | Kirishiki Studios AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したい
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価格設定は、予算が厳しい場合など、すべてのユーザーに適しているわけではありません。このブログ投稿では、Athenaの代替となる、低コストで同等の機能を提供できるアルティメットを紹介します。 利点: Athe
CTO室SREの侘美です。最近は社内のセキュリティ対策関連を生業にしております。 今回は最近進めていた社内のAWSアカウントのセキュリティ可視化がある程度形になったので記事にしたいと思います。 課題：多数のAWSアカウントのセキュリティをチェックしたい サイバー攻撃が増加している昨今、AWSなどのPaaS環境においても構築時にセキュリティの観点で注意すべき点がいくつもあります。 例えば、不必要なサーバー/ポートがインターネットに公開されていないか、アカウントにMFAが設定されているか、等々実施しておきたいセキュリティ対策は多岐にわたります。 弊社では、AWSを用いてインフラを構築する際にセキュリティ上守るべきルール集を、インフラセキュリティポリシーというドキュメントを定義しています。 しかし、あくまでドキュメントベースなので、実際にこのドキュメントに書かれたルールに準拠した構成になっている
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた AWS Config の configuration item recorded の内訳をマネジメントコンソールから確認するのは骨が折れます。 Amazon Athena でクエリしてお手軽に確認しましょう。 だいじょうぶ Athena こわくない。
こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。 経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。 このままでは障害時の対応が手探りで安定運用に支障がある、また (
はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから以下のデータソースにアクセスできるようになったということです！ 本日は、中でも注目度の高いBigQueryへのクエリについて試してみます。 SAP HANA (Express Edition) Teradata Cloudera Hortonworks Snowflake Microsoft SQL Server Oracle Azure Data Lake Storage (ADLS) Gen2 Azure Synapse Google BigQuery Amazon Athenaのデータソースコネクタが動作するVPC/Sub
はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンスを向上させる方法はいくつかありますが、その中でも効果が大きいのが「スキャンするデータ量を減らす」ことです。 Athena の料金はスキャンしたデータ量に応じて発生するため、パフォーマンスを向上だけではなくコストも最適化できます。 Athena がスキャンする必要があるデータ量を減らすための方法として、パーティションとバケッティングというものがあります。 今回は、パーティションとバケッティングをどのように使い分け、併用すればよいか解説します！ パーティションとは パーティションとは、S3 上のデータをフォルダ（プレフィッ
こんにちは。SREチームの田中 （@kangaechu）です。リモートワークで座ってばかりの生活に危機感を感じ、昨年11月頃からランニングを始めました。最初は1キロ走っただけでヒイヒイ言っていたのですが、最近は10キロくらい走れるようになりました。運動は嫌いな方だったのですが、走るのが楽しいと思えるようになったのが一番の収穫かなと思っています。 今回はALB（Application Load Balancer）のログ検索について紹介します。 ３行で説明するよ AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できない 正規表現をいい感じにすることで過去ログも検索できるようになった Athenaのテーブル作成、Terraformでできるよ crowdworks.jpのシステムログ検索: Athena システムのイベントを適宜記録し、利用状況の把握や障害時の調査、シ
Microsoftは2019年頃からChatGPTやGPT-4のような大規模言語モデル(LLM)のトレーニングに使用できるAIチップの開発に取り組んでいると、The Informationが報じています。報道によると、MicrosoftとOpenAIの一部の従業員は開発中のAIチップを用いてLLMのパフォーマンスを既にテストしているそうです。 Microsoft Readies AI Chip as Machine Learning Costs Surge — The Information https://www.theinformation.com/articles/microsoft-readies-ai-chip-as-machine-learning-costs-surge Microsoft Building Its Own AI Chip on TSMC's 5nm Proc
はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1
こんにちは、クラスメソッドの若槻です。 2025年12月、Amazon CloudWatch Logs の新機能として「AWS マネージドな S3 テーブル統合」（S3 Tables Integration）が発表されました（参考）。この機能により、CloudWatch Logs に取り込まれたログを Amazon S3 Tables（Apache Iceberg 形式）へ自動的に連携し、Amazon Athena など標準的な SQL エンジンでクエリできるようになります。 本記事では、この S3 Tables Integration を AWS CDK（TypeScript）で実装してみました。 実装した構成 今回実装した主なリソースは以下です。 CDK で作成するリソース リソース 役割
Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります（ALB、VPCフローログ、CloudTrail....）。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを
Amazon Web Services ブログ Amazon Athena を使用して AWS Cost and Usage Report をクエリする AWS Cost and Usage Report には、お客様のコストと使用状況に関する包括的な情報が含まれています。Amazon Athena を使って AWS Cost and Usage Report のデータソースに問い合わせることで、迅速に価値を引き出すことができます。 Amazon Athena はサーバーレスのインタラクティブなクエリサービスであり、Amazon S3 バケット内の情報に直接クエリし、標準的な SQL を使用して分析します。これには、pricing、products、および reservations に関連する追加のメタデータが含まれます。最も良い点は、インフラストラクチャの設定や維持が必要ないことです。
目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで
運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。
この記事はBeeX Advent Calendar 2024の5日目の記事です。 遅刻しました。(12/5投稿予定だった) ※本記事には一部AWSのプレビュー機能も含まれており、一般公開された際には記事の内容から変更される可能性がありますので、認識の上ご覧ください。 はじめに 先日アメリカのラスベガスで開催された AWS re:Invent 2024では多くのAWSアップデートが発表されました。 本記事ではその中でもAmazon S3 Tablesにフォーカスして検証してみましたので、記録として書いていきます。 ざっくりどんなことをする必要があるか知りたい方は以下のAWSブログをご確認ください。 概要 S3 Tablesとは まずS3 Tablesについてですが、概要ページには次のように記載されています。 Amazon S3 Tablesは、Apache Icebergをサポートする初のク
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用
データアナリティクス事業本部コンサルティングチームの石川です。Apache Icebergテーブルフォーマットを用いて、AthenaからACIDにINSERT、UPDATE、DELETE、タイムトラベル、オプティマイズの操作を可能にする新機能のパプリックプレビューが開始しました。Amazon S3データに対して信頼性の高い行レベルの変更が可能になりますので、実際に試してみます。 AthenaのApache Iceberg機能はプレビューリリースであり、変更される可能性があります。潜在的なデータの損失または破損を回避するために、本番データセットでこのプレビューを使用しないでください。 Apache Icebergとは 今回は、Amazon AthenaがサポートしたApache Icebergというテーブルフォーマットは、巨大なペタバイト規模のテーブル用に設計されたオープンなテーブルフォーマ
こんにちは、サブスクペイサービスでCREを担当してますmurakamiCPです。 CREチームの日々の業務の中で、最も多い問い合わせは「ログ調査」だったりします。 何らかのエラーが起こった際や、お客様の問い合わせでログを追っての確認だったりと要因は様々です。 （この「問い合わせ」自体を減らすことができるサービス作りも取り組んでますが、それはまた別のお話ということで） 端的に「ログ調査」といっても、日々増え続ける膨大なログから該当箇所を見つけるのはなかなか骨が折れますよね。 そんな調査がちょっと楽になったお話をしたいと思います。 AWS移行してでてきた課題 Athena導入 Athenaを使うにあたっての注意 AWS移行してでてきた課題 AWSへ移行した際に、アプリケーション関連のログもAWSの「CloudWatch」で取得するようになり、物理的なlogファイルの保管ではなくなりました。 a
データレイクとデータウェアハウス（DWH）は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス（DWH）に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は
Amazon Athena でクエリ実行計画の可視化と、実行結果の統計情報を取得出来るようになりました いわさです。 Amazon Athena では1年前のアップデートでクエリパフォーマンスを改善するための実行計画を利用することが出来るようになりました。 そして、本日のアップデートで実行計画の可視化機能が提供され、さらに実行済みクエリから統計情報が取得出来るようになりました。 この記事では、以下のような料金情報CSVを集計するクエリを例にご紹介したいと思います。 実行計画の可視化 以前から、EXPLAIN を実行する機能は Athena でも可能で、以下のような情報を出力することが出来ていました。 しかし、結果の解析に少しコツで、可視化など行いたい場合は別のツールを使って可視化する必要がありました。 今回のアップデートで、実行ボタンの隣に「説明」ボタンが追加されています。 こちらはクエリ
こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかといった詳細な情報まではまだ把握できません。エラーログにしっかりと必要な情報を出力できていれば良いのですが、なかなかそうはなっていないのが現状です、、、。 また、実行パラメータには場合によっては個人
AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase
2023-06-24 Reject Day 2023 https://connpass.com/event/282843/
この記事はAWS for Games Advent Calendar 2022の25日目の記事です。 皆さんはログの扱いに慣れておりますでしょうか？ 必要なログは全て綺麗に ETL していつでもばっちり見れる状態です！ となっていればどんなに良いことか、、中々後回しにされがちな部分かと思います。弊社でも様々なゲームが平行稼働している中、 大量のログがローテートされてサーバから消えていく タイトル別でうまくいい感じに一か所で管理したい 何かインシデントが起きた時、急いでいる時にサーバに SSH してログを漁りたくない さっと見れるようにしたい みたいな話がありつつも、中々手を付けられずにいました(主に syslog 周り)。今回 AWS さんの協力もあり、技術取得の一環で検証をスタートしてみました。「ログを S3 に集めて、 Glue でなんやかんや加工してみて、 Athena でいい感じに
はじめに こんにちは、DR&MLOps*1 チームの楠です！ こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進するためのデータレイク上での分析用データマートとしての Athena view の利用方法と、IaC のための Terraform による宣言的な Athena view の定義方法をご紹介します！ はじめに 背景 前提知識: Athena における view Athena view の利点 利点1. SQL と view カタログ定義のみからなるので、データ転送ワークフローを組まなくてよい 利点2. テーブルのスキーマを容易に変更できる 利点3. よく利用する共通テーブル式をきちんとテーブルとして定義
概要 「AWSの基礎を学ぼう」で”アナリティクス強化月間 Athena ACID トランザクション + Icerberg”のハンズオンイベントに参加した感想ページです。 「AWS エバンジェリストシリーズ AWSの基礎を学ぼう」とは AWS エバンジェリストシリーズ AWSの基礎を学ぼう 以下、Connpassページより引用 Amazon Web Services (AWS)は現在200を超えるサービスを提供し、日々サービスの拡充を続けています。 このAWS エバンンジェリストシリーズでは週次でAWSのサービスをひとつづつ取り上げながらその基礎を説明していく 初心者、中級者をターゲットとした講座です。午後の仕事前にスキルアップを一緒にしませんか？ 注意点 登壇者による発表内容はアマゾン ウェブ サービス ジャパンとして主催しているものではなく、コミュニティ活動の一環として勉強会の主催を行っ
初めに DAMRCにおける集計レポートはご存知でしょうか。 DMARCではruaタグに所定のアドレスを指定することで1日に1度程度を目安にその受信サーバに届いたメールの配信状況の集約情報を受け取ることができます。 なかな個別のレポートを目で検査するのは厳しいかと思いますが、各社のDMARC分析用のサービスであったり、OSSでもparsedmarcのようなツールがあったりと現在では比較的気軽に分析することができます。 継続的な分析というよりはとりあえずの導入でSPF/DKIM対応から漏れている環境をサクッとみたい時にAWS上で何か良い感じに作れないかなぁと思って考えてみたところ、それくらいであればAmazon SESで受信したデータをS3に格納しAthenaで検索すれば使った分だけの費用で良い感じでは？ と思いついたので構築してみることにしました。 注意 https://datatracke
はじめに ALBのアクセスログを分析したい場合、利用するAWSサービスとしてAthenaが挙がると思います。 Athenaをあまり使ったことがなかったので、利用する手順をまとめました。 また、ALBのアクセスログを分析する上で、使うことが多いであろうクエリもご紹介します 事前準備 アクセスログ用のS3とALBを作成 ALBのアクセスログを有効にしておく 有効化がDenyとなった場合、トラブルシューティングは、以下の記事を参考になるかと思います。 Athenaのクエリの保存先を設定 AWSマネジメントコンソールからAthenaにアクセスし、[データをクエリする]から[クエリエディタを起動]をクリックします。 最初のクエリを実行する前に、AmazonS3にクエリ結果の場所を設定する必要がありますので、[設定]タブから[管理]をクリックします クエリ結果の場所は、どこでも良いです。今回は、アクセ
AWS Lambda + Bedrock + Athena で S3 Tables (Iceberg) に自然言語でクエリするMCPサーバーを構築してみた はじめに 全社データ技術局データインテグレーションチームに所属している與田龍人です。 Amazon S3 Tables を利用して Iceberg 形式でデータを管理すると、Iceberg テーブルの自動コンパクションやテーブル単位の権限制御が可能になります。これにより、従来の S3 バケット運用に比べてクエリ性能とデータガバナンスの両立が容易になります。 そこで今回は、Claude から自然言語で質問を送ると、自動で対応する SQL クエリを生成し、Athena がそのクエリを実行して結果を JSON と要約付きで返す仕組みを構築します。 Lambda 関数は MCP（Model Context Protocol）サーバーとして動作し
プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage Lens S3 Inventory S3 Inventory で使用量を可視化する S3 Inventory を設定する Athena と連携する SQL を書いて分析する まとめ 課題感 Ads
幼い頃から機械いじりが好きだったギタリストは、夢のドラマー、ロボット・ドラマーを作り上げる。こうしてシンガー、ギタリスト、ロボット・ドラマーによるエレクトロ・メタル・トリオ、Les Projets d'Athenaが始動。フランスから登場したこのメタルバンドが話題に。 Les Projets d'Athenaは、ギタリスト/プログラマーのThe TechnologistことAntoine Leboisselier、ヴォーカリストのThe Goddess Athena、そしてロボット・ドラマーのHades 06によるバンド。2022年に最初のライヴを行い、その後も何度かステージに上がっています。またフランス出身のヘヴィメタル・バンド、ゴジラ（Gojira）もこのバンドを気に入っており、3月29日の彼らのコンサートでオープニング・アクトを務めることが決まっています。2023年にはすでに12公演
Amazon Athena has upgraded its SQL query engine to include the latest features from the Trino open source project. Athena engine version 3 includes over 50 new SQL functions, 30 new features, and more than 90 query performance improvements. With today’s launch, Athena is also introducing a continuous integration approach to open source software management that will improve currency with the Trino
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く