タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
概要 Twitterをイーロン・マスク氏が買収したこと*1により、マストドンをはじめとする分散SNSへアカウントを作る動きが加速*2しています。現在はサーバの処理能力についての話題が多いですが、人が増えればTwitterで起きていたトラブルが分散SNSでも起きるようになると思われます。 そこでこの記事では、分散SNS上でなにかしらの権利侵害が起きた場合に、安心して問題に対処できるようになることを目的として、プロバイダ責任制限法のもとでサーバ管理者の義務と権利、取るべき対応を解説します。 対象の読者 個人でマストドン/Misskeyのサーバを運用しているサーバ管理者 この記事での前提 この記事では読みやすくなるように以下の前提を置いています。 分散SNSはマストドン マストドンの用語を使うだけでMisskeyやPleromaでも一緒です。 マストドンのサーバは日本国内に設置されている サーバ
カミナシ ソフトウェアエンジニアの mina（@yoiyoicho）です。このブログでは、私が所属する「カミナシ ID」開発チームにおいて実施した、インフラコストの最適化施策について紹介します！ 「カミナシ レポート」の認証機能移行によりインフラコストが増加 「カミナシ ID」は OIDC / OAuth 2.0 などの標準仕様に準拠した、カミナシの ID 管理・認証基盤プロダクトです。インフラは AWS の各種サービスを活用して構築されています。 「カミナシ ID」は認証基盤という性質上、高いセキュリティや監査能力が求められます。そのため、API サーバーのアプリケーションログに加えて、データベースに対する操作やアクセス履歴をすべて記録した監査ログなど、各種ログを詳細に出力しています。これらのログは一度 CloudWatch Logs に集約され、Kinesis Data Firehos
PHPerKaigi 2022 スポンサーセッションのスライドです。 https://fortee.jp/phperkaigi-2022/proposal/5a260e4e-542d-4d82-849d-ef3d6cb7c854
見つけました。 Log Analyzer with MCP 構成図がありました。 シンプル！ どんな機能があるかというと、 CloudWatch ロググループを参照および検索する CloudWatch Logs Insights クエリ構文を使用してログを検索する ログの要約を生成し、エラーパターンを特定する 複数の AWS サービス間でログを関連付ける Claude のようなアシスタント向けに AI 最適化されたツール やってみましょう。 インストール GitHubからCloneしてライブラリーを取得します。 git clone https://github.com/awslabs/Log-Analyzer-with-MCP.git cd Log-Analyzer-with-MCP uv sync source .venv/bin/activate
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces). OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale. It is straightfor
困っていた内容 CludWatch エージェントを使用して EC2 インスタンス内部のログファイルを CloudWatch Logs へ転送していますが、対象のログファイルに logrotate を適用してファイルをローテーションさせると、CloudWatch Logs へのログ転送が欠損する場合があります。この原因と対処法を教えてください。 どう対応すればいいの？ 考えられる原因 CloudWatch エージェントの設定ファイル内で転送対象のログファイル名を指定する file_path の記述が関連している可能性があります。 例えば設定ファイル内で以下のように記述していたとします。 CloudWatch エージェント設定ファイルの例： この場合、CloudWatch Logs に転送される対象のログファイルは「system.log」のみとなります。 つまり logrotate によりファ
またまたドキュメントをながめていたところ、待望のアップデートを見つけたのでシェアします。 AWS WAFのWebACLトラフィックログをCloudwatch LogsまたはS3に直接出力することが可能になりました！ AWS WAFのWebACLトラフィックログ 従来は以下記事のようにKinesis Data Firehoseを介してCloudWatch LogsまたはS3に出力する必要がありました。 今回のアップデートでAWS WAFから直接CloudWatch Logs、S3に出力可能となりましたので控えめに言って最高のアップデートですね！ 注意点 CloudWatch Logsロググループ名およびS3バケット名はaws-waf-logs-から始まる名前であること Kinesis Data Firehoseも配信ストリーム名でも同じ制約がありましたが、CloudWatch Logs、S3
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ コンバンハ、千葉（幸）です。 CloudWatch Logs のメトリクスフィルターがディメンションをサポートしました！ Amazon CloudWatch Logs announces Dimension support for Metric Filters メトリクスフィルターで設定しているフィールドの値を、ディメンションとしてメトリクスとともにパブリッシュできるようになりました。（こう書くと何がなんやらですね。） 何ができるようになったのか イメージとしては以下です。 メトリクスフィルターにディメンションを設定できるようになり、メトリクスフィルターからパブリッシュされたメトリクスにディメンションを付与することができるようになりました。 特定の条件にマッチしたログが出力された際
ちゃだいん（@chazuke4649）です。 前回のブログの過程で、Container Insights画面以外でサクッとコンテナ単位のCPU・メモリ使用量を確認する方法があったので共有します。 今回紹介するのは２パターンです。 1.Container Insights画面から飛ぶ方法 2.サンプルクエリをそのまま実行する方法 前提 Container Insights画面ではみませんが、Container Insightsを有効化し、これによるカスタムメトリクスやログを収集する必要があります。 その他Container Insightsに関係する有用情報を下記ブログで紹介しているので、ぜひ見てみてください。 Container Insights でコンテナ単位のCPU・メモリ使用率を表示させる | DevelopersIO 1.Container Insights画面から飛ぶ方法 Clo
コンバンハ、千葉（幸）です。 AWS Cloud9 で新たな機能が使用できるようになりました。 3 つ……ないし 2 つの機能が増えています。（どちらなんだ。） 何ができるようになったか 冒頭のブログを確認すると、以下のように説明されています。 AWS Cloud9 introduces 3 new features, including support for CloudWatch Logs, S3 and EC2 instance profiles. Cloud9 users can now list their log groups and view log streams instantly without leaving their IDE. In addition, the S3 integration has improved performance in VPCs and
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
CloudWatch Logsを経由せずに直接S3バケットにログをPUTしたい こんにちは、のんピ(@non____97)です。 皆さんはAurora PostgreSQLのログをCloudWatch Logsを経由せずに直接S3バケットにログをPUTしたいと思ったことはあります? 私はあります。 CloudWatch LogsにDBのログを流すとそれなりに料金がかかります。特にlog_statementであればall、mod、pgaudit.logであればall、read、writeにすると大量のログが流れがちです。 Aurora PostgreSQL DB クラスターのクエリログ記録をオンにする - Amazon Aurora pgAudit 拡張機能のセットアップ - Amazon Aurora そのため、S3バケットにログを出力したいところでしょう。 S3バケットにログを出力する方
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 遂にAWS re:Invent 2022が始まりましたね。それに合わせてたくさんのアップデートが出てきました。 本記事ではそのうちの一つ、「Amazon CloudWatch Logsでの転送中の機密データ保護」についてまとめます。 ざっくりまとめ Amazon CloudWatch Logsで転送中の機密情報が含まれたログデータを保護（マスク）することが出来るようになった HIPAAやGDPR、PCI-DSS、FedRAMPに則った保護が可能 監査結果をAmazon CloudWatch Logs、Amazon Kinesis Data Firehose、Amazon S3に送ることも可能 logs:Unmask権限を持つユーザーであればマスクを外した状態でログデータを確認することも可能 住所や運転免許証番
By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti Lakshminarayan Netflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight. ChallengesThe cloud network infrast
はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビュー 似たようなパターンのログを集約して何が、いつ発生しているかをまとめて表示し、エラー傾向の分析などができる 比較モード 検
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは、Mackerel 開発チームアプリケーションエンジニアの id:susisu です。 この記事では cloudwatch-logs-aggregator を使って、Amazon CloudWatch Logs に出力されたアプリケーションのログを集計して Mackerel にメトリックとして投稿し、監視・可視化を行えるようになるまでの過程を、実際の使用例と共に紹介します。 以下のようなアプリケーションのログからメトリックが生成され、Mackerel に投稿されている状態がゴールです。 { "level": "info", "msg": "query complete", "bytes_scanned": 51828, "records_scanned": 246, "records_matched": 120, ... } cloudwatch-logs-aggregator
初めまして、今年 9 月にバクラク事業部に入社した rerorero です。 この記事は LayerX Tech Advent Calendar 2025 7 日目の記事です。 もう今年も残り一月弱ですね。 自分にとっては今年も本当にあっという間でした。 年末になるといつも「ジャネの法則」を思い出します。 人は年齢に反比例して時間を早く感じるという概念で、例えば 30 歳の人にとっては 10 歳の 3 倍、50 歳の人には 5 倍の速さに感じるというものです。 時間は平等で一定だと思っていたけれど、歳をとるにつれ短くなる感覚に焦りを覚えます。 今日はそんな貴重な業務での時間をちょっと節約する Chrome 拡張を作ったよという小ネタをお話しします。 背景：LayerX の Datadog ログ運用 LayerX ではコスト最適化の一環として、Datadog Logs の保存期間（リテンショ
こんにちは、テクノロジーグループの矢田です。 我が家には猫が一匹おりまして、毎日のように窓から外を眺めて鳥が飛んでいるのを監視しています。今日も捗ってるな〜と思いながらそんな猫を眺めて仕事しているのですが、今日は監視の話をしたいと思います。 クラシコムでは「北欧、暮らしの道具店」の監視を行うためにMackerelを利用しています。 MackerelではサーバーのCPU・メモリなどのメトリック監視や外形監視、サービスメトリックを送っての監視など多方からサービスの状態を監視することができます。 今回は先日α版が公開されたMackerelのcloudwatch logs aggregatorについて紹介したいと思います。 このモジュールではアプリケーションからAWS CloudWatch Logsに吐き出したログをメトリック化しMackerelに送ることでアプリケーションログをメトリックとして監
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL（ライフル）の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次相原魁氏：今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 （スライドを示して）今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせる
はじめに Amazon CloudWatch Logs Insightsを利用して、送信元や送信先を特定のIPアドレスやCIDRに絞り込み、VPCフローログを分析しました。 VPCフローログは、VPC内のネットワークインターフェースを通過するIPトラフィックの情報をキャプチャする機能です。 VPCフローログは、CloudWatch LogsやS3に保存することができ、またKinesis Data Firehoseに送信することも可能です。 VPCフローログの作成と保存方法は、下記を参考にして下さい。 この記事では、サブネットに適用したルートテーブルのルーティング設定のうち、不要なルーティング設定かどうか判断するため、VPCフローログをCloudWatch Logs Insightsで分析する機会がありましたので、具体的なクエリを紹介します。 1つ送信元IPから１つの送信先IP 単一の送信元
2024-12-20T03:14:22.847Z INFO HttpServer started successfully binding=0.0.0.0:3000 pid=28471 env=production version=2.4.1 node_env=production cluster_mode=enabled workers=4 2024-12-20T03:14:22.912Z debug PostgreSQL connection pool initialized host=db.internal:5432 database=main pool_size=20 ssl_mode=require idle_timeout=10000ms max_lifetime=1800000ms 2024-12-20T03:14:23.156Z INFO Incoming request
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
この記事は Mackerel Advent Calendar 2021 の 15 日目の記事です. 昨日は id:kazeburo さんの mkr plugin install 時の403 API rate limit exceededエラーを回避する方法 でした. こんにちは id:susisu です. 普段は Mackerel 開発チームでアプリケーションエンジニアをしています. 先日 mackerelio-labs にて cloudwatch-logs-aggregator という Terraform モジュールをひっそりと公開しました. github.com この記事では, このモジュールについてと, これを使って AWS 環境で動作するアプリケーションのメトリックの監視環境を手早く Mackerel 上に構築する方法を紹介します. アプリケーションのメトリックについて (ここでア
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
We are excited to announce streaming API support for Amazon CloudWatch Logs Live Tail, making it possible to programmatically view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested within your own custom applications or dashboards inside or outside of AWS. Live Tail console has been providing customers a rich out-of-the-b
140x Lower CostOpen source, petabyte-scale observabilityDe-escalate your observability costs.
Hayabusa is a Windows event log fast forensics timeline generator and threat hunting tool created by the Yamato Security group in Japan. Hayabusa means "peregrine falcon" in Japanese and was chosen as peregrine falcons are the fastest animal in the world, great at hunting and highly trainable. It is written in memory-safe Rust, supports multi-threading in order to be as fast as possible and is the
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「CloudWatch Logs」の「サブスクリプションフィルター」機能の利用方法と注意点を紹介します。 「CloudWatch Logs」の「サブスクリプションフィルター」とは 「サブスクリプションフィルター」はロググループ単位に設定するフィルター機能です。設定した特定文字列がログに出力された場合に、指定した後続処理（「AWS Lambda」「Amazon Kinesis」など）にログを転送します。 構築時は、とあるエラーのみ処理の中で通知する仕組みにしていたが、運用していく上で「他のエラーも同様に通知したい」「一時的にこのエラーは通知してほしい」といったことも起こります。こういった場合、大抵は処理を改修して通知する箇所を増やす必要がありますが、エラーログさえ出力
Amazon Web Services ブログ Amazon CloudWatch Logs による AWS WAF ログの分析 本記事は、「Analyzing AWS WAF Logs in Amazon CloudWatch Logs」と題された記事の翻訳となります。 この投稿では、Logs Insights、Contributor Insights、メトリクスフィルターなどの Amazon CloudWatch の機能を使用して、AWS ウェブアプリケーションファイアウォール (AWS WAF) ログを分析し、ダッシュボードを作成、アラームを生成する方法を説明します。 CloudWatch Logs Insights は、Amazon CloudWatch Logs で WAF ログをインタラクティブに検索および分析することにより、セキュリティインシデントと誤検知を特定する方法を提供
本検証利用したFargateのCloudFormationテンプレート、FireLensのDockerfileなどは以下に置いてあります。タスクロールなどは必要に応じて確認してください。 Fargate一式 FireLensのDockerfile 設定ファイル 以下のFluent Bitの設定ファイルを作成しました。 [SERVICE] Flush 1 Grace 30 # ELBヘルスチェックログ除外 [FILTER] Name grep Match *-firelens-* Exclude log ^(?=.*ELB-HealthChecker\/2\.0).*$ # エラーログにタグ付け [FILTER] Name rewrite_tag Match *-firelens-* Rule $log (emerg|alert|crit|error|\s4\d{2}\s|\s5\d{2}\
tl;dr: There's no silver bullet, but if we put some "lead" bullets in the right places, we have a good shot at keeping sensitive data out of logs. "This is the blog version of a talk I gave at LocoMocoSec 2024. It’s mostly a lightly edited transcript with some screenshots, so if you’d prefer, you can watch the video or just flip through the slides." This post is about how to keep secrets out of lo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く