タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
社員の個性・才能を発掘し、戦略人事を加速させるタレントマネジメントシステム「カオナビ」を提供する株式会社カオナビでは、SaaS移行にあわせてクラウドを全面的に採用し、インフラの自動化などにAWSのマネージドサービスを積極活用しています。とはいえ10年近い運用で、サービス開発におけるシステムのモノリス化が課題となってきました。 こういった全社的な課題は、2020年からCTOを務める松下雅和（@matsukaz）さんを中心にCTO室で対応しています。モノリスなシステムは、全体のモジュラモノリス化を前提に、とくにボトルネックとなる検索処理を非同期の基盤サービスとして切り出しています。 この検索基盤の設計と実装を通して、カオナビはシステムのアーキテクチャ改善をどのように進めようとしているのか。非同期である必要性や、デプロイの工夫、開発組織の文化まで含めて、CTO室の千葉峻秀さんとインフラグループの
はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1
米Twitterは、同社の買収に合意したものの、取引の打ち切りをほのめかしているイーロン・マスク氏の要求に対し、今週中にも“firehose”（消火ホースの意味）へのアクセスを提供する──。米Washington Postが6月8日（現地時間）、この件に詳しい匿名の情報筋の話としてそう報じた。 マスク氏は、Twitter上に占めるbotやフェイクアカウントの正確な割合を示さないなら買収をなかったことにするという書簡をTwitterのビジャヤ・ガッデCLO（最高法律責任者）に送ったり、ツイートしたりしている。Twitterはbotは5％未満だとしているが、マスク氏は「独自調査では20％以上だ」と反論した。 マスク氏の代理人がTwitterに送った書簡には「マスク氏は、Twitterが合併契約に基づく義務の順守を拒否していると確信しており、マスク氏自身のデータ分析で明らかになることを懸念して、
Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose Today we announced Dynamic Partitioning in Amazon Kinesis Data Firehose. With Dynamic Partitioning, you can continuously partition streaming data in Kinesis Data Firehose using keys within data like “customer_id” or “transaction_id” and deliver data grouped by these keys into corresponding Amazon Simple Storage Service (Amazon S3) pr
AWS CDK Advent Calendar 2023の記事です。終わっても空いてた枠にシュルっと入りました。 NewsPicksのSREチームでセキュリティ周りも担当しているあんどぅといいます。 AWS WAFを利用する中で少しニッチな、しかし重要なロギングについてCDKで実装した例をご紹介します。 ボリュームが多いので、同じような構成でCDKを利用して実装する方の参考になれば幸いです。 WAFのログは重要。プライバシー保護も重要 同じアドカレ内でも書かれていますが、WAFを運用していると誤遮断がつきものなので、WAFのログは非常に重要です。 WAFのルールを適用する際は、COUNTモードで適用して一定期間運用した後に、不正と判断されたリクエストのログを確認して、問題ない検知をしていることを確認してから、BLOCKモードでルールを適用するのが定石です。 なのでWAFのログは見る必要があ
Amazon Data Firehose supports continuous replication of database changes to Apache Iceberg Tables in Amazon S3 Amazon Data Firehose now enables capture and replication of database changes to Apache Iceberg Tables in Amazon S3 (Preview) . This new feature allows customers to easily stream real-time data from MySQL and PostgreSQL databases directly into Apache Iceberg Tables. Firehose is a fully man
コンサル部のとばち（@toda_kk）です。 表題の通り、ElastiCache for Redisの機能としてスローログをパブリッシュできるようになりました。 スローログを確認したい場合、これまではredis-cliなどを使いがんばってRedisノードから直接ログを取得する必要がありました。CloudWatch LogsやKinesis Data Firehoseを通して確認できるようになったおかげで、トラブルシューティングを容易にできると期待しています。 対応バージョンは6.x系以上のみ 2021年5月現在では、Redisバージョンが6.x系以上でないとスローログが設定できないようですので、ご注意ください。 パブリッシュを有効化する スローログのパブリッシュを有効化する手順を確認してみます。 Redisクラスターの設定 まずはRedisクラスターを作成します。このとき、スローログの有効
みなさん、こんにちは！ 福岡オフィスの青柳です。 Amazon ECSのカスタムログルーティング機能である「FireLens」では、Fluent Bitをプラグインと共に使うことで、様々なサービスに対してログを転送することができます。 その中でも、AWSの下記サービスはログ転送先としてよく使われるのではないでしょうか。 CloudWatch Logs Kinesis Data Firehose Kinesis Data Streams 実は、Fluent Bitで上記サービスと連係するプラグインを利用する場合、ちょっとした注意点があります。 知っている人にとっては何ということはない話ですが、知らないと気付かずに「損」をしてしまいます。 タスク定義の書き方、どうしてますか？ 上に挙げた3つのプラグインは、AWSドキュメントに設定例として掲載されていますし、ググると設定サンプルも見つかります。
1 はじめに CX事業本部の平内（SIN）です。 ここまで、エッジ側のAudioデータをクラウドへ送信する要領をいくつか試してみました。 上記のうち、最後だけは、バイナリ型式でデータを送ってみたのですが、実は、AWS IoT SDKのMQTTクライアントのPublishもpayloadは、bufferとなってます。 https://awslabs.github.io/aws-crt-python/api/mqtt.html?#awscrt.mqtt.Connection.publish 今回は、AudioデータをJSON化せず、バイナリ形式のまま送信する要領を確認してみました。 2 構成 構成は、前回とほぼ同じです。 デバイスからは、500msec単位で、Audioデータ（バイナリ形式）とタイムスタンプ（バイナリ形式）を結合したものをPayloadとしてMQTTで送信します。 Amazon
Amazon Web Services ブログ Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始 Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイク、データストア、および分析サービスに確実にロードするための便利な方法を提供します。Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにストリーミングデータをキャプチャ、変換、配信することができます。Amazon Kinesis Data Firehoseは、データのスループットに合わせて自動的
コードの紹介 Raspberry Pi側のコード Raspberry Piに接続したセンサーからデータを取得してAWS IoTにデータをMQTTで送信するコードとなります。 スイッチサイエンスさんのリポジトリに公開されているセンサーデータを取得するコードを編集して、取得したデータをMQTTプロトコル通信でAWS IoTに送信できるようにしました。 SWITCHSCIENCE/BME280 リポジトリからクローンしてきたコードの内のbme280_sample.pyを編集して使用しました。 編集後のコードが以下のようになります。ハイライトした後半部分がMQTTでAWS IoTにデータを送信するために追加編集した部分となります。 import MqttBasicPubSub import json from smbus2 import SMBus from datetime import dat
Firehoseの動作確認のため、Lambdaから画像を流した時の個人メモ （参考）Firehose — Boto 3 Docs 1.9.42 documentation - Amazon AWS （参考）BufferingHints Kinesis Firehose 「Create delivery stream」を押下 Kinesisから転送はしないので「Direct PUT」とし、流す先としてS3を選択 S3バケット名を指定 ここで指定したバケットへのアクセスを含めたIAMロールが自動生成される 他はデフォルトのまま、作成 数分後、作成されたことを確認 Lambda Python3.9にて作成 自動生成されたロールを選択 ロールにアタッチされているポリシーを以下のように修正 画像の取得元であるS3へのGetObjectを付与 今回は取得したバケットの別フォルダにアップロードする Fi
こんにちは！コンサル部のinomaso(@inomasosan)です。 とある案件でAmazon CloudWatch Logsに保存したAmazon Auroraのログを、別アカウントのKinesis Data FirehoseにプッシュしS3に保存できるか調査しました。が、テキストだけ読んで理解しようとしたところ脳内CPUが高負荷で爆発しました。 そこで、今回は参考にした手順で作成するリソースを図に描いて、脳の負荷を軽減してみます。 まずはシングルアカウントでの手順を図にしてみる 理解を深めるために、まずはシングルアカウントでの手順から図にしてみます。 今回はAmazon Auroraの各種ログをCloudWatch LogsからS3に連携してみたを参考に、より詳細な図を描いてみました。 Amazon CloudWatch LogsとAmazon Kinesis Data Fireho
Amazon Web Services ブログ Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 本記事は Amazon Web Services, Startup Solutions Architect Manager である Alon Gendler によって投稿されたものです。 世界中で生成されるデータの量の増加がますます加速しています。データは、IoT、広告、ゲーム、セキュリティ監視、機械学習 (ML) など、増え続けるユースケースをサポートするために生成されています。これらのユースケースの発展がストリーミングデータの量と速度の両方を駆動させた結果、企業はデータをニアリアルタイムで取得、処理、変換、分析、さまざまなデータストアに取り込む必要が出てきています。 Amazon Kinesis Data
こんにちは、ゲームソリューショングループのsoraです。 今回は、EC2にKinesisエージェントをインストールして、Kinesis Data Firehose経由でS3にログファイルを送信してみたことについて書いていきます。 構成 EC2にKinesis Agentをインストールして、Kinesis Data Firehoseを経由して、S3にログファイルを送信する構成です。 Kinesis Data FirehoseとS3の作成 Kinesis Data FirehoseとS3を作成します。(S3の作成は本記事では割愛します。) Kinesis Data Firehoseについて、ソースはDirect PUT、送信先はS3として作成したS3を指定します。 EC2の準備 Webサーバの実装 EC2は以下ブログ記事内で作成したものに、アクセスログを出力するように修正したものを使用します。
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか？キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味本位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います。先週は『Don’t Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介しました
Amazon Web Services ブログ Kinesis Data Firehose と Fluent Bit for Amazon EKS on AWS Fargate によるサードパーティーへのログ送信 この記事は Shipping logs to third-parties with Kinesis Data Firehose and Fluent Bit for Amazon EKS on AWS Fargate (記事公開日: 2022 年 4 月 20 日) を翻訳したものです。 AWS Fargate は EKS クラスターで Pod を動作させるためのキャパシティをオンデマンドで提供するテクノロジーです。Fargate は EC2 インスタンスの管理を必要とせずにコンテナアプリケーションを実行できるようにすることで、より手のかからない体験を提供します。AWS Farg
1 はじめに CX事業本部の平内（SIN）です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォルトでAudio入力の機能が無いので、Webカメラをつないで、Audio入力に使用しました。 Webカメラ(C920)を接続して、arecord
しばたです。 検証用にAmazon Kinesis Data Firehose(以後Kinesis Firehose)を手作業で作成した際に気が付いた点について、ネット上に意外と情報が無かったのでブログにしてみました。 配信ストリーム作成時に生成されるIAMロール マネジメントコンソールからKinesis Firehose配信ストリームを新規作成する場合、配信ストリームと同時にIAMロールを新規作成することが可能です。 例として下図の様にシンプルなS3への配信ストリーム(PUT-S3-Test1)を作る場合、 Advanced settingsの「Permissions」欄でIAMロールを新規作成するかどうかを指定できます。 ここでIAMロールを新規作成した場合以下の様なポリシーを持つロールとなり、ところどころに%FIREHOSE_POLICY_TEMPLATE_PLACEHOLDER%と
Amazon Data Firehose が、Amazon S3 の Apache Iceberg テーブルへのデータベース変更の継続的なレプリケーションをサポート Amazon Data Firehose で、Amazon S3 の Apache Iceberg テーブルに対するデータベース変更のキャプチャとレプリケーションが可能になりました (プレビュー)。この新機能により、お客様は簡単に MySQL および PostgreSQL データベースからのリアルタイムデータを Apache Iceberg テーブルに直接ストリーミングできます。 フルマネージド型のサーバーレスストリーミングサービスである Firehose を使用すると、お客様はデータストリームを取得し、変換して、Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake、および
困っていた内容 Firehose で S3 に保存した gzip ファイルをダウンロードしたのですが、 解凍しようとするとファイル破損となり解凍できません。 原因 今回の事例では Firehose から S3 にファイルを保存する際に gzip 圧縮を行っています ※上記設定は Amazon Kinesis > Delivery streams > 対象の配信ストリームを選択 Configuration > Destination settings > Compression and encryption で確認できます。 この設定をしていた場合、 S3 に保存する際にメタデータとして Content-Encoding: gzip が付与されます このメタデータが付与されていると、ブラウザ経由でダウンロードした際に、gzip が自動で解凍（展開）されてしまう事があります。 しかし、ファイル
Amazon Web Services ブログ Amazon Data Firehose を使用して、データベースから Apache Iceberg テーブルに変更をレプリケート (プレビュー) 11 月 15 日、PostgreSQL や MySQL などのデータベースで行われた変更をキャプチャし、その更新を Amazon Simple Storage Service (Amazon S3) 上の Apache Iceberg テーブルにレプリケートする、Amazon Data Firehose の新機能がプレビューで使用可能になったことをお知らせします。 Apache Iceberg は、ビッグデータ分析を実行するための高性能なオープンソーステーブル形式です。Apache Iceberg は、SQL テーブルの信頼性とシンプルさを S3 データレイクにもたらし、Apache Spark
The firehose of falsehood, also known as firehosing, is a propaganda technique in which a large number of messages are broadcast rapidly, repetitively, and continuously over multiple channels (like news and social media) without regard for truth or consistency. The firehose of falsehood is a contemporary model for Russian propaganda under Russian President Vladimir Putin. A similar American term f
こんにちは。イタンジ株式会社でインフラエンジニアを担当している李（イ）です。 AWS、GCP、Azureなどのクラウド基盤でイタンジのサービスのインフラ構築および運用を主な仕事としています。 サービスのインフラをAWSで構築する場合、弊社ではECS(Elastic Container Service)を利用するのが一般的です。その際にログの保存をどうするかの問題について、ECSだとCloudWatchにログを流すのが一般的なので弊社もそうしてきましたが、サービスの成長に伴ってCloudWatchによるログ出力及び保存のコストが年々上がっているという課題がありました。 言うまでもなく、サービスを運用する側にとってコストはあまり高くしたくないものですね。ログのように、サービスの成長に伴ってスケールするものなら尚更です。 今回は、AWS ECSでアプリケーションを運用する場合にログ保存のコストを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く