タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
SRE の鈴木 (id:eagletmt) です。先日、この開発者ブログで赤松から One Experience プロジェクトについての紹介がありました。 自分もこの One Experiene プロジェクトに携わっており、このプロジェクトが始まったちょうど1年くらい前にはイギリスにあるオフィスに行き、グローバル版のシステムを開発・運用しているメンバーと直接顔を合わせたりもしていました。自分は One Experience プロジェクトにおいて主にデータ移行について担当していました。データ移行に必要な作業はいくつかありますが、この記事ではその中から日本版のシステムのデータベースで発生したデータの変更をどのようにしてグローバル版のシステムのデータベースに継続的に反映したかの部分について紹介します。 One Experience でのデータ移行 赤松の記事にも書かれていたように、日本版とグロー
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
バックエンドエンジニア兼万年ダイエッターの taisa です。毎朝子どもの幼稚園バス送りのついでに短距離ダッシュして運動してます。はたから見ると変な人ですが、バスを追っかけるようにダッシュすると幼稚園バスの子どもたちは喜んでくれます。 テックタッチは以前、マイクロサービスの切り直し後に DB 統合を実施しました。本記事では、テックタッチがどういったプロセスで DB 統合を実施したかを紹介します。また、AWS DMS を利用する際に気をつけるポイントについても合わせて紹介します。 マイクロサービス切り直し記事のおさらい なぜ DB 統合したか Before After DB 統合の前提条件 やりたいこと 制約 DB の特徴 サービスの特性 AWS DMS（Database Migration Service）とは どのように DB 統合したか Phase1：DMS でレプリケーションを開始す
はじめに Data Strategyチーム（以下、DSチーム）でDWHやBIツールの運用をしている@shota.imazekiと不正検知やAWS基盤運用をしている@tawamuraです。 Aurora MySQL v2（MySQL5.7互換）が2024/10/31に標準サポート終了となるため、DSチームでは2024年6月にAurora MySQL v3（MySQL8.0互換）へのアップグレードを実施しました。 その際に得られた課題や知見について紹介していきます。主にAWS DMSやAmazon RDS ブルー/グリーンデプロイを用いたアップグレード方法の話になります。 DSチームのインフラ構成 DSチームはBASEの機械学習基盤を構築・運用しており、APIなどを介してプロダクト側へ機械学習モデルの推論結果などを返しています。学習・推論のために使うプロダクト側のデータはDMSを用いて、DS環
HOME/技術記事/AWS Database Migration Service (DMS)の新機能「データマスキング」で安全な負荷試験環境を作る
はじめに こんにちは！DPE（Developer Productivity Engineering）チームの高畑です。 最近カーオーディオにハマっていて、スピーカーを変えたり DSP アンプを導入したりとオーディオの沼に腰あたりまで浸かってしまいました。 スピーカーケーブルをちょっと良いやつに変えたりしてみたんですが、正直違いが分かっていないので頭まで浸かるのはまだ先のようです。 現在、ビザスクでは遅ればせながら MySQL 5.7 から MySQL 8.x へアップグレードするためのプロジェクトが進行しており、既存のデータを移行するため諸々の検証を行なっていました。 検証を進めるにあたり、データの移行に DMS (Database Migration Service) を利用する方針となったので、経緯や方法をご紹介したいと思います。 移行方法の検討 当初、既存の MySQL 5.7 デー
Mackerel チームで SRE を担当している id:taxintt と申します。 はてなの SRE が毎月交代でブログ記事を書く Hatena Developer Blog の SRE 連載、7月号です。6月の記事は id:masayoshi さんの NotebookLM で 社内のSREに関するブログや登壇資料を学習させ、SREのオンボーディングに活かせるか? - Hatena Developer Blog です。 Mackerel は、今年の4月にAPM・トレース機能を提供するシステムのメンテナンス作業を実施しました。このメンテナンスでは、AWS Database Migration Service（AWS DMS）を利用して APM・トレース機能で利用されている Amazon Aurora MySQL のデータを Amazon Aurora PostgreSQL に移行しました
コミュニティ応援 @Community_SNS 本日はこちらのイベントを応援します！ 「DMS Cube祭り 2022（旧DataSpider祭り）」 株式会社セゾン情報システムズさんが主催する「まなぶ」「ふれる」「つながる」という3つのキーワードを元にしたIT技術系イベントです。 ※Tweetの許可は得ています dmscube.com/view/event/2770 #DMS_Cube祭り 2022-03-03 11:48:07
#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。
AWS Database Migration Service (AWS DMS) では、データマスキングのサポートを開始しました。これにより、移行中に機密データを列レベルで変換できるようになり、GDPR などのデータ保護規制への準拠に役立ちます。AWS DMS を使用して、保護が必要な情報を列レベルでマスキングして、データのコピーを作成できるようになりました。 AWS データマスキングは、指定したデータ部分を自動的にマスキングします。データマスキングには、数字のランダム化、数字のマスキング、ハッシュという 3 つの変換手法があります。DMS Classic と DMS Serverless バージョン 3.5.4 でサポートされるすべてのエンドポイントで使用できます。 AWS DMS でのデータマスキングについて詳しくは、AWS DMS の技術ドキュメントを参照してください。
AWS News Blog New – AWS DMS Serverless: Automatically Provisions and Scales Capacity for Migration and Data Replication With the vast amount of data being created today, organizations are moving to the cloud to take advantage of the security, reliability, and performance of fully managed database services. To facilitate database and analytics migrations, you can use AWS Database Migration Service
AWS Database Migration Service (AWS DMS) now supports Data Masking, enabling customers to transform sensitive data at the column level during migration, helping to comply with data protection regulations like GDPR. Using AWS DMS, you can now create copies of data that redacts information at a column level that you need to protect. AWS Data Masking will automatically mask the portions of data you s
このようにDBの移行は考慮すべきことや行うべきことが多いと言えます。 AWS DMSの特徴と強み データ連携製品は、物理レプリケーション方式と論理（ロジカル）レプリケーション方式の２つに分けられます。一般的な仕組みはこのようになります。物理方式は、連携元（ソース）のトランザクションログを連携先（ターゲット）に転送し、それをそのまま連携先のDBへ適用する方式です。 ロジカル方式は、トランザクションログから独立性の高いSQL等を生成し、ターゲットのDBに実行する方式です。 物理方式は一般的に同一DBMS製品の同一バージョンにしか使用できませんが、それはこの仕組みが理由です。DBMSやバージョンが変われば、トランザクションログの仕様も変わってしまいます。 参考：後述するBlack Beltの P19とP20にも物理方式と論理方式の紹介があります。 AWS DMSはロジカル方式を採用したデータ変換
AWS Database Blog Replicate your data from Amazon Aurora MySQL to Amazon ElastiCache for Redis using AWS DMS Caching enables the best user experience for real-time applications. You can build applications that provide sub-millisecond response times by storing the most frequently requested data in an in-memory cache like Redis. On August 30, 2021, we announced the support for migrating your data fr
こんにちは。インフラエンジニアの永井(shnagai)です。 RDS(MySQL)にあるデータを検索エンジン(今回でいうとOpenSearch)に同期したいというプロジェクトがあり、AWS Database Migration Service(以下、DMS)について調べる機会があったので、これまでAWS SAの方に聞いたりwebで調べたことについてざっとまとめてみました。 この記事はコネヒト Advent Calendar 2021の7日目の記事です。 やりたいことのざっくり要件 最初に今回調査をするトリガとなったプロジェクトの要件を簡単に紹介します。 端的に言うと、RDSにある特定のテーブルをAmazon OpenSearch Service（以下、OpenSearch）に同期したいというもので RDSにある特定のテーブルのデータをOpenSearchに同期 将来的にはニアリアルタイム(
公式ユーザーガイドのAWS Database Migration Service の開始方法を参考に実施しました。 このチュートリアルでは、オンプレミスからではなく、RDS for MySQLから、RDS for PostgreSQLへのデータ移行を試します。 VPC バージニア北部で元々作っていたDemo用のVPCを使用しました。 セキュリティグループ DMS用とソースデータベース、ターゲットデータベース、設定クライアント用に4つ作成しました。 DBConfiguration インバウンドはなしでデフォルトのままです。 DMS インバウンドはなしでデフォルトのままです。 MySQL 3306ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。 PostgreSQL 5432ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。
関連キーワード Amazon Web Services | データベース | RDBMS Amazon Web Services（AWS）は2021年12月に、組織がクラウドデータベースの管理と運用をしやすくするための幾つかのアップデートを実施した。前編「『Amazon RDS Custom』『Amazon DynamoDB』を便利にする“あの機能”とは」に引き続き、そのアップデート内容を詳しく説明する。 アップデート内容の中には「Amazon DevOps Guru for RDS」という新サービスの登場がある。Amazon DevOps Guru for RDSは「Amazon Aurora」をはじめとする、リレーショナルデータベース管理システム（RDBMS）を利用可能なAWSのクラウドデータベースでデータベースを構築したり、可用性を向上させたりするための機械学習機能を提供する。 「A
Amazon Web Services ブログ New — AWS DMS Serverless: 移行とデータ複製のキャパシティの自動的なプロビジョニングおよびスケーリング 現在、膨大な量のデータが作成されているため、組織はフルマネージドデータベースサービスのセキュリティ、信頼性、パフォーマンスを活用するためにクラウドに移行しています。データベースと分析の移行を容易にするため、AWS Database Migration Service (AWS DMS) を使用できます。2016 年に初めて導入された AWS DMS は、データベース移行プロジェクトを自動化するシンプルな移行プロセスを提供し、時間、リソース、コストを節約します。 コンソールから数回クリックするだけで AWS DMS の移行を開始できますが、それでも移行前に調査と計画を行って必要なキャパシティを決定する必要があります。特
はじめに データアナリティクス事業本部のkobayashiです。 Aurora MySQLクラスターのバイナリログを使ってレプリケートする必要があり、その手段としてをAWS DMS(Database Migration Service)を使う機会がありました。検証の途中で、RDS for MySQLとAurora MySQLとの設定の違う箇所があったりしてハマった箇所もあるためその内容をまとめます。 AWS Database Migration Service とは - AWS Database Migration Service MySQL 互換データベースの AWS DMS のソースとしての使用 - AWS Database Migration Service 今回検証を行ったきっかけ 元々はAurora MySQLのデータをSnowflakeに連携したいがどのような方法があるかを調べ
前書き俺のTLにて、今まで2D格闘ゲームをメインに触っていたゲーマー達が鉄拳8を買ったものの、鉄拳特有の"暴力"にわからされている悲しみの声が観測されたので、書いてみようと思う プロの方々や上級者と呼ばれる方の初心者講座や指南動画は、俺が見た限り一般論メインかつ基本に忠実に教えており決して間違ってはいない、それどころかこれに沿って頑張ればきっと強くなれるだろう、というのはわかるのだが 今、求められてるのは確実に鉄拳が上手くなり後の数年勝てるようになる、という情報じゃなくて「負けがかさんで辛いから今すぐに勝てる方法が欲しい」なのでその方向に絞った、どちらかと言えば邪道な方法論をメインに伝えようと思う。対象ターゲット層は初段～剛拳の降格なし保障のあるところまで、あるいは剛拳～邪拳ルーパーぐらいまでを想定します。目標は羅段（修羅～羅傑）到達まで まず、最初に筆者の鉄拳経験は以下の通り 後に記述す
諸条件 ソースがMySQLの場合、Redshiftへの変換にSCTが利用できない DMSにはSCT(SchemaConversionTool)という、ローカルPCにインストールしてスキーマやストアドプロシージャ等を自動変換・診断してくれるツールがあります。このSCTはソースDBとターゲットDBの組み合わせごとに使用可否が決まっている点に注意が必要です。 以下のURLの通り、ソースがMySQLの場合、ターゲットにRedshiftを選択することができません。 https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Welcome.html そもそもターゲットがRedshiftの場合は、ソースの対応DBエンジンにOLTP系のものは少なく、多くがOLAP系です。 OLTP系：SQL Server, Oracle
AWS Big Data Blog Build incremental data pipelines to load transactional data changes using AWS DMS, Delta 2.0, and Amazon EMR Serverless Building data lakes from continuously changing transactional data of databases and keeping data lakes up to date is a complex task and can be an operational challenge. A solution to this problem is to use AWS Database Migration Service (AWS DMS) for migrating hi
企業には多くのファイルがあります。そうしたファイル群を管理する際には、ファイルサーバーを使うほか、ドキュメント管理システムを利用する選択肢もあります。 ファイルサーバー以上に細かなアクセス管理、検索などの機能が利点です。社内資産をより活用するためのドキュメント管理システムについて、オープンソースで提供されているものを紹介します。 関連記事：文書管理システムとは？メリットや選び方・おすすめ製品10選を紹介 Papermerge DMS Papermergeの特徴はアップロードしたファイルをOCRによってテキスト抽出し、検索インデックスが作成されることです。ドキュメントはバージョン管理され、過去のドキュメントにもすぐにアクセスできます。 REST APIが提供されているので、既存システムから利用することもできます。 Papermerge DMS with OCR OpenKM OpenKMはド
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く