この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
アクション RPG『ELDEN RING』のオンラインサービスを AWS のマネージドサービスで構築 ワールドワイドで最大 150 万同時接続のスケールに対応 ゲーム機向けアクションゲームの企画・開発を手がける株式会社フロム・ソフトウェア。同社は 2012 年からゲームソフトのインフラ基盤としてアマゾン ウェブ サービス（AWS）を利用しています。2022 年 2 月にリリースした『ELDEN RING（エルデンリング）』では、バックエンドにマネージドサービスの Amazon Elastic Kubernetes Service（Amazon EKS）や Amazon Kinesis Data Firehose を採用。スピーディな構築を実現し、ゲーム発売直後の最大 150 万同時接続に対しても迅速なスケールアウトで乗り切りました。リリース後はわずか 4 名の自社要員で安定した運用を継続し
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
2022年5月15日(日)に開催されたSRE NEXT 2022 Day 2の登壇資料です。 ▼SRE NEXT 2022オフィシャルサイト https://sre-next.dev/2022/ ▼発表の概要 https://sre-next.dev/2022/schedule#jp20
初心者むけK8sハンズオンの補助資料です https://qiita.com/minorun365/items/0441e4878f0984a9fc0a
ZOZO×一休×PayPay AWS Nightは、2020年7月22日に開催されたZOZOテクノロジーズ・一休・PayPayの3社による合同イベントです。各社それぞれAWSの活用事例を紹介します。PayPay株式会社プラットフォームチームの西中氏がPayPayのインフラの概要について話しました（記事内の情報はイベント開催時点のもの）。 日本のNo.1 QRコード決済サービス西中智樹氏（以下、西中）：「PayPayでのAWS活用事例について」と題して、PayPay Platformチーム・西中が発表いたします。 簡単に自己紹介します。西中智樹と申します。2018年12月よりPayPayで仕事をしていまして、現在、AWSなどのPayPayのインフラを所管するPlatformのチームに所属しています。好きなAWSサービスはEKSです。 本日のセッションのアジェンダになります。この順番でお話をい
米Mirantisは、軽量かつシングルバイナリで、インストールや運用も簡単なKubernetesのディストリビューション「k0s」をオープンソースとしてリリースしました。 新しい Kuberentes distro, #k0s が OSSで公開されました！ 軽量、ワンバイナリ、Intel/ARM対応、アップデートも簡単！ チェックしてみてください！https://t.co/B4gBUPWau2 — Mirantis Japan (@Mirantis_JP) November 13, 2020 対応するOSはLinuxとWindows（今後リリース予定）。プロセッサはIntelとARMに対応します。 軽量かつ簡単に導入できて運用も容易 k0sは、「100% upstream vanila Kubernetes distro」（100％純正で色付けのないKubernetesディストリビューショ
NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ```
VSCode の更新情報を見ていたら Dev Container の仕様と、リファレンス実装の CLI ツールについて記載がありました。 Development Container specification Our development container teams across Microsoft and GitHub continue active development on the new Dev Container Specification, and this iteration had several exciting highlights. どういう風にやってきたのか Dev Container(devcontainer) の元は VSCode の Remote - Containers で使われている開発コンテナ(とその設定ファイル)のことです。これを VSCode
SREチームの長田です。 今回はカヤックで運用している「まちのコイン」というプロダクトのアプリケーション基盤を Amazon EKS(以下EKS)からAmazon ECS(以下ECS)に移行したはなしをします。 まちのコインとは coin.machino.co www.kayac.com まちのコインはカヤックが運営している、デジタル地域通貨を使ってその地域のコミュニティを活性化させるサービスです。 2019年11月から実証実験を開始し、翌年2月から正式リリースされました。 2022年9月現在、20の地域に導入されています。 一般ユーザーが使用するクライアントアプリと、導入地域の運営団体が使用するブラウザ用の管理画面、 それらにAPIを提供するRailsサーバーアプリがあります。 データベースはAmazon Aurora PostgreSQL、 その他AWSのマネージドサービスを組み合わせ
はじめに GoogleのマネージドKubernetesディストロであるGKEの新機能（厳密には新しい種類のクラスターといったほうがユーザーにとっては正しい説明になると思いますが）、GKE Autopilotが先週大きく話題になりました。 ノードがGoogle Cloudによるマネージド Podごとの課金体系 ノードへのSSHが使えない といった特徴が大きく取り上げられており、ぱっと見AWSのEKS Fargateと非常に似ているように見えます。が、(少なくとも、user facingな部分においては)技術的には全くやっていることが違うと思います。なぜならFargateはEC2とは全く異なるVM技術がベースになっているのに対して、Autopilotは通常のGCEを応用した機能として提供されているからです。 ※まあ、GCEは実はコンテナで動いてるみたいなちょっとした裏話もあったりするんで、本当
｜DMM inside
この記事は電通デジタルアドベントカレンダー2020の22日目の記事になります。前回の記事は「ADH APIを効率的に呼び出すために開発したHooksの紹介」でした。 改めましてこんにちは！ Docker使ってますか？ AWSでDockerを使おうと思うと以下の３つの選択肢があります。 ・Elastic Container Service ・Elastic Kubernetes Service ・EC2に構築する この中でもECSいいですよね、僕も好きです。運用に手間もかからなくて気軽に使えるところに好感もてます。さすがAWSのマネージドサービス。 ただし実際にECSで構築しようとすると周辺のリソースが色々と必要になるので初心者にとってハードルが高く見えるのも事実です。そんなわけで初心者にも使えるようなテンプレートを提供したいと思います。 このテンプレートでは最低限の機能しか提供しません。何
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
はじめに こんにちは、モノタロウの コンテナ基盤グループの田中です。 現在、私たちはプラットフォームエンジニアリングの取り組みとして、EKS クラスタにのっているアプリの開発支援を行っております。 今回その一環として、ArgoCD Pull Request Generator（以降：PR Generator）を導入することで、アプリのプルリクエスト（以降：PR）を作成するだけで環境が自動生成され、PRの単位で動作確認がすぐにできるようにしました。 見どころは PR Generator の機能を知ることができる アーキテクチャから設定まで再現できるように詳細に記載 マルチクラスタ環境での活用法 の 3点です。 背景 元々、VM時代で動作確認を行うためには、ApacheのVirtual Host機能を使用してPort単位でアプリケーションを展開し、確認作業を行っていました。その際、Portは数
おしらせ 2021/06/27 の Drecom SRE Sunday にて、 この記事にかかれている EKS 移行に関する情報共有を行います、ぜひご参加ください！ Drecom SRE Sunday (connpass) はじめに こんにちは！ enza SREチームのmendと申します！ 先日の安藤さんの記事「古き良きRailsアプリケーションをコンテナ化してKubernetes上で動かす」にもある通り、運用しているプロダクトをAmazon EC2からAmazon EKSに移行しました。 プロダクトをダウンタイムなしにEC2からEKSに移行しましたので、今回はダウンタイムなしを実現したインフラ側の構成について紹介させて頂きたいと思います。 背景 まず背景としましては、私の関わっているプロダクトはこれまでEC2で動作しておりました。 EC2上でdockerコンテナを起動しているのではなく
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
こんにちは、DevBrandingのellyです。5月20日に配信した「AWSコスト倍になっちゃった！〜削減への道のり〜」の様子をご紹介します。 今回はITストラテジーチームとSREチームから2人のゲストを招いて、freeeで実際に起きたAWSコスト増加の事例をもとに、気がつけば増えるインフラ費用の無駄をどのように見つけ、コスト削減していったのか、実話のストーリーを話してもらいました。 登壇者集合写真 miry:写真左上。2015年入社。ITストラテジー。全社のITツールのコスト管理やIT戦略の策定を担当。 nakagawa:写真右上。2020年5月入社。SREチームエンジニア。基盤の更改やクラスタ管理効率化を担当。 のぶじゃす (@noblejasper): 写真右下。ラジオパーソナリティ、2017年に中途入社。mixi、ソーシャルゲーム企業でソフトウェアエンジニアを経験し freee
サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少
こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
おはようございます、もきゅりんです。 Shall we mesh ? 弊社コンサルティングには、今一度 AWS の各サービスを初心に返って、基本的な部分から見つめ直してみよう、解説してみようといったブログリレーという企画があるのですが、本稿はそれを模して、個人的な AWS App Mesh 再入門という体にしてみました。 どちらかというと、未来の自分のための備忘録と言えます。 これまで AWS App Mesh (以下 App Mesh) に入門されていなかった方も、すでに脱会されてしまった方も興味があれば再入門して下さい。 App Mesh とは何か サービス(アプリケーション)間の通信制御と可視性を実現するサービスメッシュを提供する AWS マネージドサービス です。 ブラックベルトにならってまとめると以下のような機能があります。 HTTP通信のリトライやタイムアウト 通信のトレーシン
株式会社アンドパッドのエンジニアの浜田です。 現在、コンテナ化プロジェクトの活動をしています。 アンドパッドは多くのサービスを提供しておりますが、その中で最も歴史が長く、コード量が多い、社内ではANDPAD本体と呼ばれるサービスがあります。 コンテナ化プロジェクトはこのANDPAD本体をコンテナ環境に移行するプロジェクトです。 プロジェクトは2020/11頃から開始し、2021/12に第一弾の本番リリースが完了しました。今回はその活動について共有します。 プロジェクトの発足 アンドパッドにおける下記課題を解消することを目的として、コンテナ化プロジェクトを開始しました。 リリース作業にかかる時間が長い 以前のANDPADでは本番リリース作業に数時間かかっていました。本番作業なので複数人で作業を行い、人数×時間ぶんの工数が取られることになります。 また夜間に作業することも多く、リリース担当者の
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
はじめに こんにちは！コンテナ基盤グループの楠本です。 今回はマルチテナント運用におけるKubernetesクラスタ内のコスト把握方法についてご紹介します。 見どころは EKSでKubecostを使ってみたがうまくいかなかったこと OpenCostを導入して解消したこと Datadogを使ってマルチクラウドのKubernetesを把握できるようにしたこと の３点です。 はじめに 結果：OpenCost・Datadogを使って出来たもの EKSにKubecostを試験導入してみた スプレッドシートで頑張っていた頃 EC2にかわって出番が回ってきた 過去分は取得できない EBSボリュームの管理 EBSボリュームタイプ レポート出力 インスタンスの割引率 Kubecostに躓いた コストに対するモチベーション OpenCostでリトライ 必要なものはOpenCostとPrometheus Pro
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmaz…
みなさんハッピークリスマス。Red Hatのさいとうです。 AnsibleユーザグループのAdvent Calender 2022最終日の記事として、2022年のAnsibleにどのような変化がありそうなのかといったあたりの個人的な予想を書き残しておこうと思います。 この記事は、AnsibleユーザコミュニティのAdvent Calendarですから、アップストリームの情報を元にして書いています。Red Hatのテクニカルサポートには問い合わせないでね! 2021年のAnsibleのふりかえりについては、コチラをどうぞ。 2022年にやってきそうな変化 現在のAnsible Core 2.xは、ある程度安定期に入っているため、機能面で劇的な変更が加えられることはしばらくないものと考えています。しかし、Ansible Coreが稼動するPlaybookの実行環境としては、2022年に大きな変
こんにちは、サービスプラットフォームチーム アルバイトの id:walnuts1018 です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の 8 月号です。7 月の記事は id:masayoshi さんの はてなで最近実施している SRE 研修の紹介 でした。 今回は、社内共用の画像変換プロキシである、「Scissors」というサービスを EC2 から EKS に移行したお話をしたいと思います。 画像変換プロキシについて 課題点 サービスプラットフォームチームにおける EKS やりたいこと 移行に関する懸念点 Scissors 専用の Node を用意する Pod / Node のオートスケール オートスケールの検証 負荷試験 1 回目 負荷試験 2 回目 リリース まとめ/ふりかえり 画像変換プロキシについて はてなでは「Scissors」という内製の画像変換プロ
モノタロウのプラットフォームエンジニアリング部門 コンテナ基盤グループの宋 明起です。 私たちは、アプリケーション開発者からコンテナシステムの認知負荷を取り除き、アプリ開発に専念できるコンテナ基盤の構築と基盤を改善し、開発者はより楽に、より安全にアプリケーションのデプロイと運用できるように支援しています。 背景 基本設計 方針 構成 サンプル モニタリング サンプル 障害 障害1. Memory overflowエラーが発生 障害2. 大量のログが欠損になっている (refresh_interval) 障害3. まだ一部ログが欠損になっている (Prestop) [FAQ] 背景 モノタロウでは以下の記事にあるようにバックエンドのAPIをコンテナ化から始め様々なレイヤーの様々なアプリケーションをEKSの上で運用しています。 EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイ
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
TechFeed Experts Night #7 https://techfeed.io/events/techfeed-experts-night-7
はじめに こんにちは！コンテナ基盤グループの楠本です。 前回の記事EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blogを投稿してから半年以上も経ちました。（時が流れるのは早い… 前回はSREグループコンテナ化推進チームとしてでしたが、今回は挨拶の通りコンテナ基盤グループとしての投稿です。 元々ECエンジニアリング部門のSREグループとして活動していましたが、今年初めに組織編成があり、プラットフォームエンジニアリング部門の１グループとして活動しています。 今回は組織とのミスマッチからEKS on FargateからEKS on EC2へ切り替えた話をご紹介します。 見どころは EKS on Fargateとプラットフォームエンジニアリングとの相性 EKS on EC2へ移行する際に検討したこと 移行して得られたこと の３点です
こんにちは、SREグループの岡田です。 モノタロウではモノタロウのクラウドネイティブ化の取り組みについて - MonotaRO Tech Blog にも記載されているようにシステムのモダナイズに取り組んでおり、その一環でEKSのPoCそして実際にECサイトの裏側のAPIを対象にコンテナ化に取り組みました。 この記事では移行時に起こったトラブルとハマったポイントの1事例をご紹介します。 前提 起こったトラブル トラブルシュート 1. 問題の整理と仮説 2. 検証 検証1.Podのステータスがterminate状態になってから削除されるまでの時間を変えてみる。 検証2.Pod Readiness Gateを試す。 検証3. ALBのDeregistration delay（登録解除までの待機時間）を短くしてみる。 分かった事 ALBを含めたPod入れ替え時の挙動 EKSにおけるトラブルシュート
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS コンテナサービス開始のおしらせ 2021年10月6日アップデート：AWS Black Belt コンテナシリーズのあるきかた 2021年10月版にて9月末までに公開した18本の一覧をご紹介しています。 2021年７月からAWS Black Belt オンラインセミナーのオンデマンドビデオ化しました。AWS コンテナサービスでも、新しくシリーズとして開始いたします。ひとつのビデオあたりのトピックを小さく絞ってお届けします。 今回 AWS コンテナサービスシリーズで公開したのは以下の４つです。視聴はYouTubeから、資料閲覧はSlideShareから可能です。 CON001 AWSコンテナサービス予告 YouTube SlideShare AWS Black Beltオンラ
こんにちは、広告技術部のyamaYuです。 最近は『SPY×FAMILY』にハマっています。 めちゃめちゃ面白いです。 それとヨルさんの声優さんが好きです。 さて、先日 GunosyAds の管理画面をEKSに移行したのですが、Podのロールアウト時に5xxエラーが発生するという問題に当たりました。 その際にダウンタイムなしにPodをロールアウトするための設定について調べたので、この記事ではそのことについてまとめようと思います。 前提 問題: Podのロールアウト時に5xxエラーが発生する 解決策 (1) Pod削除時の5xx (2) Pod作成時の5xx まとめ 前提 まず前提の共有のために今回扱うシステムであるGunosyAdsの管理画面の構成を簡単に説明します。 このシステムはAWS EKS上のKubernetesクラスターに展開されたサービスの一つです。 AWS Load Bala
はじめに 参考 Stargz 概要 詳細 HTTP Range 互換性 Stargzまとめ eStargz 概要 最適化 TOC, TOCEntry Footer Stargz Snapshotter eStargzまとめ 実験 トークン取得 インデックス取得 マニフェスト取得 Footer取得 TOC取得 ファイル取得 実験まとめ 余談 応用例 自作ライブラリ 計測 まとめ はじめに コンテナイメージのlazy pullingが各ツールで利用可能になりつつあるようです。以下は stargz-snapshotter のメンテナである @TokunagaKohei さんによるブログです。 medium.com lazy pullingが何かを簡単に説明しておくと、コンテナイメージ全体を最初にpullせずにコンテナ実行後に必要なファイルのみを遅延でpullするものです。docker runしよ
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
本記事は、AWS Summit Japan 2021のセッション動画「CUS-40: AWS移行事例紹介 ~DMM のデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 ~」のレポート記事です。 概要 "50以上の事業を展開するDMM。年々増えるデータ、バッチ、業務。そんな状況をAWS上での基盤構築を通じて打開した事例紹介" 50以上のビジネスを展開するDMM.comでのデータ活用基盤（データレイク基盤と機械学習基盤）をAWS上に構築した事例を紹介します。 データレイク基盤はオンプレ上で動いていた3000以上のJobの完全移行を実施し、よりスケーラブルな分析、データ処理、Single Source of Truth (SSoT)を実現しています。 機械学習基盤はArgoなどエコシステムが豊富なAmazon EKS Kubernetesを採用し、機械学習モデルの継続的なデプロイを行う
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く