タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
北川 亜里沙･Mット&ピラミッド泡洗〇の先生･ティンカーベル @kitagawamat 先日歌舞伎町にて、移動中にアナフィラキシーショックで倒れてた所にエピペンを打ってくださったホストさんと思われる男性を探しております🔔 その場で意識戻ったものの記憶があまりなく、救急隊員の方からホストっぽい男性がエピペン処置して119番してくれたと聞きました👂 2023-09-03 18:30:51 北川 亜里沙･Mット&ピラミッド泡洗〇の先生･ティンカーベル @kitagawamat 通報時のお名前(偽名かも)は頂きましたが、女性と一緒だったらしく恐らく同伴の最中かな？と思いました。 180cmくらいの細身(そんな、いっぱいいる😱)、茶髪だそうです。 それ俺です！一緒にいた女子です！ 是非名乗り出て下さると嬉しい🙏 あのエピペン処置なかったら私、今生きていません😢 続 2023-09-03 1
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
はじめに こんにちは！基盤チームの高畑です。 最近シロカのコーヒーメーカーを買ってからというもの、1 日に 5 杯くらいコーヒーを飲み続けてしまっておりちょっと飲み過ぎなのではないかと危機感を覚えています。 手軽にコーヒーが淹れられてしまうのも考えものですが、美味しいので仕方がないと自分に言い聞かせながら今もコーヒーを淹れています。 みなさん、Cloud SQL のバックアップを定期的に行うといえば、まず思い浮かぶのは自動バックアップ機能を利用することだと思います。 しかし、この自動バックアップはあくまで「インスタンスが存在していること」が前提で、仮に Cloud SQL のインスタンスが削除されてしまった場合にバックアップもろとも削除されてしまい復元ができないといった状態に陥ってしまいます。 AWS の RDS であればスナップショットを定期的に取っておくことでインスタンスが削除されてし
モチベーション Turborepoを使用する目的はいくつかありますが、リモートキャッシュが一番大きいと個人的には思っています。 リモートキャッシュを使用することで、CIの高速化やチームメンバーのローカルでの開発体験向上にもつながります。 リモートキャッシュを導入する最も簡単な方法は、Vercelを利用することですが、チームでとなるとアカウント管理や料金など問題が発生します。 アカウントレスなチーム専用のリモートキャッシュサーバをセルフホストし、上記の問題を解消することが本稿のモチベーションです。 なお、Turborepoの紹介や導入・使用方法に関しては説明を省きますので、詳しく知りたい方は公式サイトやドキュメント、下記のmizchiさんの記事などを参照してください。 リポートキャッシュサーバのセルフホスト 公式ドキュメントでVercel以外のリモートキャッシュサーバとの連携について明記され
近年、映画やゲームで多く採用されている「Dolby Atmos（ドルビーアトモス）」は、過去のサラウンド技術と異なり、縦方向にも音場を広げました。その分、ちゃんと再生したいと思えば天井にもスピーカーを設置する必要があるのが難点でした。そんなドルビーアトモスの再生を、すごい力業で手軽に体験できるようにしたのが、中国LifeSmartの「COLO GCS」です。 まずはこちらの写真を見てください。 お分かりになるでしょうか。ゲーミングチェアのヘッドレストに取り付けられた、サイバー感あふれるスピーカーユニット。ユーザーを取り囲むように伸びたアームに7.1.2chのスピーカーを搭載しています。ちなみに7.1.2とは、水平方向に7つ+重低音を担当するサブウーファー1つ、天井スピーカーが（オーバーヘッドスピーカー）2つという構成です。 7.1.2chのスピーカーを、ゲーミングチェアのようなヘッドレスト
S3、というより S3 API は、AWS というよりオブジェクトストレージ界の標準になりつつあります。S3 互換を謳うオブジェクトストレージはそれこそ毎月一個増えてるんじゃないでしょうか。 複数の CDN 構成をとるとき、クラウドごとのSDK のコードを書くのではなく、一つの実装(自分の場合 node の @aws-sdk/client-s3)で、全部のバケット処理を統一できないか考えて実験してみました。 APIごとに有効な機能、無効な機能で細かい差がありますが、この記事ではそこまで踏み込みません。 記事中の <key> や <secret> は自分で取得してください。 AWS S3 まずは普通に AWS に繋ぐコードです。 accessKeyId や secrentAccessKey の取得方法は省略します。 import { ListObjectsV2Command, S3Clien
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー（Bucket Lock） オブジェクト保持（Object Lock） Autoclass Autoclass とは バケット作成後の
はじめに データアナリティクス事業本部のkobayashiです。 GoogleCloudのETLサービスのDataflowを調査する機会があり、Google Cloud Storage(以降GCS)にあるCSVファイルをBigQueryにロードする処理をPythonスクリプトで試してみましたのでまとめます。 Dataflow | Google Cloud Cloud Storage Text to BigQuery DataflowはマネージドなApache Beam Runnerでプログラミング言語としてはJava,Python,Goを使うことができます。今回やろうとしている「Cloud Storage Text to BigQuery」に関してはGoogle提供のバッチテンプレートがありますが、このテンプレートはJavaで記述されているため使用せずPythonで実装してみます。 B
やりたいこと GCSバケットを何も設定しないで作成すると、プロジェクトのOwner、Editor、ViewerはGCSバケットのオブジェクトを参照することができてします。 さらに、Organization 横断ユーザ(例: セキュリティ監査チームやGSuites管理者)などもアクセスできてしまいます。 たとえば、機密情報を管理するバケットを作る場合など、許可した特定のユーザーのみを、特定のバケットにアクセスを許可する方法を調べました。 結論 プロジェクトレベルのIAMで storage.objects.get の権限を付与しない プロジェクトレベルのIAMとはここで設定する権限のこと https://console.cloud.google.com/iam-admin/iam GCSバケットのアクセス制御は Uniform モードで作成する バケットの詳細ページでパーミッションを設定する
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 前提知識 事象 原因 エラー文の違い 対処 アクセススコープの変更 手動で作成したサービスアカウントをアタッチ ユーザーアカウントの使用 前提知識 Compute Engine （以下 GCE）は、デフォルトでは PROJECT_NUMBER-compute@developer.gserviceaccount.com のサービスアカウントが設定されます。但し、このサービスアカウントにはプロジェクトレベルで 編集者（roles/editor）ロールが付与されており、広範囲な権限を持っているため
はじめに データアナリティクス事業本部のkobayashiです。 IDEとしてJetBrainsのIntellijを愛用しています。前回AWS Toolkit for JetBrains を使ってS3のオブジェクト操作を試してみたのですが、他にも便利なプラグインはないかと探していたところJetBrainsが公式で出しているプラグインであるBig Data Tools がありこちらも使い勝手が良かったのでまとめます。 Big Data Toolsとは Big Data ToolsはJetBrainsが公式に出しているJetBrainsのIDEで動くプラグインで、Zeppelin、 S3、GooglCloudStorage、Spark、Hadoop分散ファイルシステム（HDFS）のデータを監視・処理するためのプラグインになります。 With this plugin, you can conve
【Next.js】GCSやS3でNext.jsを静的ホスティングする際の注意点（dynamic routing）2021/10/30 Next.jsを静的ホスティングする際に、若干詰まったので注意点をまとめておきます（特にdynamic routingを使用する場合は注意）。 Next.jsはもともとSSR用のフレームワークだったこともあり、ホスティングには（Vercelなどのサービスを使用することを除けば）基本的にサーバーを用意してあげることが多いと思います。 一方でフロントエンドをホスティングするためにわざわざサーバーとかを用意したくはないので、S3やGCSでもホスティングしたい、という方も多いのではないでしょうか。 もちろん、Next.jsにはSSG機能が追加されたので静的ホスティングはできるようになっています。 ただし冒頭で述べたように、Vercelなどのサービスを使用する場合と比
なぜこれを作ったか あるあるニーズを満たすためです Google Cloud Storage（GCS） に画像などのオブジェクトを格納しているが、Google Cloud Load Balancer（GCLB）経由でアクセスしたい GCSへのダイレクトアクセスは拒否したい GCLB 経由であれば、カスタムドメインはもちろん、Cloud Armor や Cloud CDN も使えるし、いいですよね なので GCLB をバイパスして、GCS にダイレクトアクセスするのを禁止したいのです これはさせたくないってことですね 準備できてれば、5分程度でさくっとできるのでお手軽です 構成 GCLB と GCS の間に Proxy を設置して、アクセス制御します 運用を楽にしたいので、Cloud Run を使います ここでは Preview の 第2世代を使ってます （気は進みませんが）1コンテナに n
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね？ GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl
Brazeブロガーの國崎です。 前回BrazeのCurrentsを使ってGoogle Cloud Storageにエクスポートするをやってみました。 ひとしきり、やった自分を褒めちぎったので次はGCS➡︎BigQueryに連携して、結果Braze➡︎GCS➡︎BigQueryが出来てるよね！ってことをしようと思い、その手順を当記事では書かせていただこうと思います。 前提条件 Google Cloudのプロジェクト設定は完了している Brazeの契約プランにCurrentsを入れている Braze➡︎GCSの手順 まず手順としてはBrazeのCurrentsを使ってGCSに書き出すところからやるのですが、そちらについてはこちらの記事で詳細を書いてますので、今回は割愛します。 GCSへの連携が終わったら、次はBigQueryへの連携です。 GCS➡︎BigQueryの手順 BigQueryを操
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事はGoogle Cloud Storage（GCS）やBig Query（BQ）を、ユーザーアカウントではなくサービスアカウントから利用する方法を解説します。 環境 筆者は以下の環境を利用していますが、GCのクラウド圏外から圏内にアクセスする場合は、環境問わず考え方は一緒です。 Ubuntu (WSL) python GCS また、厳密にはWSL上でDockerを立ち上げています。DockerイメージはDebianベースのものです。 ニーズが発生した背景 やろうとしている事の意図を補足するセクションなので、読み飛ばしてもOKです。
はじめに データアナリティクス事業本部のkobayashiです。 Amazon S3からGoogle Cloud Storage(GCS)へオブジェクトを転送するサービスとしてはStorage Transfer Serviceを使うことでOne-timeの転送やスケジューリングで定期転送を行うことができます。 一方、GCSからS3への転送となるとフルマネージドなサービスがなかなかありません。今回極力マネージドなサービスを使ってGCSからS3へ転送する仕組みを作ってみたのでまとめます。 Storage Transfer Service | Google Cloud Cloud Run JobsのシェルジョブでGCSからS3へ転送する GCSからS3への転送を極力マネージドな仕組みで実現するために今回作ってみるのは以下のようなものです。 gsutilのrsyncを使ってGCSからS3への転
storybookを共有したいなど、GCSに静的ファイルを配置しつつもそれを限定したメンバーだけに見せたいような用途ではアクセスを簡単かつ確実に制限するために、その制限にIdentity Aware Proxyを使いたくなることがあります。 しかし、Identity Aware ProxyはBackend Serviceに紐付けることはできますが、Backend Bucketに紐付けることはできません。Cloud Armerも同様です。 そこで、Backend ServiceとしてGCSのコンテンツを配信できるように、Proxy Serverを作りました。 github.com ghcr.io/karupanerura/gcsproxy:v0.0.1 にビルド済のイメージを置いてあるので、 これをそのまま（予め自身のProjectのArtifact Registryにコピーを配置した上で）
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 11日目の記事です。 こんにちは！エノカワです。 Cloud Composer は、Apache Airflow で構築されたフルマネージドのワークフローオーケストレーションサービスです。 Apache Airflow のオープンソース プロジェクトを基に構築されており、Python プログラミング言語を使用して動作します。 今回は、Cloud Storage にあるファイルをSFTPサーバに転送するというワークロードを Cloud Composer で試してみたのでご紹介します。 下記エントリでは、同様のワークロードを Cloud Functions を使って実現した事例が紹介されていますので、こちらも是非ご参照ください！ SFTPサーバをたてる ファイル転送先のSFTPサーバをたてま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く