タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
こんにちは ハタ です。 Mirrativのインフラ内で実際に開発・運用している内製のRedisサーバについてお話したいなと思っています。 前回の記事 は、今回紹介する内製Redisサーバで起きたメモリリーク対策に関するお話しとなっておりますので、もし未読であればあわせて読んでいただければと思います。 今回はなぜ Redis サーバを内製することにしたのかの経緯や実装についての簡単な紹介が出来たらなと思っています Redis 導入の経緯 課題感: 揮発しないでほしい 課題感: 生存時間が短いデータを保持したい 課題感: 日次データをなんとかしたい 候補 Redis Cluster のヨシアシ: slot 管理 Dynomite のヨシアシ: sharding/replication radisha = Raft + Redis + HA Raft クラスタ コマンドとデータストア レプリケ
-- 追記-- > termの説明で「今のリーダーが何代目のリーダーかを表す」と書かれていますが、あるterm内でリーダーが1人も選出されないことがあるので、termで何代目のリーダーかは表せなくないですか？ https://x.com/11Takanori/status/1801212885…
新しい知識をLLMに効果的に学習させる上でRAGやファインチューニングなどが提案されてきましたが、最適な汎用的方法はまだ明らかになっていません。そんな中今回新しく提案されたのが、Retrieval Augmented Fine Tuning (RAFT)という学習手法です。質問と関連する文書群が与えられた際に、質問に答えるのに役立たない文書を無視するようモデルを学習させるフレームワークです。 参照論文情報 タイトル：RAFT: Adapting Language Model to Domain Specific RAG 機関：UC Berkeley 著者：Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez 背景 LLMは、膨大な量の公開デ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは！ 株式会社OGIXのエンジニアH.Nです。 今日は、分散合意形成アルゴリズム『Raft』を使って、ゲームサーバーを冗長化してみたいと思います。 Raftとは？ 複数のサーバーから構成される分散システム上で、サーバーどうしが『合意形成』をするために設計されたアルゴリズム。 リーダー1台と、フォロワーN台によって構成される。 リーダーは選挙によって選ばれる。 リーダー -> フォロワーでログを同期し、同じ状態に保つことができる。 Raftを構成するサーバーのうち、どれか1つが落ちたとしても、残ったサーバーで運用を継続することがで
RAFTは「Read, Act, File, Trash」を表しており、メールを効果的に管理するための方法です。 この管理方法では、まずメールを読む時間を確保し、それから必要に応じてアクションを起こし（必要な場合）、メールをどこかに整理したり削除したりすることができます。 「RAFTテクニック」におけるメール管理の基本はこれだけですが、これによって個々のメールに集中し、すぐに評価を下す必要があるため、見逃すことがなくなります。
Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain su
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architect. View an example
As part of bringing myself up-to-speed after joining TigerBeetle, I wanted some background on how distributed consensus and replicated state machines protocols work. TigerBeetle uses Viewstamped Replication. But I wanted to understand all popular protocols and I decided to start with Raft. We'll implement two key components of Raft in this post (leader election and log replication). Around 1k line
Rustで作って学ぶ 分散合意アルゴリズム Raft を書きたいという 意思表明 2025/01/22 Osaki.rs #3 Yusuke Tanaka Who am I 米ジョージア工科大学のオンライン修士 課程に通いながらDeno Land Inc.で Deno Deployを作っています🦕 ← リアルで会った方にはもれなくこの名 刺をプレゼント！ GitHub: https://github.com/magurotuna 𝕏: https://x.com/yusuktan 🦋: https://bsky.app/profile/magurotuna.bsky.social mixi2: https://mixi.social/@magurotuna https://github.com/magurotuna https://x.com/yusuktan https://bsky
はじめに TRIAL＆RetailAI Advent Calendar 2025の1日目の記事になります。 本日のテーマは"kubernetes Deep Dive (etcd + Raft)"です。私はいつも開発でkubernetes（k8s）を使っています。より深くk8sについて知識を深めたく、再度基本的な事項からetcdとRaftについてまとめたいと思います。 自己紹介 基盤システム部に所属して、主にバックエンドの開発を行っております。 2024年にもAdvent Calendarの記事を書いていますので、よかったら見ていただけると幸いです。 k8sとは k8sとはコンテナを自動で管理するコンテナオーケストレーションシステム。 アプリケーションを「宣言的（desired state）」に保つことが特徴に挙げらます。 k8sが解決してくれること サーバーやコンテナの自動配置 スケール（
本書では、分散システムの基本的な理解を深めることを目的としています。 身近なデータベースであるRedisを例に、Raft Consensus Algorithmを用いたRedis互換の分散Key-Value Store（KVS）の実装方法を解説します。 昨今では高い可用性と強い一貫性を求められるシステムが増えており、Raftはそのようなシステムを構築するためのアルゴリズムとして広く利用されています。 例えば、モバイルペイメントや電子決済サービスのPayPayでは、Raftによって構築された高い可用性と強い整合性を兼ね備えるデータベースであるTiDBを採用しています。 https://insideout.paypay.ne.jp/2024/01/31/event-cloudnativedaystokyo2023-jp/ このように、RaftとRaftを用いたデータベースは実用性の面からも非常
Why replace ZooKeeper with an internal log for Apache Kafka® metadata management? This post explores the rationale behind the replacement, examines why a quorum-based consensus protocol like Raft was utilized and altered to become KRaft, and describes the new Quorum Controller built on top of KRaft protocols. Why replace ZooKeeper? In 2012, work was underway to begin implementing the current exist
A minimal distributed key-value database with Hashicorp's Raft library When I wrote the "build a distributed PostgreSQL proof of concept" post I first had to figure out how to use Hashicorp's Raft implementation. There weren't any examples I could find in the Hashicorp repo itself. And the only example I could find was Philip O'Toole's hraftd. It's great! However, I have a hard time following mult
Raftって？ 分散合意アルゴリズムの一種で、サーバー間のデータ一貫性保障や可用性担保に使われるやつ。 Raft登場以前は理解が難しい物ばかりだったが、Raftは理解の面でも実装の面でも容易なのが売り。(といっても僕には難しかったですが...) レポジトリ なぜ既存実装を見ずに書いたか、車輪の再発明をしたか ・なぜ車輪の再発明をしたか 「Goによる分散サービス」という本をやっていてRaftを使って分散ログシステムを実装する箇所があり、この時Raftの実装に興味を持ちました。 Raftの仕組み自体は大まかには知っていたんですが、もっとよく理解してみるには自分で実装するのが一番と思いやりました。 ・なぜ既存実装を見なかったか 今回は論文から自分で書き起こすという体験をしてみたかったからです。 既存実装を見ながらだと論文そっちのけになってしまったり、人が書いてるからもういいかな...みたいになっ
Amazon Web Services ブログ Amazon MSK が Raft モードの Apache Kafka (KRaft) をサポートしました 企業はリアルタイムでデータをキャプチャして分析するために、Apache Kafka と Amazon Managed Streaming for Apache Kafka(Amazon MSK)を採用しています。 Amazon MSK は、Kafka のインフラ管理の専門知識や Apache Kafka を自分で設定して実行することに伴う複雑なオーバーヘッドへの対処なしに、Apache Kafka 上で本番アプリケーションを構築および実行できるよう支援します。 リリース当初から、Apache Kafka は Kafka ブローカーとトピックのメタデータを保存および複製するために Apache ZooKeeper に依存してきました。 A
I try to keep a vague list of "technologies to try out" handy at all times. Usually things come and go from the list pretty quickly, but I've had a few that have been stubbornly persistent for quite a while now: Rust (at least for a big project)The Raft algorithmWebAssemblyWebRTCAt some point, I had a bright idea: "Why not knock out a bunch of them at once?" And thus WRaft was born. It's a Raft im
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
arXiv:2004.05074v2 [cs.DC] 27 Apr 2020 Paxos vs Raft: Have we reached consensus on distributed consensus? Heidi Howard University of Cambridge Cambridge, UK first.last@cl.cam.ac.uk Richard Mortier University of Cambridge Cambridge, UK first.last@cl.cam.ac.uk Abstract Distributed consensus is a fundamental primitive for con- structing fault-tolerant, strongly-consistent distributed sys- tems. Thoug
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは！ お立ち寄りいただき、ありがとうございます。 今回は、ひと夏の豊かな自然に触発され、自らの関心や才能に気づいていく少年を描いた英語絵本をご紹介させていただきます。 本について 本の内容のご紹介 最後に 本について 今回ご紹介する絵本は、カリフォルニアに在住のイラストレーターのJim LaMarcheさんが文とイラストを手掛けた絵本、『The Raft』です。 情緒を誘う表紙が印象的ですね。 YL 2.6～3.0程度 語数は1,892語 Lexile: AD650Lの本です。 The Raft 作者:LaMarche, Jim HarperCollins Amazon Jim LaMarche 本の内容のご紹介 少年Nickyは、ウィスコンシンの森に中に暮らす祖母とひと夏を過ごすことになった。 一緒に遊ぶ友人もいなく、テレビも持たずに自然の中で暮らす祖母とのひと夏の生活を想像す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く