LiveSub 使い方
English

一律 1 秒の限界。生字幕でローカル翻訳を使い続けるための、文の長さに比例した予算と再試行

公開日: 2026-11-15

パソコンの Chrome / Edge で使えます(Firefox はマイク・音の入力から。Firefox 版は YouTube・Twitch。スマートフォンでは使えません)。対応は英語⇄日本語のみです。

ブラウザの中で翻訳モデルを動かすサービスは、同じ壁にぶつかります。 端末の GPU はばらばら、文の長さはばらばら、モデルは大きくて取得に時間がかかり、その間も画面を止めることはできません。

この記事は、LiveSub(ブラウザのタブの音声をその場で字幕と翻訳にするサービス)が、ローカル翻訳の「遅いから戻す」判定を本番の数字から組み直した記録です。 LiveSub は、ブラウザで見るライブ配信に特化しています。 字幕を止めないこと、話の山と谷に合わせて判定することなど、この記事の組み立てはすべて生配信を前提にしています。 式は形だけを書きます。係数は、自分の利用者で測って決めるものだからです。

LiveSub を開いて試してみる

1. 問題

1.1 2 つのエンジンで字幕を止めない

LiveSub の翻訳は 2 つのエンジンで動いています。 ブラウザに入っている翻訳(Chrome の端末内翻訳)が先に字幕を出し、GPU のある端末では、より自然な訳を出すローカルの翻訳モデル(PLaMo 3 Translate)を裏で読み込みます。 準備ができたら、文の切れ目で切り替えます。 ローカルの翻訳モデルは、株式会社Preferred Networks の PLaMo 3 Translate 0.8B です(Built with PLaMo)。

切り替えたあとも、原文の字幕はすぐに出ます。 訳は、先の翻訳の訳とローカル翻訳の訳を同時に始め、ローカル翻訳が予算に入ればその訳を、間に合わなければ先の翻訳の訳を出します(3.1 の図 4)。 前の文をまだ訳している間に来た文は、待たずに先の翻訳の訳を出します。 こうして、どの分岐でも字幕は止まりません。

1.2 軽いものから始め、端末の力に合わせて上げる

2 つのエンジンは、もっと大きな段の一部です。 LiveSub は、初めて開いた人をいちばん待たせない形から始め、端末の力に合わせて段を上げます。 生配信は待ってくれないので、まず字幕を出し、良くするのはそのあとです。

段 聞き取り 翻訳
1. 初めての 1 回 軽量(英語 約 120MB・日本語 約 206MB) ブラウザの端末内翻訳
2. 標準 標準(英語 約 400MB・日本語 約 670MB) ブラウザの端末内翻訳
3. GPU の力が足りれば 標準(GPU で動いている) ローカル翻訳(PLaMo 3 Translate、約 570MB)

どの段でも、字幕は止まりません。 この記事が扱うのは、3 段目の「上げたあと、いつ下げて、いつ戻るか」の判定です。

1.3 止まらない代わりに、静かに失う

止まらない代わりに、判定を誤ると利用者は静かに良い翻訳を失います。 字幕は出続けているので、利用者には「少し訳が固くなった」としか見えません。 運営の側も、戻した回数を数えていなければ気づきません。

出発点の実測はこうでした(図 1)。

図 1 ローカル翻訳が使われるまでの漏斗。翻訳した訪問を 100% として、対象になりうる 74%、使い始めた 46%、終わりまで使えた 36%

いちばん大きな漏れは「戻し」ではなく、その手前の「読み込みが終わる前に閉じた」訪問です。 これは取得の速さの問題で、判定とは別に直します。 この記事が扱うのは最後の段、戻したあとに戻れない判定です。

2. 従来方式(一律の時間)の限界

2.1 時間は文の長さに比例する

最初の判定は単純でした。 1 文の訳が一定の時間(1 秒)を超えたらその文は先の翻訳の訳を出し、それが続いたらその回はローカル翻訳をやめる、というものです。

問題は、推論の時間が文の長さに比例することです。 言語モデルの推論は、入力をまとめて処理する段(prefill)と、訳を 1 語(トークン)ずつ出す段(decode)に分かれます。 1 文の時間は、入力の処理にかかる固定の分と、訳の 1 語ごとにかかる分の和になります。 待ち時間が一律だと、長い文ほど「遅い」と数えられる偏りが出ます(図 2)。

図 2 長い文の山で起きること。棒は 1 文の訳にかかる時間。一律 1 秒の線は山の文を切り、比例予算の線は長い文でのみ上がる

実測では、一律 1 秒の線に対して、40 字前後の日本語の文は単体の GPU でもその 9 割超を使いました。 内蔵の GPU では、ふだんの長さの文で線を越えます。 日本語から英語への翻訳は、原文 1 字あたりの訳の語数が英語から日本語の数倍になるので、同じ字数でも長くかかります。 つまり「遅い端末」ではなく「長い文」が、判定に引っかかっていました。

2.2 連続の回数で決めると、山で切れる

判定は「超えるのが続いたら戻す」の形でした。 生配信には「早口で長い文が続く山」が日常にあります。 話が盛り上がると、文は長くなり、間は短くなります。 山のたびに切り替わり、その回は二度と戻らない設計だと、山の多い配信ほど良い翻訳が届きません。

連続の回数で決める方法は、偶然の連敗と本当の遅さを区別できません。 これは分散システムでサーキットブレーカーを設計するときに知られている問題と同じです。 判定が厳しいのではなく、判定が測っているものが違っていました。

3. 提案手法

判定で直したのは 3 つ(3.1〜3.3)です。いずれも「字幕は止めない」「切り替えは文の切れ目だけ」という制約の中で動きます(図 3)。 あわせて、判定を支える測る項目(3.4)と、名前の扱い(3.5)も書きます。

図 3 判定の流れ。モデルを読み込む → 端末の基準を測る → 文ごとに予算と比べる → 予算超えが 3 回続いたら先の翻訳に戻す → 戻しても捨てず、短い文が続いたら裏で試して復帰する

3.1 比例予算

1 文の訳を待つ時間(予算 B)を、文ごとに決めます。

B = ( a + N × t ) × s (1 秒 ≤ B ≤ 2.5 秒)

短い文の予算は従来の線と同じで、長い文だけが長さのぶん延びます。 「遅い」の定義が、文の長さと独立になります。

図 4 2 つのエンジン。原文はすぐ出し、先の翻訳が訳を出し、ローカル翻訳は予算に入った文だけを置き換える

上限の 2.5 秒は、画面の都合から決めます。 字幕は次の文が来ると入れ替わるので、訳がそれより遅れて届いても出す場所がありません。 字幕を出しておく時間は原文の長さに応じて延びるので、予算の上限もその範囲に収めます。

なぜ訳の語数を「訳す前に」見積もるのか。 予算は訳を始める時点で決まっていないと、間に合わなかったときに先の翻訳の訳を出す判断ができないからです。 訳し終わってから「遅かった」と分かっても、その文の字幕はもう出ています。 原文の字数からの見積もりは粗いですが、長い文と短い文を分けるには足ります。

3.2 端末ごとの較正

a と t は全端末一律の係数にしません。 モデルを読み込んだ直後に慣らしの 1 文を訳し、続けて基準の 1 文を訳して、その実測(入力の時間・出力の語数と時間)からその端末・その訪問の a と t を決めます。

慣らしの 1 文を先に置くのは、GPU の 1 文目には計算の準備(シェーダーのコンパイルなど)の時間が乗るからです。 基準の 1 文は、字幕の文としてふつうの長さにして、1 語あたりの時間が安定して取れるようにします。

GPU の混み具合は訪問ごとに違うので、保存はせず毎回測ります。測り直しは 1 秒かかりません。 実測が取れなかった端末には、単体の GPU を少し上回る既定の値を使います。 速い端末に厳しくするより、遅い端末に甘くするほうが、字幕の見え方としては安全だからです。

較正には副産物があります。 基準の 1 文の「訳 1 語あたりの時間」を端末の速さの帯(速い・中くらい・遅い)として集計すると、使っている端末がどの帯にどれだけいるかが分かります。 戻した訪問は GPU の作り手ごとに数えているので、帯の分布と並べると、戻しが遅い端末に寄っているのか、速い端末でも起きているのかの見当がつきます。

3.3 再試行(戻る道)

予算超えが 3 回続いたら先の翻訳に戻しますが、戻したあとも、モデルは捨てません(図 3 の最後の段)。 短い文が k 文続いたら、次の文を裏でローカル翻訳にも訳させます。字幕は先の翻訳の訳のまま出します。 裏の訳が予算に入るのが続いたら、文の切れ目でローカル翻訳に戻ります。 予算を超えた試行が m 回に達したら、その訪問ではやめて GPU から外します。 短い文が続かない話し方のために、時間による予備の合図も置きます。

試行を裏で行うのは、試しに失敗したときに利用者を待たせないためです。 字幕は先の翻訳の訳で出ているので、裏の訳が遅くても画面は変わりません。 戻るときに「予算に入るのが続いたら」と、続けて入ることを求めるのは、境目の端末で表示元が行ったり来たりしないためです。 戻すより戻るほうを少し厳しくする、いわゆるヒステリシスです。

短い文を合図にするのは、短い文のほうが試行が安く、成功しやすく、失敗しても無駄が小さいからです。 話の谷(短い相づちが続く所)で試し、山(長い文が続く所)では試しません。 配信の話のリズムを、そのまま判定の合図に使っています。

この形は、分散システムのサーキットブレーカー(閉・開・半開)の転用です。 新しいのは部品ではなく、「生字幕・ブラウザ・2 つのエンジン」という条件での組み立てと、本番で測って係数を置いたことです。

3.4 測る

判定を直す前に、測る項目を足しました。 文ごとには、入力と出力の語数と、それぞれにかかった時間を数えます。 訪問ごとには、読み込みを始めたか、断片を取りに行ったか、戻したか、戻れたか、やめたか、端末の速さの帯を数えます。 推論エンジンは語数と時間を返してくれるので、足すのは集計の項目だけです。

測らずに閾値を動かしても、良くなったかどうかが分かりません。 「遅い文」の数と「戻した訪問」の数を別に数えると、閾値が厳しいのか、端末が遅いのかが分かれます。

3.5 用語集(名前を、聞き取りから訳まで通す)

配信でいちばん崩れやすいのは、人の名前、ゲームの用語、商品名といった決まった名前です。 聞き取りは毎回違う綴りで出し、翻訳はその名前をふつうの単語として訳してしまいます。 LiveSub では、利用者が書いた語を、聞き取りと翻訳の両方に通します。

名前を訳に通す流れは 3 段です。

  1. まず名前をそのままにして訳す。決めた表記がもう訳に出ていれば、その訳を使う(文が自然なまま)
  2. 出ていなければ、ローカル翻訳が使えるときは、モデルの用語集の枠(その文に当たった名前の組だけ)を付けて訳し直す。この訳も 3.1 の予算の中で待ち、間に合わなければ捨てる
  3. それでも出なければ、名前に印を付けて訳し、訳の中の印を決めた表記に戻す

手元の 47 文の比べでは、2 段目を入れても、指定どおりに名前が出た文は 46 文のまま変わりませんでした。 文の自然さは 9 文で良くなり、2 文で悪くなりました(読んで判断したのは 1 人)。 たとえば、印の方式の “I got flanking ed again” が、枠では “I got flanked again” になりました(どちらも PLaMo 3 Translate が出した訳です)。

用語集の枠も比例予算の中で動くので、「字幕を待たせない」という制約はここでも同じです。

4. 実測

出す前(2026-11-08、訪問の単位。図 1):

出したあと(2026-11-09 夕方の版から。丸 1 日がそろう 11/10〜11/14 の 5 日):

出す前(11/8) 出したあと(11/10〜11/14)
対象になりうる(先の翻訳が Chrome の端末内翻訳) 74% 80%
ローカル翻訳を使い始めた 46% 40%
終わりまで使えた 36% 34%(日ごとは 32〜38%)
使い始めた訪問のうち、戻した 20% 14%
戻した訪問のうち、戻れた 戻る道が無かった 約 3 分の 1
遅い文(予算超え ÷ 訳した文) 数えていなかった 1.3%(381 / 30,081 文)

上の 3 行は、翻訳を使った訪問を 100% とした割合です(図 1 と同じ)。 数えているのは訪問(ページを開いて字幕を始めた 1 回)で、人ではありません。 「終わりまで使えた」は、使い始めた訪問から、戻した訪問と字幕の遅れでやめた訪問を引いたものです。出す前と比べるため、戻れた訪問もここには足していません。

戻した割合は 20% から 14% に下がり、遅い文は訳した文の 1.3% でした。 一方で、終わりまで使えた割合は 36% から 34% で、ほぼ横ばいです。 判定の直しが効くのは漏斗の最後の段だけで、それより前の段(使い始めるまで)の漏れが大きいままだからです(図 1)。

戻した訪問は、GPU の作り手で分けると偏っていました。

端末の GPU 使い始めた訪問に占める割合 そのうち戻した割合
NVIDIA 43% 3%
Intel(多くは内蔵) 29% 32%
AMD 18% 19%
Apple 9% 0%

戻した訪問の約 3 分の 2 は Intel でした。 比例予算は「速い端末が長い文で戻る」を減らすための直しで、単体の GPU が多い NVIDIA で戻したのは 3% でした。

端末の速さの帯(基準の 1 文の、訳 1 語あたりの時間で 3 区分)は、使い始めた訪問のうち、速い 56%・中くらい 22%・遅い 22% でした。 戻した訪問は帯ごとには数えておらず、GPU の作り手で数えています。

本番の 1 文は、平均で入力 38.3 語・訳 9.2 語、時間は 507 ミリ秒でした(訳した 30,081 文の合計から)。 前の文をまだ訳している間に来て、待たずに先の翻訳の訳を出した文は、数え始めた 11/12 から 11/14 で、訳した文の 1.4%(310 / 21,605 文)でした。

途中で、入力の組み立てを変えています(11/11 の朝から、前の 1 文も渡すようにした)。 1 文の入力は約 23 語から約 43 語に増えましたが、遅い文は 11/10 の 0.8%(40 / 5,227 文)から 11/12〜11/14 の 1.3%(288 / 21,605 文)で、戻した割合は 14% から 16% でした。 入力が倍近くになっても、予算超えは訳した文の 1〜2% にとどまりました。

文ごとの語数と時間を数え始めてからの累計は、次のとおりです(2026-11-09 の版を出してから 11/14 まで、延べ数百の訪問)。

累計
ローカル翻訳が訳した文 30,346 文
入力の語数 1,157,385 語
訳の語数 280,687 語
訳にかかった時間 4 時間 19 分(入力の処理 2 時間 26 分・訳を出す 1 時間 53 分)

語はモデルが数える単位(トークン)です。文字数は記録していません。原文の字数は、訳す前に予算を見積もるときにだけ使います。 すべての文で「長さ」と「時間」を同じ文の組として持っていることが、この判定の土台です。 時間だけでは、遅い端末と長い文を区別できないからです。 訳した文は 3 万を超えていて、文ごとの長さと時間の関係を見るには十分な量がたまっています。

この数字を見て、閾値と係数は動かさないことにしました(2026-11-15)。

出す前に、手元で 3 つの場面を確かめました。音は鳴らさず、合成音声をページの中で流しています。

場面 結果
40 字前後の日本語の文が短い間で続く(単体の GPU) 予算超え 0、戻し 0
遅い端末(1 文ごとに人工的に遅らせる) 続けて超えた所で戻し、試行がすべて超えて、その訪問ではやめた。字幕は先の翻訳で止まらず続いた
戻した直後に速さが戻る端末 短い文の試行が続けて入り、ローカル翻訳に戻った

注意: 「遅い文」の集計の意味が、この版を境に「一律の線を超えた」から「予算を超えた」に変わります。境の前後は分けて読みます。

5. 考察

5.1 なぜ配信で効くか

LiveSub のいちばんの強みは、ブラウザでのライブ配信に特化していることです。 録画の動画なら止めて待てますが、生配信は待ってくれません。 だから「字幕は止めない」を最初の制約に置き、その中で良い翻訳をどれだけ届けられるかを測ってきました。

配信の音声は、無音が来ない代わりに声が BGM に埋まり、話には山と谷のリズムがあります。 山では長い文が続き、谷では短い相づちが続きます。 従来方式は山で切れ、二度と戻りませんでした。 比例予算は山を越え、再試行は谷で戻ります。 このリズム自体を再試行の合図に使うのが、生字幕向きの置き方でした。

5.2 やらなかったこと

5.3 一般化

この問題は LiveSub 固有のものではありません。 ブラウザでローカルモデルを動かすサービスには、端末差・文の長さ・大きな取得・止められない画面が構造的に付いてきます。 翻訳でなくても、要約や音声認識でも、入力の長さに時間が比例し、端末の速さが訪問ごとに違うのは同じです。

ここで示した組み立ては、次の順で使えます。

  1. 測る。処理の時間が何に比例するかと、端末ごとの速さを、本番の数字で持つ
  2. 比例する量で割る。一律の時間を、見積もった量 × 端末の単価に置き換える
  3. 端末で較正する。係数を全端末一律にせず、読み込み直後の実測から訪問ごとに決める
  4. 戻る道を付ける。やめる判定には、必ず試して戻る判定を対にする。試しは裏で行い、試す合図は負荷の谷で出し、試す回数には上限を置く

6. まとめ

判定は「時間で切る」から、「比例する量で割り、端末で較正し、戻る道を付ける」へ変えました。 どれも、ブラウザでのライブ配信という条件に合わせた組み立てです。

直す前の判定は、設定の誤りではありませんでした。 一律 1 秒と 3 文という数字は、短い文と速い端末では妥当でした。 問題は、その数字が測っているものが「端末の遅さ」ではなく「文の長さ」だったことです。 判定が厳しいと感じたとき、閾値を緩める前に、閾値が何を測っているかを確かめる。 これが、この直しでいちばん大きな教訓でした。

もう 1 つの教訓は、やめる判定には戻る道を対にすることです。 自動で切り替える仕組みは、切り替えたあとに戻れないと、1 回の山で残りの時間すべてを失います。 戻る道は、サーキットブレーカーの半開の状態を、字幕を止めない形に置き直すだけで作れました。

数字は LiveSub の本番のものです。 係数(原文の字数から訳の語数への換算率・倍率 s・k・m・予備の合図の間隔・既定の端末基準)の決め方は、各サービスが自分の利用者で測るものです。 この記事の形をまねても、数字は自分の端末と利用者で測り直すしかありません。 それでよいと考えています。測る項目と、式の形と、戻る道の置き方が共有できれば、同じ壁にぶつかった人が同じ所から始めなくて済むからです。

このあとの数字も、たまり次第この記事に足します。

Built with PLaMo。この記事のローカル翻訳には、株式会社Preferred Networks の PLaMo 3 Translate 0.8B を使っています。ライセンスは PLaMo コミュニティライセンス契約(英語の文は こちら)です。

この記事について: LiveSub の運営者が書いています。手順・ボタン名・数値は、更新日の時点の LiveSub の画面と照らし合わせて確かめています。違っている点があれば、お問い合わせからお知らせください。

LiveSub を開いて試してみる

LiveSub お問い合わせ プライバシーポリシー 利用規約 特定商取引法に基づく表記