Note 02実験小屋入り(駒場小空間)

字幕の表示方式の比較

  • #舞台字幕
  • #視線移動
  • #話者識別
  • #アクタートラッキング
  • #プロジェクション

舞台上部に固定する従来の字幕では、観客は役者の演技と字幕の間で視線を往復させ続け、複数人の会話では誰の台詞かも判別しにくくなります。

本実験では、字幕と発話者の結びつけ方が異なる3方式(traditional/​pointer/​pop-up)を、プロジェクターとカメラによる役者トラッキングを用いて劇場空間に実装し、英語で演じる場面を、台本を知らない劇団員10名に観客役として見てもらいました。


少人数での試行ではありますが、字幕を発話者の近くに置くと演技を見ながら台詞を追いやすくなる一方、表示位置が入れ替わったり頻繁に動いたりすると、かえって混乱することが見えてきました。

はじめに

2026年5月の旗揚げ公演『春になれば、きっと』(日本語上演)の来場者アンケートでは、英語話者の観客から「上演内容が理解しにくい」という指摘が複数寄せられました。
上演言語と観客の言語が一致しないとき、その隔たりをどう設計するか。これが本実験の出発点です。

一般的な舞台字幕は舞台上部や左右に固定して表示されることが多いです。観客は役者の表情・身体と字幕を同時に視界に収められず、視線を行き来させ続けることになります。
また字幕の位置が話者と無関係なため、複数人の会話では誰の台詞かを判別しにくくなります。


映像の分野では、字幕を話者や画面内の見どころの近くに置くと、字幕と映像のあいだの視線の移動が短くなり、字幕なしで見るときの視線の動きに近づくことが報告されています [1][2][3]。


ただし、字幕を見つけるまでの時間はかえって長くなる場合もあります [3]。また、複数の話者がいる場面を対象にした研究では、話者を指し示す方式が最も好まれたという結果もあります [4]。


一方で、話者が次々に替わる舞台上演で、役者の位置に字幕を結びつける方式を試した例は多くありません。

そこで本実験では、英語で演じる場面に日本語の字幕を付け、字幕と発話者の結びつけ方が異なる3方式を劇場空間で実際に動かし、観客にとって何が見やすく、何が負担になるのかを確かめました。

3つの字幕の出し方

比較した3方式を図1に示します。

方式の分け方は Kushalnagar らの研究 [4] にならいました。


(a) traditional は舞台上部の固定位置に表示する従来方式で、基準条件としました。(b) pointer は字幕を一か所に留めたまま矢印で話者を指し示し、(c) pop-up は発話のたびに話者の上に字幕を表示します。


(a) は字幕と話者の対応を示さず、(b) は字幕の位置を変えずに矢印で対応を示し、(c) は字幕そのものを話者の近くに置いて対応を示します。

比較した3つの字幕表示方式
図1比較した3つの字幕表示方式

実験の方法

字幕はすべてプロジェクター(5000lm)でホリゾント幕に投影しました。

(b)(c) では、カメラで役者の位置をトラッキングし、その座標に合わせて矢印の位置または字幕の表示位置をリアルタイムに更新しました。

システム構成
図2システム構成
実験の様子(字幕とトラッキングのマーカー)
図3実験の様子(字幕とトラッキングのマーカー)

観客役は台本を読んでいない劇団員10名(英語をある程度聞き取れる人を含む)とし、役者2名が英語で演じる短い掛け合いの場面(日本語字幕付き)を、traditional、pointer、pop-up の順に、方式ごとに異なる場面で視聴してもらいました。

各方式を見たあとに簡単なアンケートと感想を書いてもらい、最後に3方式を比べてもらいました。

表1実験条件

項目内容
会場駒場小空間(ホリゾント幕に投影)
観客役劇団員 10名(台本は未読)
刺激役者2名が英語で演じる短い掛け合いの場面(日本語字幕付き・方式ごとに異なる場面)
振り返り各方式を見たあとのアンケートと感想、3方式の比較

結果と考察

traditional では「ずっと字幕を見てしまう」という声が多く、役者の表情や身振りが見えにくいことがあらためてわかりました。

字幕を話者の近くに置く pop-up は、目線を動かす回数が少なく、演技を見ながら台詞を追いやすいと感じた人が多くいました。

一方で、役者の位置に合わせて字幕が動くことが、そのまま見やすさにつながるわけではありませんでした。

役者同士が交差して字幕との対応が入れ替わったり、複数人の字幕が同時に出ていたりすると、観客はかえって混乱しました。


技術的に「追従する字幕」がつくれても、それが観客にとって一番よいとは限りません。

感想から(抜粋・一部表現を整えています)

(a) traditional

  • 「字幕と役者が同じ視界に入らない」
  • 「結局ずっと字幕ばかり見てしまう」
  • 「字幕が小さくて読みにくい」

(b) pointer

  • 「字幕を読みながらでも、話している役者の位置がわかる」
  • 「矢印が頻繁に切り替わるのは少し気になる。
    話者を示すだけなら、字幕の色やフォントを変える方法もありそう」
  • 「座る位置によっては、矢印が役者の方を指していないように見えた」

(c) pop-up

  • 「目線を動かす回数が少なくて済み、いちばん見やすかった」
  • 「役者同士が交差したとき、字幕と役者の位置が入れ替わって混乱した」
  • 「複数人の字幕が同時に出ていると、今話しているのがどちらか考えてしまう」
  • 「役者と一緒に動くことより、字幕の高さが役者に近いことが効いていたのかもしれない」

なお、今回は10名ほどでの小さな試行で、方式ごとに場面も異なります。
英語をある程度聞き取れる参加者も含まれており、はっきりとした結論というより、次に向けた手がかりとして受け止めています。

今後の展望

  1. 発話者への近さと表示位置の安定を両立させる方式(例:場面ごとに発話者の近くへ位置を決め、場面内では固定する)発話者への近さと表示位置の安定を両立させる方式(例:場面ごとに発話者の近くへ位置を決め、場面内では固定する)
  2. 舞台照明の下でも字幕を読める、高輝度のプロジェクターと投影面の選定舞台照明の下でも字幕を読める、高輝度のプロジェクターと投影面の選定
  3. 座席による役者と字幕の見え方の角度差の検証座席による役者と字幕の見え方の角度差の検証
  4. 複数の役者を安定して見分けるトラッキング手法複数の役者を安定して見分けるトラッキング手法

参考

  1. [1]Brown, A. et al. (2015). Dynamic Subtitles: The User Experience. Proceedings of the ACM International Conference on Interactive Experiences for TV and Online Video (TVX 2015). https://doi.org/10.1145/2745197.2745204
  2. [2]Kurzhals, K., Cetinkaya, E., Hu, Y., Wang, W., & Weiskopf, D. (2017). Close to the Action: Eye-Tracking Evaluation of Speaker-Following Subtitles. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 6559–6568. https://doi.org/10.1145/3025453.3025772
  3. [3]Fox, W. (2018). Can integrated titles improve the viewing experience? Investigating the impact of subtitling on the reception and enjoyment of film using eye tracking and questionnaire data. Language Science Press. https://doi.org/10.5281/zenodo.1180721
  4. [4]Kushalnagar, R. et al. (2018). RTTD-ID: Tracked Captions with Multiple Speakers for Deaf Students. ASEE Annual Conference & Exposition. https://peer.asee.org/rttd-id-tracked-captions-with-multiple-speakers-for-deaf-students
BackPage Top