AIでアニメ動画を高画質・高フレームレートに変換!TheAnimeScripter(TAS)徹底解説
bash ファイル名.sh を実行してください(中身を一度確認してから実行すると安心です)。
(macOS / Linux 環境が必要) AIでアニメ動画を高画質・高フレームレートに変換!TheAnimeScripter(TAS)徹底解説
ひとことでいうと
TheAnimeScripter(TAS)は、アニメや一般動画を AI の力で高品質に仕上げるための多機能ツールです。フレームをなめらかにする「補間」、解像度を上げる「アップスケーリング」、手ブレ補正、ノイズ除去など、プロの映像制作で使われる処理を一つのツールでまとめて行えます。コマンドライン(文字を入力して操作する画面)から使えるほか、Adobe After Effects のプラグインとしても動作します。NVIDIA・AMD・Intel など幅広い GPU(グラフィックカード)に対応しており、Windows・Linux・macOS で利用可能です。
こんな人におすすめ
-
アニメや動画を高品質にしたいクリエイター 低フレームレート(コマ数が少なくカクカクした動き)のアニメを、60fps・120fps のなめらかな映像に変換したい方に最適です。13 種類以上の補間モデルから選べるため、素材やこだわりに合わせて使い分けることができます。アップスケーリングと組み合わせることで、解像度となめらかさを同時に向上させることも可能です。
-
映像編集の現場で効率を上げたいプロ・After Effects ユーザー TAS は Adobe After Effects のプラグインとして組み込めます。AI によるアップスケールや補間をタイムライン(編集画面)上から直接実行できるため、ポストプロダクション(撮影後の映像仕上げ作業)の大幅な効率化が期待できます。
-
AI モデルをプログラムで試したい研究者・エンジニア コマンドラインから複数の AI モデルをつなげて処理するチェーン機能、カスタムモデルの読み込み、複数バックエンドの切り替えなど、細かい制御が可能です。
--list_methodsコマンドで使えるモデルを一覧できるため、比較検証のワークフローにも適しています。
インストール・使い方
Step 1: Python 環境を準備する
TAS は Python(プログラムを動かすための言語・実行環境)のバージョン 3.12 以降を推奨しています。まず「仮想環境」(ほかのソフトと設定が混ざらないよう、専用の作業スペースを作る仕組み)を用意しましょう。
ターミナル(文字を入力してパソコンに命令を送る画面)を開き、次のコマンドを入力します。コピー&ペーストで入力して構いません。
python -m venv tas-env
source tas-env/bin/activate # Windows の場合: tas-env\Scripts\activate
1 行目で仮想環境を作成し、2 行目でその環境を有効にしています。Windows では source の代わりに tas-env\Scripts\activate を実行してください。
Step 2: プログラムをダウンロードして必要なパーツをインストールする
次のコマンドで、TAS のソースコード(プログラムの中身)を手元にコピーし、動作に必要なライブラリ(部品)をまとめてインストールします。
git clone https://github.com/NevermindNilas/TheAnimeScripter.git
cd TheAnimeScripter
pip install -r requirements.txt -r extra-requirements-linux-lite.txt
git clone でプログラムの入ったフォルダをダウンロードし、cd でそのフォルダに移動しています。最後の pip install が必要なパーツを自動的に取得してくれます。
環境によって使う「追加設定ファイル」が異なります。下の表を参考に、extra-requirements-linux-lite.txt の部分を適切なファイル名に置き換えてください。
| ファイル名 | 対象環境 |
|---|---|
extra-requirements-windows.txt | Windows(CUDA フル版) |
extra-requirements-windows-lite.txt | Windows ライト版 |
extra-requirements-linux-lite.txt | Linux ライト版 |
extra-requirements-macos.txt | macOS |
Step 3: 正しく動くか確認する
インストールが終わったら、次のコマンドでヘルプ画面を表示して動作確認をします。
python main.py --help
コマンドの使い方が一覧表示されれば、インストール成功です。
Step 4: 実際に動画を処理してみる
基本的な使い方は次の通りです。--input に元の動画ファイル、--output に保存したいファイル名を指定します。
# フレーム補間(係数 2.5 ≒ 24fps → 60fps 相当)
python main.py --input input.mp4 --output output.mp4 --interpolate --interpolate_factor 2.5
# AI アップスケーリング(SPAN モデル使用)
python main.py --input input.mp4 --output output.mp4 --upscale --upscale_method span
# 補間+アップスケールを一度にまとめて処理
python main.py --input input.mp4 --output output.mp4 --interpolate --upscale --upscale_method span
Windows をお使いの方へ: 公式の自動インストーラも用意されています。PowerShell(Windows 標準の高機能ターミナル)で次を実行すると、まとめてセットアップできます。
iwr -useb https://tas.nevermindnilas.dev/install.ps1 | iex
インストール後は tas --help または theanimescripter --help で同じように利用できます。
動かしてみた
Docker(隔離された環境でプログラムを動かす仕組み)上の Python 3.12 環境で python main.py --help を実行し、TAS が正常に起動することを確認しました。
The Anime Scripter v2.7.7
AI-powered video enhancement toolkit
usage: main.py [options]
options:
-h, --help show this help message and exit
--input INPUT Input video file
--output OUTPUT Output video file
--list_methods [CAPABILITY] List available methods for a capability
--preset PRESET Create and use a preset configuration file
バージョン 2.7.7 が確認でき、引数(コマンドへの追加指示)の体系がわかりやすく整備されていることがわかります。--list_methods に機能名(interpolate / upscale / restore など)を渡すと、実行環境で使えるモデルの一覧を取得できます。また、設定を JSON ファイルにまとめて指定する --json オプションや、設定内容を保存して再利用できる --preset オプションも用意されており、繰り返し処理を自動化するときに便利です。
ブラウザで試す・デモについて
TAS は動画ファイルを入力として受け取り、GPU(グラフィックカード)を使って高速に処理する設計のため、ブラウザ上での軽量デモは現時点では提供されていません。実際の動作確認には、ローカル環境(自分のパソコン)に対応 GPU と動画ファイルを用意したうえで CLI(コマンドライン)を実行することをおすすめします。アップスケールや補間の効果は、公式の YouTube 動画でも視覚的に確認することができます。
はじめの一歩:すぐ試せる実践コマンド
インストール後にまずやるべきことを、ステップごとに整理しました。
- 使えるモデルを確認する:
--list_methodsで対応モデルの一覧を表示できます。自分の環境で何が使えるかを把握することが出発点です。
# 補間モデルの一覧を見る
python main.py --list_methods interpolate
# アップスケールモデルの一覧を見る
python main.py --list_methods upscale
# 復元モデルの一覧を見る
python main.py --list_methods restore
- 短いクリップで試す: 最初から長い動画で試すと処理時間がかかります。
--inpointと--outpointで処理する区間を数秒に絞ることで、結果をすばやく確認できます。
python main.py --input clip.mp4 --output clip_60fps.mp4 \
--interpolate --interpolate_factor 2 \
--inpoint 0 --outpoint 5
--previewでリアルタイム確認:--previewフラグを追加すると、処理中の映像をリアルタイムで画面に表示できます。仕上がりをすぐに確認したいときに便利です。- ディスクの空き容量を確保しておく: 初回実行時はモデル(AI の重みファイル)が自動的にダウンロードされます。モデルの種類によっては数百 MB〜数 GB になることがあるため、あらかじめ十分な空きを確保しておきましょう。
- インターネット接続も必須: 初回のモデルダウンロードにはネット接続が必要です。オフライン環境では事前にダウンロード済みのモデルを用意してください。
- GPU ドライバを最新にする: CUDA(NVIDIA 用)・DirectML(Windows 向け AMD・Intel 用)・OpenVINO(Intel 用)それぞれ、GPU ドライバが古いと正しく認識されない場合があります。
活用アイデア
- 同人アニメ・MAD 動画の高画質化: 低解像度のソース素材を SPAN や AniScale 2 でアップスケールし、RIFE 4.22 でなめらかな補間を適用することで、商業品質に近い映像を生成できます。Model Chaining(後述)を使えば一回のコマンドでまとめて処理が完結します。
- ゲームプレイ動画の強化: 60fps・1080p で録画したゲーム映像を 2160p(4K 相当)にアップスケールし、配信や YouTube 投稿向けの画質に仕上げる用途にも向いています。TensorRT バックエンドを使うと処理速度がさらに向上します。
- 映像研究・モデル比較: 複数の RIFE バージョンや Spandrel 対応のカスタムモデルを切り替えながら、モデルごとの画質差を比較するアカデミックな研究ワークフローに活用できます。CLI で細かくパラメータを制御できる点が強みです。
- Adobe After Effects との連携: AE プラグインモードで動作させることで、タイムライン上のフレームを AI 処理し、ポストプロダクション作業を効率化できます。映像プロダクションや VFX スタジオでの導入にも適しています。
- 古い映像素材の復元・修復: SCUNet や NAFNet によるノイズ除去、DeJpeg・DeH264 による圧縮劣化(画像のにじみや輪郭の崩れ)の修復など、保存状態の悪い映像を蘇らせる用途にも使えます。
- 深度マップ・物体検出の応用: Depth-Anything v2 による深度マップを生成してゲームエンジンや AR 制作に活用したり、YOLOv9-MIT で映像内の物体を自動検出してラベリング作業を自動化したりといった、映像解析・研究用途にも対応しています。
用語とポイント解説
RIFE(ライフ) フレームとフレームの間を AI が補完して、映像をなめらかにする技術です。かんたんに言うと「コマとコマの間を AI が自動で埋めてくれる仕組み」です。TAS では RIFE 4.6 から 4.25-heavy まで 13 種類以上のバージョンを用途に応じて選べます。軽量な lite 版から高品質な heavy 版まで揃っているため、処理速度と画質のバランスを調整できます。
フレーム補間(Frame Interpolation) 動画の 1 秒あたりのコマ数(フレームレート)を増やし、動きをなめらかに見せる処理です。かんたんに言うと「パラパラ漫画のページを増やして、アニメーションをよりスムーズにすること」です。24fps のアニメを 60fps や 120fps に変換する際に使います。映画的なぬるぬき感を演出することも可能です。
アップスケーリング(Upscaling) 解像度の低い映像を AI が分析し、高解像度に引き上げる処理です。かんたんに言うと「小さい画像を拡大しても、ぼやけないように AI がディテールを補完してくれる機能」です。TAS では SPAN・ShuffleCugan・OpenProteus・AniScale 2 など複数のモデルから選択できます。
TensorRT(テンソルアールティー) NVIDIA が提供する GPU 推論の高速化ライブラリです。かんたんに言うと「AI モデルの処理を NVIDIA グラフィックカード向けに最適化し、スピードを大幅に上げてくれるツール」です。セットアップには手順がやや多いですが、処理速度の面で大きな恩恵が得られます。
DirectML(ダイレクトエムエル) Windows 上で AMD や Intel の GPU を使って機械学習(AI)の推論を実行するための Microsoft 製 API(アプリケーション間のつなぎ口)です。かんたんに言うと「NVIDIA 以外のグラフィックカードでも、Windows 上なら AI 処理を動かせるようにする仕組み」です。CUDA が使えない環境のオルタナティブとして有用です。
OpenVINO(オープンバイノー) Intel が開発した AI 推論の最適化ツールキットです。かんたんに言うと「Intel の CPU・GPU・アクセラレータで AI 処理を効率よく動かすための Intel 製エンジン」です。TAS はこれを通じて Intel 内蔵 GPU(iGPU)でも動作できます。
Model Chaining(モデルチェーン) 複数の AI モデルを一つの処理フローで順番に適用する機能です。かんたんに言うと「アップスケール→補間→ノイズ除去といった複数の処理を、コマンド一本でまとめて実行できる仕組み」です。処理のたびにファイルを書き出す必要がなく、In-Memory Processing(メモリ上でデータをやりとりする方式)によってディスクへの読み書きを最小限に抑えられます。
Spandrel(スパンドレル) 汎用 AI 画像処理ライブラリで、chaiNNer-org が開発しています。かんたんに言うと「さまざまな AI モデルを共通の形式で読み込めるようにする、モデルの”翻訳機”のようなライブラリ」です。TAS はこれを通じてカスタムモデルのインポートにも対応しています。
デデュプ(Deduplication:重複フレーム除去) 動画中に含まれる同一または酷似したフレームを検出・削除する処理です。かんたんに言うと「まったく動きのない静止フレームを省いて、AI 補間の精度とファイルサイズを両方改善する機能」です。補間前に実行しておくことで、AI が余計なコマを補完しようとする誤作動を防げます。
深度マップ(Depth Map) 画像や映像の各ピクセルが「カメラからどれだけ離れているか」を表した白黒の地図のようなデータです。かんたんに言うと「遠いものを暗く、近いものを明るく塗り分けることで、3D の奥行き情報を 2D 画像として表現したもの」です。TAS は Depth-Anything v2 を使い、Small・Base・Large の 3 サイズのモデルから生成できます。
アニメの高フレームレート化や同人映像の高画質化、映像制作のポストプロダクション効率化など、さまざまな場面で TAS の実力を体感できます。ぜひアニメクリップの補間・アップスケールや、After Effects との連携による映像仕上げ作業などに活用してみてはいかがでしょうか。