スニークプレビューとは

まだ実際に搭載されると決まったわけではない開発中の機能を酒を飲みながら紹介するコーナー

Moving stills

動画素材が集まらない時に写真から動画を生成する。

動画素材が無い時にパースのちゃんとついている写真をズームインしたりしてお茶を濁すことがあるが、そういう時に背景や手前の物体などを認識してぶんかつして動かして動画っぽくするというやつ。

Graffitiというのはこういうののことなんだけど

これをフォントっぽく扱って文字を打てるようにした上で太さを変えたり影の大きさや方向を調整したりといったことができる。

アメリカのMAXで発表されてtwitterでめちゃくちゃ流れてたやつ。

iPadなんかでとった写真に含まれる文字からフォントを生成。

更に他の写真の文字を認識して先程生成したフォントで置き換えたりも。

文字数が多すぎるので日本語は厳しそうという話はしていた。

例えば16:9で動画を撮った後に縦長の動画を作るためにクロップしたいとき、機械的に一部分を取り出してしまうと一番見せたい部分が切れてしまったりする。

しかし一番見せたい部分が画面内の左右を行ったりきたりしていると毎フレームどこを切るか考えないといけないので大変。

そこでAdobe senseiが動画内のどこが一番重要なのか解析してヒートマップで表示したり、それに応じて動画をクロップしたりしてくれる。

人工知能でなんとかなりました。

動画のあるフレームで対象オブジェクトのエッジを4箇所クリックするだけでオブジェクトを認識し、他のフレームでもそのオブジェクトを追跡してくれる。

これである人物のみカラーにして他の部分はグレーにする、というような効果を簡単にかける事が可能。

実際のデモではAfter Effects版コンテンツに応じた塗りつぶしと併用して、動画から人間を消すというものが行われていた。

ちょっとこれはヤバイ
Contents fill#AdobeMAXJapan pic.twitter.com/qLHpbBqWr8
— Rin/倫 (@riririnchan1111) November 20, 2018

こういうやつです