お絵描きSNSアプリ　アイビスペイントにディープラーニングを利用した自動色塗り機能をリリース！

ディープラーニングによる自動色塗り

800万ダウンロードの人気お絵かきSNSアプリ「アイビスペイント」にディープラーニングを利用した線画から自動的に色を塗る新機能を追加しました。アイビスペイントは、SNS機能があり日々たくさんの投稿があり、サーバには60万点以上のユーザが作成した作品あります。その60万点以上の作品からディープラーニングの学習に適した作品を約30万点選び、いくつかの事前画像処理を行った上で、アメリカオレゴン州にあるAWSの機械学習用クラウドサーバ(P2インスタンス)を利用し、数か月間のトライアンドエラーによる研究開発により実現しました。

ユーザにとって、これは新しい画材であり、新たな表現が生まれるのではないかと期待しています。また、本リリース後は、ユーザからアイビスペイントのSNS機能への投稿により、ユーザの線画の動向が分かり更なる精度向上および多様な人物、物体、風景の線画に対する認識率が向上することが期待できます。 現在の性能は、人物の顔、髪、目、頬、口、人物や物体の境界などが認識しやすくなっていますが、すべてをユーザが期待する色に塗ることはできないため、ユーザ操作による色指定アシスト機能があります。これにより短時間で色塗りをすることができます。

我々は、ディープラーニングの実用化としては本機能が初めてですが、今後も絵を描くことについてのディープラーニングを利用した新しい表現や、省力化について研究を続ける予定です。最終的にはプロのマンガ家やイラストレータ、アニメの動画制作などでも省力化・効率化のアシストができるような人工知能を開発したいと思っています。

自動色塗りの操作方法

AI自動色塗りを体験する手順は次の通りとなります。まず、App StoreまたはGoogle Play Storeで「アイビスペイント」で検索して無料版をダウンロードします。次に線画を用意します。

① タイトル画面でマイギャラリーをタップ
② マイギャラリーで「＋」ボタンをタップ
③「写真読み込み」をタップして、線画を選んで読み込み位置を決定
④ ツール選択ウィンドウをタップ
⑤ フィルターをタップ
⑥ 自動色塗りをタップ

で自動色塗りが実行されます。色指定アシスト機能が利用したい場合は、カラー選択ウィンドウを開いてブラシの色を選んで線画の中にタップで色を置いていきます。このとき長い線で指定せずにタップでポンポンと色を置いた方が綺麗になります。

自動色塗りの例

上図は、いくつかの線画を入力し、自動色塗りと、色指定アシストを使用した結果となります。

アイビスペイントとは

お絵かきSNSアプリ「アイビスペイント」は、本格的なお絵かき機能のみならずユーザ投稿型のSNSアプリです。SNS内でのコミュニケーションや線画担当、塗り担当のようなコラボレーションも活発です。またマンガを描いたり、動画を作成したり、Mix Channelなどの他のSNS用に写真加工をしたりと様々な使われ方をしています。アイビスペイントは静止画の投稿のみならず作画工程動画の投稿ができるためお絵かきの技法を公開しあったり、初心者でも絵の描き方を学んだりすることができます。

お絵かきをしているところ

実際にアイビスペイントでスマホを使って描いている動画はこのようになります。慣れるとPC / Mac用のお絵かきソフト並みに絵が描けることが分かります。

「指でイラスト描いてるんですか⁉︎」
ってコメント貰ったので
弟にイラスト描いてるところを撮ってもらった( ^ω^ )
よく電車で描いてます pic.twitter.com/ilvqW7kMPn

— 仲村しんご (@YorozuyGintamam) 2016年2月11日

【厚塗りのやり方】ミサです。アイビスペイントで厚塗りに挑戦してみました！下描きを描いたら、いきなり上から塗るのではなく、配色を決めて、影の位置も明確にしておくと描きやすいですよ♪ #アイビスメイキング pic.twitter.com/HTM7vHBhTo

— ibisPaint (@ibisPaint) 2017年3月31日

アプリ概要

問い合わせ先

会社名：株式会社アイビスモバイル
担当：代表取締役社長　神谷 栄治
住所：〒104-0032 東京都中央区八丁堀2-16-3 ICM中央ビル3階
電話：03-6222-5277
E-mail： ※スパム対策のため画像で表示しています