基本情報 #

著者	Xinru Zheng, Xiaotian Qiao, Ying Cao, Rynson W. H. Lau
題	一般的な文章に対するレイアウトの分析器

詳細 #

Introduction #

いい感じのレイアウトを提案するには写真、中身をちゃんと理解しないとだめやね。

先行研究では、高レベルの意味論(semantic)だけで、レイアウトを構成していた。画像や文章の中身には踏み込んでなかった。(画像の知覚的重要度や、画像とテキスト要素の間の注意の遷移　についてだけらしい)

この研究では、文章や画像の中身に踏み込んで、レイアウトを構成する手法を提案する。ただし、雑誌に集中。

確率的な生成フレームを作る。学習データは、画像文章付きの記事のレイアウトと、高レベルデザインの条件付き分布からなるらしい。複雑なレイアウト分布をモデリングするGANも、デザインの構造的/カテゴリ的属性を符号化する意味埋め込みネットワークを導入。

特に人の手で訓練データ以外を与えずに学習させるよ、つまりデザインの規則とかに従って人が雛型の設計はいらないよ。研究のために雑誌のレイアウトのDBまで作ったよ。

結果として、画像、デザインのカテゴリ、内容の要約を教えてくれれば、デザイン案を提示するようにしたよ。それに加えて、事前にデザインのラフ案も入れることができて、それも考慮されるよ。

深層生成モデルとは #

深層学習モデルを使って画像とかを生成するモデル。

形状の生成では、Deep Belief NetworkやDeep Boltzmann Machinesがよく使われていた。だが、収束遅いし計算も大変。最近は variational auto encoderや敵対的生成ネットワークGANがもっといいという結果に。ただ、VAEはぼやけた画像になりがちだが、GANではその課題はない。だが、GANには潜在的なパラメタを推定する力はないらしい。

先行研究では2D/3D画像の生成で深層生成モデルを使ってたが、今回はGANのフレームワークで、レイアウトを深層生成モデルで出す。

ほぼ同時期の研究として、**LayoutGANという、GANベースのランダムな2Dのオブジェクトをいい感じに配置する研究(Layout-GAN: Generating Graphic Layouts with Wireframe Discriminator)**もある。ただこれはコンテンツの中身に踏み込んでるわけじゃない。

Dataset #

今回の研究のためにわざわざDB作ったよ。ground-truth(実物データ)のデータでがんばってやったよ。既存のものは小さくて使いもんにあんまならなかった。3919ページ集めたよ。カテゴリは、ファッション、食事、ニュース、科学、旅行、結婚。

各ページについて、以下の6点について特徴量を出したよ。

文章
画像
見出し
画像の上にある文章
画像の上の見出し
背景

文章には5つにははいらないが、文章でもないなぁってものも入れる。これを各ピクセルごとに、6つのうちのどれかと分類した。

ラベル付けの補助 #

手動だとさすがに大変なんで、一部だけ手動でやって、それをもってして自動的にラベル付けをするFully Convolutional Networkのモデルを1つ作って任せた。その結果を人の手で微修正した。

キーワードの抽出 #

中身を見るには画像や文字の中身を見る必要がある。画像はそのまま見るにしても、文字データは全ては冗長過ぎる。ここでは、Googleの Rapid Automatic Keyword Extractionを利用した。このキーワードを使って、カテゴリ分けを行った。recipe, tasteならfoodのように。

このままだと混じりけが多いので、学習データのうち、上位100個を抽出してそこから類義語などを手動で消す、

実際の入力では、RAKEでキーワードを抽出して、それらがどのジャンルなのか、によって判断する。

レイアウトの表現 #

先行研究ではパラメタだったが、この研究では思い切って画像に。各ピクセルに上の6種類のラベルのいずれかをつける形に。この画像ベースのものは、CNNで扱いやすいらしい。

ピクセル自体は細かくすれば結果はよくなるが、ここでは計算コストとの兼ね合いもあって $60 \times 45$に。だいたいの雑誌ページは4:3だし。

モデルの設計 #

Future Work #

気になった参考文献とか先行研究とか #

ガイドに従った色々考えたレイアウトの自動生成の先行研究 #

Automatic Stylistic manga layout, 2012, ACM

Attention-Directing Composition of Manga Elements, 2014, ACM

テンプレートベースのレイアウトの自動生成 #

手動で作ったいくつかのデザインパターンへの誘導。

Webページの内容を別のレイアウトに変換する。 #

example-based retargeting for Web design, ACM