FotoStar-Pro — все профессионально и качественно.. » Нейронная сеть Deep Photo Style Transfer переносит стили на фотографии

Нейронная сеть Deep Photo Style Transfer переносит стили на фотографии

Однажды мы сможем надеть высокотехнологичные очки и прогуляться по городу, который отображается в реальном времени и который нам нравится. Яркий и чистый солнечный свет или легкий лобстер, закат ясным вечером — все, что мы хотим. Какой бы удручающей ни была архитектура, через очки она будет прекрасна.

Эта возможность рендеринга с передачей стилей раскрывается в шокирующей программе Deep Photo Style Transfer, описанной в научной статье, опубликованной в arXiv (arXiv: 1703.07511).

Сдвиг стиля с одного изображения на другое — известная проблема, которую многие программисты пытались решить в прошлом. Правильный выбор рисунка, из которого сделан стиль, позволяет красиво преобразовать фотографию — как если бы она была сделана в другое время дня, с другим освещением или в другое время. До сих пор методы передачи в стиле нейронной сети были очень ограничены и могли работать только с определенными сценами, и достоверность передачи не могла быть достигнута. Создатели проекта Deep Photo Style Transfer вроде бы решили эти проблемы.

Нейронная сеть Deep Photo Style Transfe использует технику Neural Style, но была значительно переработана и улучшена.

Результат работы Deep Photo Style Transfer строго фотореалистичный. Художественный эффект достигается в основном за счет запрета пространственных искажений, а передача стилей ограничена цветовым пространством. Другими словами, объекты остаются такими же, как в оригинале. Это то, что позволяет создавать специальные очки, описанные в начале. Все объекты сохраняют свои очертания, но выглядят в разном стиле.

Вот несколько примеров:

Также решена проблема передачи стиля между несоответствующими объектами. Это делается за счет семантической сегментации — стили зданий переносятся только на здания, а стиль неба влияет только на небо. В итоге получаются предельно реалистичные трансформации фотографий.

# tdi_40_555 .td-doubleSlider-2 .td-item1 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style-Transfer -11.png? Изменить размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_40_555 .td-doubleSlider-2 .td-item2 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-12.png? Изменить размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_40_555 .td-doubleSlider-2 .td-item3 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-13.png? Размер = 80% 2C60&ssl = 1) 0 0 без повтора; }
1 из 3

# tdi_41_8f8 .td-doubleSlider-2 .td-item1 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style-Transfer -21.png? Изменить размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_41_8f8 .td-doubleSlider-2 .td-item2 {background: url (https://i1.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-22.png? Размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_41_8f8 .td-doubleSlider-2 .td-item3 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-23.png? Размер = 80% 2C60&ssl = 1) 0 0 без повтора; }
1 из 3

# tdi_42_805 .td-doubleSlider-2 .td-item1 {background: url (https://i1.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style-Transfer -31.png? Изменить размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_42_805 .td-doubleSlider-2 .td-item2 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-32.png? Размер = 80% 2C60&ssl = 1) 0 0 без повтора; } # tdi_42_805 .td-doubleSlider-2 .td-item3 {background: url (https://i2.wp.com/www.kaldata.com/wp-content/uploads/2017/03/Deep-Photo-Style- Transfer-33.png? Размер = 80% 2C60&ssl = 1) 0 0 без повтора; }
1 из 3

Качество работы нейронной сети можно было определить только с помощью опроса, который показал, что Deep Photo Style Transfer обеспечивает наибольшую реалистичность по сравнению с другими аналогичными методами.

Алгоритм будет улучшен, и появится возможность обрабатывать фотографии в реальном времени через предварительно обученные нейронные сети.