# Stiahneme potrebný kód.
!git clone https://github.com/michalgregor/Neural-Style-Transfer.git
# Import potrebných balíčkov
import matplotlib.pyplot as plt
from google.colab import files
import sys
# Uistíme sa, že máme všetky potrebné dáta
!mkdir -p data
!wget -nc -O data/cat.jpg https://www.dropbox.com/s/a5ux951zo01gd5z/cat.jpg?dl=1
!wget -nc -O data/picaso.jpg https://www.dropbox.com/s/l1gjon5gvjpefuv/picaso.jpg?dl=1
Neuromaľby¶
Tento notebook ukazuje, ako sa dá použiť algoritmus na neuro umelecké štýly z "A Neural Algorithm of Artistic Style". Implementáciu, ktorú budeme používať, sa dá nájsť v repozitári github. Tento notebook súbor je tiež adaptáciou notebook súboru z toho istého repozitára.
Pozrime sa, aké parametre má skript, ktorý je súčasťou tohto repozitára:
dir_path = "Neural-Style-Transfer"
NETWORK = 'INetwork' + '.py'
# Zoznam argumentov, ktoré podporuje skript Network.py
!{sys.executable} {dir_path}/{NETWORK} -h
Parametre Network.py¶
Na tomto mieste nastavíme všetky potrebné parametre pre skript Network.py.
# Veľkosť obrázka
IMAGE_SIZE = 400
# Váhy chybových kritérií
CONTENT_WEIGHT = 0.025
STYLE_WEIGHT = 1.0
STYLE_SCALE = 1.0
TOTAL_VARIATION_WEIGHT = 8.5e-5
CONTENT_LOSS_TYPE = 0
# Argumenty pre optimalizáciu
NUM_ITERATIONS = 10
MODEL = 'vgg16'
RESCALE_IMAGE = 'false'
# nastavte false ak je málo pamäte (OOM)
MAINTAIN_ASPECT_RATIO = 'true'
# Argumenty pre transfer štýlu
# číslo 5_2 meňte len na niečo v podobnom formáte
CONTENT_LAYER = 'conv5_2'
INITIALIZATION_IMAGE = 'content'
POOLING_TYPE = 'max'
# Ďalšie argumenty
PRESERVE_COLOR = 'false'
MIN_IMPROVEMENT = 0.0
Obrázok s obsahom¶
Po spustení nasledujúcej bunky je možné nahrať obrázok s obsahom. Prípustné je vybrať len 1 obrázok.
CONTENT_IMAGE_FN = "data/cat.jpg"
# content_img = files.upload()
# CONTENT_IMAGE_FN = list(content_img)[0]
fig = plt.figure(figsize=(10, 10))
img = plt.imread(CONTENT_IMAGE_FN)
plt.axis('off')
plt.title('Obrázok s obsahom')
plt.imshow(img)
Obrázok so štýlom¶
Po spustení nasledujúcej bunky je možné nahrať obrázok so štýlom. Prípustné je vybrať len 1 obrázok.
STYLE_IMAGE_FN = "data/picaso.jpg"
# style_img = files.upload()
# style_filename = list(style_img)[0]
fig = plt.figure(figsize=(10, 10))
img = plt.imread(STYLE_IMAGE_FN)
plt.axis('off')
plt.title('Obrázok so štýlom')
plt.imshow(img)
Generovanie obrázku¶
Spustením nasledujúcich buniek sa vygeneruje obrázok.
import os
RESULT_DIR = "generated/"
RESULT_PREFIX = RESULT_DIR + "gen"
FINAL_IMAGE_PATH = RESULT_PREFIX + "_at_iteration_%d.png" % (NUM_ITERATIONS)
if not os.path.exists(RESULT_DIR):
os.makedirs(RESULT_DIR)
!{sys.executable} {dir_path}/{NETWORK} {CONTENT_IMAGE_FN} {STYLE_IMAGE_FN} {RESULT_PREFIX} \
--image_size {IMAGE_SIZE} --content_weight {CONTENT_WEIGHT} --style_weight \
{STYLE_WEIGHT} --style_scale {STYLE_SCALE} --total_variation_weight \
{TOTAL_VARIATION_WEIGHT} --content_loss_type {CONTENT_LOSS_TYPE} --num_iter \
{NUM_ITERATIONS} --model {MODEL} --rescale_image {RESCALE_IMAGE} \
--maintain_aspect_ratio {MAINTAIN_ASPECT_RATIO} --content_layer {CONTENT_LAYER} \
--init_image {INITIALIZATION_IMAGE} --pool_type {POOLING_TYPE} --preserve_color \
{PRESERVE_COLOR} --min_improvement {MIN_IMPROVEMENT}
fig = plt.figure(figsize=(10, 10))
img = plt.imread(FINAL_IMAGE_PATH)
plt.axis('off')
plt.title('Generated image')
plt.imshow(img)
(Nepovinné) Transfer farieb¶
Ak chcete, aby sa do preštýlovaného obrázku preniesli farby z pôvodného obrázku s obsahom, spustite nasledujúce bunky.
COLOR_TRANSFER = 'color_transfer.py'
COLOR_FINAL_IMAGE_PATH = FINAL_IMAGE_PATH[:-4] + '_%s_color.png'
# Optional - Use Histogram matching (0 for no, 1 for yes)
HISTOGRAM_MATCH = 0
if HISTOGRAM_MATCH == 0:
COLOR_FINAL_IMAGE_PATH = COLOR_FINAL_IMAGE_PATH % ('original')
else:
COLOR_FINAL_IMAGE_PATH = COLOR_FINAL_IMAGE_PATH % ('histogram')
!{sys.executable} {dir_path}/{COLOR_TRANSFER} {CONTENT_IMAGE_FN} {FINAL_IMAGE_PATH} --hist_match {HISTOGRAM_MATCH}
fig = plt.figure(figsize=(10, 10))
img = plt.imread(COLOR_FINAL_IMAGE_PATH)
plt.axis('off')
plt.title('Color Transferred Generated image')
plt.imshow(img)
Úloha 1: Aplikácia na iný obrázok/štýl¶
Aplikujte ten istý postup na iné obrázky so štýlom a obsahom.
Poznámka: Dá sa použiť vyššie uvedený kód: stačí odkomentovať časti, pomocou ktorých sa dajú nahrať nové obrázky.