Curso de dibujo con IA entendido como magia

Sobre la alquimia de imágenes con IA, que se vuelve más mágica cuanto más la practicas.

A continuación, presento una lógica y un curso de control rudimentarios que podrían enfadar mucho a los expertos en la materia.

Por lo menos, conocimientos técnicos que funcionan de forma común en los servicios principales (DALL-E2, MidJourney, StableDiffusion, DiscoDiffusion, crayon, dall-e mini, etc.).

Cómo entender el funcionamiento de la IA de imágenes de forma sencilla

Para una IA conversacional, hechizoprompt no es más que algo que determina la direcciónvector de la alquimia de imágenes.

Por ejemplo, lo siguiente es un ejemplo de una imagen creada con "I love apple". De alguna manera, sale algo difuso.

Esto se debe a que la direcciónvector "Apple" tiene múltiples posibilidades simultáneamente, como "manzana", "manzana verde", "Apple Computer (antiguo logotipo arcoíris)" y "Apple Computer (nuevo logotipo)".

En otras palabras, para la IA, "Apple" es una direcciónvector muy ambigua.

No se sabe si es una fotografía o una ilustración. Además, también se ha fusionado un "corazón". Estos cánticos cortos se vuelven incontrolables en muchos casos.

La IA crea imágenes que pueden coexistir ante órdenes ambiguas (nota: que la cara se divida es otro fenómeno distinto).

Para un excelente uso de la IA, es necesario un diseño que agrupe la direcciónvector a través del cántico.

A continuación, un cántico con la restricción de "manzana de fruta". Ha mejorado, pero todavía existen manzanas rojas y verdes al mismo tiempo.

De esta manera, incluso para sacar una sola manzana, se necesita un cántico de direcciónvector adecuado.

En realidad, para un cántico más estable, es necesario cambiar la forma de pensar.

"una sola manzana roja, de buena calidad fotográfica, sobre un fondo simple, para un sitio de comercio electrónico"

Si lo haces así, la manzana se crea de una sola vez.

Las "fotografías de productos para comercio electrónico" tienen una alta reproducibilidad de fondo y diseño. Si te das cuenta de esto, podrás perfeccionar buenos hechizosprompts.

Sin embargo, los vectores de la IA alcanzan miles de dimensiones. Si alineas palabras al azar, múltiples palabras terminarán cancelando los vectores de las otras.

Por lo tanto, para manejar bien la IA, se necesitan dos comprensiones: "vocabulario de palabras poderosasrunas que fortalezcan la dirección del vector" y "construcción de hechizos con reproducibilidad".

Busca palabras poderosas

Las palabras poderosasrunas son palabras con una dirección claravector fuerte. También se podría decir que son "palabras puras sin ambigüedad".

Esto se debe al mecanismo de aprendizaje de la IA. La IA aprende emparejando imágenes con sus textos explicativos encontrados en la red. A partir del aprendizaje de innumerables pares, forma un espacio vectorial que podría llamarse espacio de posibilidadesregistros akáshicos.

Debido a ese mecanismo, nace un gran poder en los "pares de imágenes y textos que aparecen repetidamente en el aprendizaje sin que el contenido se desvíe".

Si colocas runas como "Unreal Engine" o "Playstation5" en la sección final del canto del hechizo, es fácil que mejore la calidad de la imagen. Esto es probablemente porque la IA ha aprendido de los pares de artículos e imágenes que "Unreal Engine (nombre de una herramienta de creación de juegos) tiene una calidad de imagen increíble".

De manera similar, añadir "beautiful concept art of" en la primera sección también es potente. Esto también se debe a que "las imágenes llamadas arte conceptual promedio están bien dibujadas".

A continuación se muestran imágenes comparativas.

Las runas potentes que recomiendo personalmente son los ajustes de cámara.

Si añades al final del canto cosas como "fotografiado con Canon EOS 5D Mark 4 y lente SIGMA Art Lens 35mm F1.4 DG HSM, valor F 2.4, ISO 200, velocidad de obturación 2000", la calidad aumenta significativamente.

Puedes controlar no solo la calidad de la imagen, sino también la composición, la iluminación, el desenfoque y el conjunto en general.

Esto se debe a que la IA ha aprendido que "las imágenes con tales anotaciones son fotografías profesionales, fotos de muestra oficiales de fabricantes o trabajos de sitios de fotografía tomados por aficionados avanzados". Funciona como una runa potente cuando quieres lograr desenfoque en primer plano o en el fondo.

Para empezar, los principiantes deberían divertirse mientras descubren su propio repertorio de runas poderosas.

Busca sintaxis con poder

El orden en la selección de palabras durante el encantamiento también es importante.

A continuación, la diferencia de visualización entre "paisaje con robot" y "robot en un paisaje".

A simple vista, se puede observar que, incluso con comandos que parecen iguales, el tratamiento del robot cambia drásticamente. De esta manera, "¿qué decir y en qué orden?" influye enormemente en la calidad de la alquimia de imágenes.

Como principio general, suele tener características suaves como: "las frases al principio son más fuertes y las palabras al final son más débiles", "la última frase es moderadamente fuerte" y "las palabras antes de preposiciones o pronombres relativos salen con más fuerza, mientras que las palabras posteriores se debilitan".

Básicamente, es mejor crear el hechizoprompt con un estilo cercano a los pies de foto de museos, sitios de fotografía o libros de arte.

Entre los magos avanzados que llevan tiempo practicando la alquimia con IA, parece que la siguiente estructura se ha convertido en un estándar.

<Formato general>Detailing oil painting of
<Sujeto>The great white castle on deep forest landscape
<Espíritu heroico>by CASPAR DAVID FRIEDRICH and CLAUDE LORRAIN,
<Complemento general> perfect lighting, golden hour,
<Sabor> taken with Canon 5D Mk4

Invoca a los antiguos grandes

En los encantamientos de magia con IA, incluir el nombre de los antiguos grandes en la segunda o tercera sílaba estabiliza la precisión. Se trata de espíritus heroicos de primer nivel como Da Vinci o Rembrandt, o nombres de antiguos maestros que aún no han sido olvidados, como Caravaggio.

Básicamente, la precisión aumenta si tejes en el encantamiento el nombre de un paisajista al dibujar paisajes, o el nombre de un retratista al dibujar personas.

No obstante, es mejor pensar que lo que se invoca aquí no es el Da Vinci en persona, sino "algo que encarna lo davinciano".

Lo que la IA ha aprendido no es más que un "conjunto de imágenes vinculadas a la palabra Da Vinci". Esto se debe a que en él también se mezclan elementos de los discípulos de Da Vinci, obras influenciadas por él, su casa natal y obras comparadas con las suyas.

Si recitas "retrato hecho por Dalí", ¡aparecerá el mismísimo Dalí!

Esto ocurre porque el espacio vectorial de "Salvador Dalí" contiene muchas fotografías de actuaciones entusiastas y autorretratos del propio Dalí. De este modo, no estamos conversando con la IA de forma limitada. Es importante ser consciente de que, a través del lenguaje, estamos pasando parámetros vectoriales a la IA de forma indirecta.

Por cierto, los espíritus heroicos y los espíritus elementales tienen una bonificación por región y popularidad. Incluso si recitas el nombre de un espíritu heroico japonés, es difícil de controlar bajo la base mágica occidental (la IA estadounidense).En cuanto a la bonificación por popularidad, a menos que sea un gran espíritu heroico de la talla de Hokusai, es difícil que sea estable.

Incluso con el mismo conjuro de "landscape painting of forests", el resultado cambia considerablemente solo con cambiar el autor.

Personalmente, recomiendo consagrar conjuntamente a varios espíritus heroicos. Es lo que se llama un espíritu heroico compuesto. Si mezclas espíritus heroicos con atributos similares, la expresión se estabiliza. Por el contrario, si mezclas espíritus heroicos con atributos diferentes, se vuelve inestable, pero la expresión se mezcla.

La siguiente figura es una combinación del cuadro de Bosch mencionado en el ejemplo anterior con otro autor. Se puede ver que, manteniendo la sensación de objeto abultado característica de Bosch, se ha convertido en un estilo artístico completamente diferente.

Creo que es mejor evitar en la medida de lo posible el uso individual de nombres de artistas contemporáneos. Básicamente, cuando incluyas el nombre de un pintor, creo que es mejor incluir varios, o utilizar principalmente nombres de personas que fallecieron hace más de 70 años, y no crear prompts que dependan demasiado del estilo artístico de un individuo concreto.

Más que legal, podrías verte envuelto en problemas emocionales o de honor. (En principio, la ley de derechos de autor se otorga a las obras individuales en sí, y el estilo, las ideas y los conceptos no están sujetos a la protección de la ley de derechos de autor por sí solos).

Quienes prioricen evitar riesgos deberían invocar épocas o movimientos enteros, como "Renacimiento" o "Rococó".

Siento que esto se convertirá probablemente en una norma de etiqueta en un futuro próximo.

¡No incluyas nunca nombres de actores, políticos o famosos reales!

Existe un truco para estabilizar las imágenes de personas que consiste en "incluir el nombre de una celebridad real".Pero, bajo ningún concepto, deberías hacerlo.

Es mejor considerar esto como un hechizo prohibido.

He sido testigo de un caso aterrador con consecuencias fatales en la línea de tiempo de Discord.

Alguien intentó crear una imagen combinando frases como "actriz de Hollywood" y "foto de una princesa caballero capturada". Probablemente, sin mala intención, la persona solo quería mejorar la calidad de la obra de "algo parecido a una princesa caballero capturada". Creo que por eso, sin pensarlo mucho, incluyó el nombre de una "actriz de Hollywood".

Sin embargo, la IA generó de repente "algo parecido a una princesa caballero fotorrealista con los pechos al descubierto, y además con la cara de la actriz de Hollywood".

Aunque seguramente fue un accidente, es una imagen bastante peligrosa.

La persona que la creó por descuido la borró, o la administración la eliminó tras recibir una denuncia, por lo que no pasó a mayores. Supongo que fue un accidente desafortunado sin malicia.

Pero si esa imagen hubiera salido a la luz... se habría convertido en un auténtico caso de pornografía falsa. Si se hubiera difundido, habría sido un desastre con una demanda de indemnización inevitable.

La alquimia humana que utiliza a famosos como base tiene ese riesgo de muerte instantánea.Con el comportamiento actual de la IA, se pueden generar imágenes no seguras (NOT SAFE) de personas reales de forma repentina, incluso sin que uno tenga la intención.Creo que es mejor no crear a la ligera prompts que contengan nombres de famosos.

En cualquier caso, es mejor no crear nunca "prompts con nombres reales que puedan formar el rostro de una persona existente". Como es probable que este tipo de accidentes e incidentes ocurran con frecuencia a partir de ahora, quería lanzar esta advertencia con firmeza.

Entendamos la raíz de la IA

A continuación, hablaré de temas técnicos un poco más profundos.

Estos métodos de generación de imágenes como MidJourney, DALL-E y Stable Diffusion se basan en una tecnología llamada Clip Guided. Si entiendes este mecanismo, es más fácil visualizar los vectores del texto.

Clip es una IA que convierte imágenes y texto en "vectores comparables entre sí". Dicho de forma más sencilla, también se puede decir que es una IA que mide con una puntuación "¿cuál es el grado de coincidencia entre este par de imagen y texto?".

La generación de imágenes actual utiliza este Clip para crear imágenes de modo que la distancia entre el "texto" y la "imagen" sea lo más pequeña posible.

La IA se crea entrenando con cientos de millones de "pares de imágenes y texto". Es decir, se entrena con "imágenes de internet y los pies de foto que las acompañan".

Por esta razón, la generación de imágenes de tipo clip intenta generar "una imagen que reciba un pie de foto del usuario y que parezca ser el par de ese pie de foto". Si entiendes esta regla básica, la precisión de la alquimia de imágenes aumenta considerablemente.

Para obtener la imagen que deseas, solo tienes que imaginar "¿qué tipo de pie de foto tendría la imagen que quiero si estuviera en un sitio web de un museo, una tienda online o un sitio de fotografía?" y pensar en un texto que encaje con ello.

La "sintaxis básica" mencionada anteriormente está construida precisamente con una estructura similar a esa.

Pintura al óleo "Paisaje con girasoles" (obra de Van Gogh). Sol rojo intenso y tonos apasionados, pincelada fuerte... Escribir de esta forma es muy parecido a las descripciones de los museos o de los catálogos de subastas de arte.

A medida que te acostumbras, existen notaciones aún más especiales (inyectar pesos vectoriales directamente), pero eso es magia avanzada, así que es otro tema.

Además, hay muchos otros trucos como la inducción mediante ruido o imágenes originales, inpainting (completado de correcciones), ampliación, reducción, IA compuesta, conversión a materiales de Photoshop o Blender... pero como sería demasiado largo, lo omitiré.

¡Pues bien, todos, sigan las instrucciones de uso y disfruten de una vida mágica!

Extra, ¿el misterio debe ser ocultado...?

El ocultismo se escribe como ciencia de lo oculto, perola magia puede considerarse un sistema técnico que "oculta el proceso y solo revela el resultado".Es decir, en la mentalidad mágica, el valor y el poder nacen precisamente de acaparar este tipo de conocimientos.

Es lo que llaman "el misterio debe ser ocultado".

Sin embargo, estamos en el siglo XXI. En la era de Internet, la difusión de la información se ha vuelto irreversible y rápida. Cualquier misterio oculto será difundido gratuitamente por alguien en la red a los pocos días. Ya no es realista monopolizar la información.

Por lo tanto, creo que deberíamos publicar información periódicamente y, al agrupar el conocimiento, llegar a la raíz profunda de la magia.

En cuanto a los prompts, a continuación tienes una chuleta del DALL-E Prompt Book. Si lees esto, creo que entenderás rápidamente las palabras básicas necesarias.

Además, memorizar las peculiaridades de cada IA o los hechizosprompts no tiene mucho sentido. Basta con mirar la chuleta.

El conocimiento que realmente deberías aprender es"¿Cómo formular hipótesis sobre el comportamiento en poco tiempo y ponerlo bajo control provisionalmente cuando te encuentras con una nueva tecnología de caja negra?"Creo que eso es lo importante. Considero que la reproducibilidad de esta técnica es lo fundamental.

Bocetos de mechas o algo así

Personas que quieren entenderlo técnicamente o tocar el código

Quienes hayan estudiado bien el funcionamiento, que lean lo siguiente.

Si quieres leer el código fundamental, investiga sobre Latente Diffusion Model o Glide X3.

Mientras pasaba unos tres días revisando este artículo e intentando mantener la coherencia con el mundo de typemoon, @shi3z publicó su artículo antes. Qué rabia me da.