more translation
This commit is contained in:
parent
8ee055bfa8
commit
2ce9ca50b5
459 changed files with 21001 additions and 9395 deletions
|
|
@ -1,6 +1,6 @@
|
|||
+++
|
||||
title = "Übersetzung: Stable Dreamfusion"
|
||||
description = "An exploration of 3D mesh generation through AI"
|
||||
title = "Stable Dreamfusion"
|
||||
description = "Eine Exploration der KI-gestützten 3D-Mesh-Generierung"
|
||||
date = 2023-06-20
|
||||
authors = ["Aron Petau"]
|
||||
banner = "/images/dreamfusion/sd_pig.png"
|
||||
|
|
@ -26,32 +26,32 @@ show_shares = true
|
|||
|
||||
<div class="sketchfab-embed-wrapper"> <iframe title="Stable-Dreamfusion Pig" frameborder="0" allowfullscreen mozallowfullscreen="true" webkitallowfullscreen="true" allow="autoplay; fullscreen; xr-spatial-tracking" xr-spatial-tracking execution-while-out-of-viewport execution-while-not-rendered web-share width="800" height="600" src="https://sketchfab.com/models/0af6d95988e44c73a693c45e1db44cad/embed?ui_theme=dark&dnt=1"> </iframe> </div>
|
||||
|
||||
## Sources
|
||||
## Quellen
|
||||
|
||||
I forked a really popular implementation that reverse engineered the Google Dreamfusion algorithm. This algorithm is closed-source and not publicly available.
|
||||
The implementation I forked is [here](https://github.com/arontaupe/stable-dreamfusion)
|
||||
This one is running on stable-diffusion as a bas process, which means we are are expected to have worse results than google.
|
||||
The original implementation is [here](https://dreamfusion3d.github.io)
|
||||
Ich habe eine populäre Implementierung geforkt, die den Google-DreamFusion-Algorithmus nachgebaut hat. Der Original-Algorithmus ist nicht öffentlich zugänglich und closed-source.
|
||||
Du findest meine geforkte Implementierung [in meinem GitHub-Repository](https://github.com/arontaupe/stable-dreamfusion).
|
||||
Diese Version basiert auf Stable Diffusion als Grundprozess, was bedeutet, dass die Ergebnisse möglicherweise nicht an die Qualität von Google heranreichen.
|
||||
Die [ursprüngliche DreamFusion-Publikation und Implementierung](https://dreamfusion3d.github.io) bietet weitere Details zur Technik.
|
||||
|
||||
{{ youtube(id="shW_Jh728yg") }}
|
||||
|
||||
## Gradio
|
||||
|
||||
The reason i forked the code is so that i could implement my own gradio interface for the algorithm. Gradio is a great tool for quickly building interfaces for machine learning models. No code involves, any user can state their wish, and the mechanism will spit out a ready-to-be-rigged model (obj file)
|
||||
Ich habe den Code geforkt, um meine eigene Gradio-Schnittstelle für den Algorithmus zu implementieren. Gradio ist ein hervorragendes Werkzeug für die schnelle Entwicklung von Benutzeroberflächen für Machine-Learning-Modelle. Endnutzer müssen nicht programmieren - sie können einfach ihren Wunsch äußern, und das System generiert ein 3D-Modell (OBJ-Datei), das direkt mit einem Rigging versehen werden kann.
|
||||
|
||||
## Mixamo
|
||||
|
||||
I used Mixamo to rig the model. It is a great tool for rigging and animating models. But before everything, it is simple. as long as you have a model with a decent humanoid shape in something of a t-pose, you can rig it in seconds. Thats exactly what i did here.
|
||||
Ich habe Mixamo für das Rigging des Modells verwendet. Es ist ein leistungsstarkes Werkzeug für Rigging und Animation von Modellen, aber seine größte Stärke ist die Einfachheit. Solange man ein Modell mit einer einigermaßen humanoiden Form in T-Pose hat, kann man es in Sekunden mit einem Rigging versehen. Genau das habe ich hier gemacht.
|
||||
|
||||
## Unity
|
||||
|
||||
I used Unity to render the model to the magic leap 1.
|
||||
Through this, i could create an interactive and immersive environment with the generated models.
|
||||
Ich habe Unity verwendet, um das Modell für das Magic Leap 1 Headset zu rendern.
|
||||
Dies ermöglichte mir, eine interaktive und immersive Umgebung mit den generierten Modellen zu schaffen.
|
||||
|
||||
The dream was, to build a AI- Chamber of wishes.
|
||||
You pick up the glasses, state your desires and then the algorithm will present to you an almost-real object in AR.
|
||||
Die Vision war, eine KI-Wunschkammer zu bauen:
|
||||
Du setzt die AR-Brille auf, äußerst deine Wünsche, und der Algorithmus präsentiert dir ein fast reales Objekt in erweiterter Realität.
|
||||
|
||||
Due to not having access to the proprietary sources from google and the beefy, but still not quite machine-learning ready computers we have at the studio, the results are not quite as good as i hoped.
|
||||
But still, the results are quite interesting and i am happy with the outcome.
|
||||
A single generated object in the Box takes roughly 20 minutes to generate.
|
||||
Even then, the algorithm is quite particular and oftentimes will not generate anything coherent at all.
|
||||
Da wir keinen Zugang zu Googles proprietärem Quellcode haben und die Einschränkungen unserer Studio-Computer (die zwar leistungsstark, aber nicht optimal für maschinelles Lernen ausgelegt sind), sind die Ergebnisse nicht so ausgereift wie erhofft.
|
||||
Trotzdem sind die Resultate faszinierend, und ich bin mit dem Ergebnis zufrieden.
|
||||
Die Generierung eines einzelnen Objekts in der Umgebung dauert etwa 20 Minuten.
|
||||
Der Algorithmus kann recht launisch sein - oft hat er Schwierigkeiten, zusammenhängende Objekte zu generieren, aber wenn er erfolgreich ist, sind die Ergebnisse durchaus beeindruckend.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue