Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!

Présentation au sujet: "Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!"— Transcription de la présentation:

1 Insertion dobjets virtuels GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à A. Efros et P. Debevec!

2 Plan reste de la session Cette semaine: insertion dobjets virtuels Autres sujets: à votre choix! Big Data: comprendre et synthétiser les images à partir de grandes quantités de données visuelles Comment prendre de bonnes photos? Comment fonctionne la kinect? Caméras lightfield: focuser après avoir pris la photo! lytro.com Détecter les fausses images ACP et visages Caméras algorithmiques Autres idées? Allez voter sur le groupe Facebook!

3 Aujourdhui Retour sur la formation dimages à haute plage dynamique Reproduction tonale (tone mapping) Insertion dobjets virtuels À conclure mercredi

4 Modèle radiométrique (simplifié) ΔtΔtΔtΔt radiance (W/sr/m 2 ) irradiance au capteur exposition au capteur Lentill e Obturateur voltage valeurs numérique s pixel s CCD Conversion analogique- numérique Fonction non-linéaire

5 Modèle radiométrique (plus simplifié) ΔtΔtΔtΔt radiance (W/sr/m 2 ) exposition au capteur Obturateur pixels (z) Fonction non-linéaire

6 Algorithme Série dimages 3 3 1 1 2 2 Δt = 1 sec 3 3 1 1 2 2 Δt = 1/16 sec 3 3 1 1 2 2 Δt = 4 sec 3 3 1 1 2 2 Δt = 1/64 sec 3 3 1 1 2 2 Δt = 1/4 sec

7 Algorithme Série dimages 3 3 1 1 2 2 Δt = 1 sec 3 3 1 1 2 2 Δt = 1/16 sec 3 3 1 1 2 2 Δt = 4 sec 3 3 1 1 2 2 Δt = 1/64 sec 3 3 1 1 2 2 Δt = 1/4 sec

8 Math Notons la fonction inverse discrétisée: g(z) Pour chaque pixel i dans une image j, nous avons: Système déquations linéaires sur-contraint: composante pour sassurer quon approxime les données composante sassurer que la courbe soit lisse

9 Résultat Courbe estimée log exposition Kodak DCS460 1/30 à 30 sec Pixel

10 Radiance

11 Résultats: couleur

12 12 RougeVert RGBBleu

13 Radiance

14 Image précédente entre 0 et 255

15 Et maintenant?

16 Reproduction tonale 10 -6 10 6 Mond e Image (écran, projecteu r) 0 à 255 Haute plage dynamique Comment faire? Linéaire? Seuil? Suggestions?

17 Linéaire En fonction des pixels les plus clairs En fonction des pixels les plus sombres

18 Opérateur global Déterminer une courbe qui: Ramène le contenu du signal HDR dans une plage qui convient à un écran ou un projecteur Naugmente pas les parties sombres Donc: Asymptote à 255 Dérivée = 1 à 0

19 Opérateur global (Reinhard et al.) Solution toute simple: utiliser une transformée non- linéaire

20 Non-linéaire Reinhar d En fonction des pixels les plus sombres

21 Opérateur global

22 Quest-ce que nos yeux voient? Vs.

23 Demo LuminanceHDR http://qtpfsgui.sourceforge.net

24 Insérons un objet virtuel Pourquoi le résultat est si mauvais? Mauvaise orientation Mauvais éclairage Pas dombre

25 Solutions Mauvaise orientation Estimer les paramètres de la caméra en fonction de la table. Comment? Calibrage géométrique Illumination Estimer la position et lintensité des sources lumineuses à placer dans lenvironnement virtuel Que faire si lillumination est complexe? Sources étendues, inter-réflexions, etc…

26 Carte denvironnement (environment map) Solution simple pour objets réfléchissants Modélise lillumination avec une image panoramique i.e. quantité de radiance qui provient de chaque direction Tout premier résultat! (Jim Blinn, 1976)

27 Carte denvironnement fonction qui convertit le vecteur de réflexion (x, y, z) en coordonnées image (u, v) Rayon réfléchi: r=2(n·v)n-v La texture est transférée directement sur lobjet en fonction du vecteur de réflexion et du contenu de limage denvironnement Surface réfléchissante Observateur Image denvironnement v n r

28 Carte sphérique Enregistre la carte en format sphérique (θ, φ) Pour générer la carte: Effectuer un rendu sphérique à partir de la position de lobjet Pour utiliser la carte: Utiliser lorientation du rayon réfléchi (en coordonnées angulaires), et lire la valeur de couleur correspondantes dans la carte sphérique

29 Exemple: carte sphérique

30 Exemple http://youtu.be/ici8I2foBeQ?t=1m4 5s (source: tchyup sur youtube)

31 Approximations La carte continent une vue du monde à partir dun seul point Cette vue change en fonction de la position sur lobjet! Introduit distorsions, mais difficile à remarquer Minimales pour un petit objet dans un grand environnement Lobjet ne se réfléchit pas lui-même

32 Scènes réelles? Flight of the Navigator (1986), premier film à utiliser cette technologie

33 Scènes réelles? Terminator 2 (1991)

34 Carte denvironnement réelles Photographier le monde! Comment photographier toutes les directions? Panoramas! Existe aussi dautres solutions… Comment photographier les sources lumineuses? Elles sont beaucoup plus lumineuses que le reste de lenvironnement… Haute plage dynamique, bien entendu!

35 Mosaïques HDR http://www.gregdowning.com/HDRI/stitche d/

36 Caméras panoramiques Avantages: très haute résolution (10K x 7K+) Pas de mosaïques: sphère automatique Bonne plage dynamique (même HDR) Problèmes $$$ Long à capturer

37 Lentilles

38 Sphère métallique

39

40 Détour: où trouver une sphère métallique? 2 pouces de diamètre ~ $20 ea. McMaster-Carr www.mcmaster.com 6-12 pouces, moins bonne qualité Bakers Lawn Ornaments www.bakerslawnorn.com Hollow Spheres, 2in – 4in Dube Juggling Equipment www.dube.com www.dube.com

41 41 0.34 0.58 => 59% réflective Calibrage de la réflexivité de la sphère

42 Real-World HDR Lighting Environments Exemples: http://www.debevec.org/Probes/ http://www.debevec.org/Probes/ Exemples: http://www.debevec.org/Probes/ http://www.debevec.org/Probes/ Funston Beach Uffizi Gallery Eucalyptus Grove Grace Cathedral

43 Capturer lenvironnement Avan t Arrièr e

44 Composer lenvironnement Avan t Arrièr e

45 Pas seulement pour les objets réfléchissants Nous avons capté une vraie image de radiance Nous pouvons la traiter comme une source lumineuse! lutiliser pour éclairer la scène, en simulant la propagation de la lumière dans lenvironnement virtuel Tous les objets peuvent être affichés (pas seulement les objets réfléchissants)! Quelle est le problème?

46 Résultats

47 Comparaison: radiance vs image

48 Objets virtuels illuminés par une source virtuelle

49 Illuminer les objets virtuels Objet Lumièr e

50

51

52 http://www.pauldebevec.com/RN L/

53 Nous savons maintenant comment illuminer des objets virtuels avec de la vraie lumière Comment combiner ces objets virtuels avec de vraies images?

54 http://www.nickbertke.com /

55 55

56 56

57 57

58 58

59 59 real scene light-based model

60 60

61 61 real scene synthetic objects light-based model local scene

62 62 synthetic objects (known BRDF) synthetic objects (known BRDF) distant scene (light-based, unknown BRDF) local scene (estimated BRDF) local scene (estimated BRDF)

63 63

64 64

65 65

66 66 - - = =

67 67

68 Historique http://www.pauldebevec.com/ReflectionMapping/ Mercredi: Combiner les objets virtuels avec les images réelles

69 Plan reste de la session Cette semaine: insertion dobjets virtuels Autres sujets: à votre choix! Big Data: comprendre et synthétiser les images à partir de grandes quantités de données visuelles Comment prendre de bonnes photos? Comment fonctionne la kinect? Caméras lightfield: focuser après avoir pris la photo! lytro.com Détecter les fausses images ACP et visages Caméras algorithmiques Autres idées? Allez voter sur le groupe Facebook!