Jupyter notebook in Galaxy

Jupyter notebook in Galaxy
Galaxy IPython is a visualization plugin

Pour installer iPython (JUPYTER) dans Galaxy, il est nécessaire de travailler dans un conteneur Docker. Sur la machine test Docker montée par Marie-Stéphane, deux possibilités : a- Récupérer un Galaxy déja dans Docker (bgruening/galaxy-stable), cloner le code Galaxy pour iPython, Mais visualisation NOK. Reste à activer Jupyter dans galaxy.ini (mais fichier abs). b- Récupérer le dernier code de Galaxy de Galaxy project, créer une image Docker (Dockerfile, docker build), réserver un port dans galaxy.ini, cloner le code ipython, activer jupyter dans galaxy.ini, puis lancer l'image docker crée (docker run). Ce module permet de lancer du code directement avec le numéro de la dataset Galaxy et le nom de l'historique (HISTORY_ID). La fonction pull permet d'utiliser des datasets Galaxy en entrée, la fonction get permet de générer des graphs, images, fichiers en sortie Galaxy et chaque session peut être enregistrée pour être rejouée / modifiée !! Du coup, dans une session, nous pourrions imaginer jouer un pipeline complet, avec , en plus la possibilité de mettre en forme des images, des commentaires, des vidéos explicatives, bref un vrai tuto complet. C'est à se demander si c'est encore utile de coder des wrappers ! Vu qu'il est très facilement possible d'échanger des sessions Jupyter (mail, git, share), et de jouer une session dans n'importe quelle instance Galaxy, je ne vois plus trop l'intérêt des outils wrappés ... Pour le moment, pour des raisons de sécurité, Marie-Stéphane m'a expliquée qu'il n'est pas possible d'installer Galaxy avec Docker tant que nous n'aurons pas le cloud. Ce document présente les différentes étapes d'install, difficultés rencontrées et fonctionnalités iPython sous Galaxy.

L'idée est de créer une session (== 1 workflow convertit en wrapper) qui contient plusieurs étapes de traitement en ligne de commande (qq'soit le langage) lançées à partir des donnes disponibles dans Galaxy. Avantages : Comparable à jflow ? Possible de lancer des traitements Galaxy par des bioinformaticiens et des programmeurs. Fournir un environnement de formation Plus de flexibilité pour les developpeurs. Inconvénient : reproductibilité des traitements controversée... Les datasets et les tools Galaxy sont versionnés. Les sessions Jupyter « moins ».. quoi que.

Source : Jupyter notebook in Galaxy Uniquement possible sur une machine avec Docker installé. 1 – Connexion à la machine de test Docker 2- Docker pull 3- Après installation de git sur la machine de test Docker 4- git clone de la machine galaxy contenue dans Docker et préparée par M. Gruening

Source : Jupyter notebook in Galaxy Le code Galaxy est disponible dans le conteneur : Installer la version stable Galaxy Install firefox sur la machine Avec ssh an mode display :

Source : Jupyter notebook in Galaxy ssh an mode display : Install Xvfb Run Xvfb step 3: set the terminal -->

(tests) Installation de firefox dans Docker
Préparation du Dockerfile /root/sarah/docker-galaxy-stable/Dockerfile touch /root/sarah/docker-galaxy-stable/Dockerfile FROM ubuntu:14.04 RUN apt-get update && apt-get install -y firefox # Replace 1000 with your user / group id docker-galaxy-stable]# id root #uid=0(root) gid=0(root) groupes=0(root) RUN export uid=0 gid=0 && \ #RUN export uid=1000 gid=1000 && \ mkdir -p /home/developer && \ echo "developer:x:${uid}:${gid}:Developer,,,:/home/developer:/bin/bash" >> /etc/passwd && \ echo "developer:x:${uid}:" >> /etc/group && \ echo "developer ALL=(ALL) NOPASSWD: ALL" > /etc/sudoers.d/developer && \ chmod 0440 /etc/sudoers.d/developer && \ chown ${uid}:${gid} -R /home/developer USER developer ENV HOME /home/developer CMD /usr/bin/firefox

(test) Installation de firefox dans Docker
Première commande :

(test) Installation de firefox dans Docker
Seconde commande : Puis lancement de la seconde commande à nouveau : docker run -ti --rm -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix firefox

Firefox sur vm-docker-test

Easy installation iPython alias Jupyter notebook in Galaxy
1 – Dans config/ , récupérer le répertoire ipython dans GitHub : 2 – Restart Galaxy dans Docker docker run -d -p 8023:23 -p 8021:21 -p 8022:22 -e bgruening/galaxy-stable Recherche de ports disponibles : docker-galaxy-stable]# docker run -i -t -p 8040:40 bgruening/galaxy-stable /bin/bash ls CITATION contrib cron external_service_types locale openid run_reports.sh scripts test tools client CONTRIBUTING.md database extract_dataset_parts.sh Makefile README.rst run.sh setup.cfg test-data tox.ini CODE_OF_CONDUCT.md CONTRIBUTORS.md display_applications lib manage_db.sh requirements.txt run_tests.sh static tool-data config create_db.sh doc LICENSE.txt manage_tools.sh rolling_restart.sh run_tool_shed.sh templates tool_list.py sh run.sh & [1] 17 Activating virtualenv at /galaxy_venv The directory '/home/galaxy/.cache/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag. The directory '/home/galaxy/.cache/pip' or its parent directory is not owned by the current user and caching wheels has been disabled. check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag. Requirement already satisfied: pip>=8.1 in /galaxy_venv/lib/python2.7/site-packages /galaxy_venv/local/lib/python2.7/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:318: SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Name Indication) extension to TLS is not available on this platform. This may cause the server to present an incorrect TLS certificate, which can cause validation failures. You can upgrade to a newer version of Python to solve this. For more information, see SNIMissingWarning /galaxy_venv/local/lib/python2.7/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:122: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. You can upgrade to a newer version of Python to solve this. For more information, see InsecurePlatformWarning The directory '/home/galaxy/.cache/pip/http' or its parent directory

Run Galaxy in Docker Autre commande : docker run -i -t -p 8040:40 bgruening/galaxy-stable /bin/bash Erreur lors du runs.sh : --> Galaxy ne s'ouvre pas.

Run Galaxy in Docker Paramétrage du fichier galaxy.ini :
cp config/galaxy.ini.sample config/galaxy.ini geany config/galaxy.ini & Start Galaxy avec ce nouveau paramétrage : sh run.sh & --> Galaxy ne s'ouvre pas.

Run Galaxy in Docker Autre commande : docker run -i -t -p 8080:80 bgruening/galaxy-stable /bin/bash Erreur lors du run.sh : --> Galaxy ne s'ouvre pas.

Run Galaxy in Docker Problème d'IP : Verifier la configuration de l'IP. root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 80 root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 22 root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 21 root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 25 root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 24 root ? Sl juil :00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 23 root ? Sl 15:22 0:00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 36 root ? Sl 15:22 0:00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 35 root ? Sl 15:22 0:00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 34 root ? Sl 15:30 0:00 \_ /usr/libexec/docker/docker-proxy-current -proto tcp -host-ip host-port container-ip container-port 40 on voit ==> mettre dans config/galaxy.ini : Puis start galaxy :

1 – Ouverture de Firefox depuis un autre onglet terminal : ssh -YX ~ $ ssh -YX password: Last login: Tue Aug 1 12:44: from genotoul.toulouse.inra.fr ~]# ~]# cd sarah/docker-galaxy-stable/ docker-galaxy-stable]# firefox & Dans l'URL de la fenêtre qui s'ouvre :

Ipython est disponible dans le menu « Visualisation » de la dataset :

Fonctions et variables Jupyter

Sources documentaires

Jupyter notebook in Galaxy

Présentations similaires

Présentation au sujet: "Jupyter notebook in Galaxy"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back

Entrer

S'autoriser via un réseau social:

Jupyter notebook in Galaxy

Présentations similaires

Présentation au sujet: "Jupyter notebook in Galaxy"— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back