Executive Summary

맞춤형 의학연구 애플리케이션을 위해

1. 마이크로서비스 아키텍처(microservice architecture) 구축

   • Rstudio와 shiny server가 설치된 Docker 이미지 제작

   • Docker swarm을 이용해 배포

   • 서버의 종류와 갯수에 구애받지 않음

2. https 보안이 적용된 subdomain 주소 부여

   • 동적 프록시 서버(dynamic proxy server) 프로그램인 Traefik 이용

   • 서비스가 추가될 때 마다(ex: 홈페이지, Jupyter) 자동 적용.

3. ShinyApps

   • 흔히 이용되는 의학통계 방법들을 ShinyApps 로 만들어 위의 환경에 배포

   • 데이터 라벨(label) 정보 활용 - 라벨이 적용된 논문용 테이블/그림

1. 마이크로서비스 아키텍처

여행용 파우치

https://funshop.akamaized.net/products/0000045775/HF-INLUGGAGE-POUCH-LINGERIE-%EC%83%81%EC%84%B8%ED%8E%98%EC%9D%B4%EC%A7%80_01.jpg

여행용 파우치 장단점

장점

1. 깔끔하다.

2. 치우기 쉽다.

3. 다른 가방으로 옮기기 쉽다.

4. 가방 종류에 구애받지 않는다.

단점

1. 실제 쓸 수 있는 공간이 줄어든다.

2. 분리해서 넣기 귀찮다.

3. 물건 찾을 때 지퍼를 한번 더 열어야 된다.

Microservice 장단점

장점

1. 깔끔하다.

2. 삭제가 쉽다.

3. 다른 컴퓨터에 재설치 쉽다.

4. 컴퓨터/서버 종류에 구애받지 않는다.

단점

1. 실제 쓸 수 있는 용량이 줄어든다.

2. 서비스마다 모듈 만들기 귀찮다.

3. 성능저하 우려

가상머신(Virtual machine) 활용이 대표적.

Docker

• 빠르고 용량이 적은 가상머신?
• Docker hub을 통해 github처럼 이용가능.
  • github과 연계 가능
  • github에 이미지 제작 코드 저장하면 Docker hub에 실제 이미지가 저장

https://doi.org/10.1371/journal.pone.0152686

Docker hub 활용 예

http://edu.delestra.com/docker-slides/img/docker_hub_auto_build.png

• rshiny docker image

• rshiny github

rshiny DockerFile

FROM ubuntu:latest

RUN sed -i 's/archive.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list  && \
    sed -i 's/extras.ubuntu.com/mirror.kakao.com/g' /etc/apt/sources.list

MAINTAINER Jinseob Kim "jinseob2kim@gmail.com"

# Setup apt to be happy with no console input
ENV DEBIAN_FRONTEND noninteractive


# Install dependencies and Download 
RUN apt-get update && apt-get install -y \
    udev \
    locales \
    software-properties-common \
    file \
    curl \
    git \
    sudo \
    wget \
    gdebi-core \
    vim \
    psmisc \
    tzdata \
    libxml2-dev \
    libcairo2-dev \
    libgit2-dev \
    tk-table \
    libcurl4-gnutls-dev \
    libssl-dev \
    libxt-dev \
    supervisor && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# Prevent bugging us later about timezones
RUN ln -fs /usr/share/zoneinfo/Asia/Seoul /etc/localtime && dpkg-reconfigure --frontend noninteractive tzdata

# Use UTF-8
RUN locale-gen en_US.UTF-8
ENV LANG en_US.UTF-8


# Update R -latest version
RUN echo "deb http://cran.rstudio.com/bin/linux/ubuntu bionic-cran35/" | sudo tee -a /etc/apt/sources.list && \
    gpg --keyserver keyserver.ubuntu.com --recv-key E084DAB9 && \
    gpg -a --export E084DAB9 | sudo apt-key add - && \
    apt-get update && \
    apt-get install -y r-base r-base-dev

# Install Rstudio-server
ARG RSTUDIO_VERSION

RUN RSTUDIO_LATEST=$(wget --no-check-certificate -qO- https://s3.amazonaws.com/rstudio-server/current.ver) && \ 
    [ -z "$RSTUDIO_VERSION" ] && RSTUDIO_VERSION=$RSTUDIO_LATEST || true && \
    wget -q http://download2.rstudio.org/rstudio-server-${RSTUDIO_VERSION}-amd64.deb && \
    dpkg -i rstudio-server-${RSTUDIO_VERSION}-amd64.deb && \
    rm rstudio-server-*-amd64.deb 


# Install Shiny server
RUN wget --no-verbose https://s3.amazonaws.com/rstudio-shiny-server-os-build/ubuntu-14.04/x86_64/VERSION -O "version.txt" && \
    VERSION=$(cat version.txt)  && \
    wget --no-verbose "https://s3.amazonaws.com/rstudio-shiny-server-os-build/ubuntu-14.04/x86_64/shiny-server-$VERSION-amd64.deb" -O ss-latest.deb && \
    gdebi -n ss-latest.deb && \
    rm -f version.txt ss-latest.deb && \
    R -e "install.packages(c('shiny', 'rmarkdown', 'DT', 'data.table', 'ggplot2', 'devtools', 'epiDisplay', 'tableone', 'svglite', 'plotROC', 'pROC', 'labelled', 'geepack', 'lme4', 'PredictABEL', 'shinythemes', 'maxstat', 'manhattanly', 'Cairo', 'future', 'promises', 'GGally', 'fst', 'blogdown', 'metafor', 'roxygen2'), repos='https://cran.rstudio.com/')" && \
    R -e "devtools::install_github(c('jinseob2kim/jstable', 'jinseob2kim/jskm', 'emitanaka/shinycustomloader', 'Appsilon/shiny.i18n', 'metrumresearchgroup/sinew'))" 
    


## User setting
COPY ini.sh /etc/ini.sh


## Github
RUN git config --system credential.helper 'cache --timeout=3600' && \ 
    git config --system push.default simple 


## Multiple run
COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf
RUN mkdir -p /var/log/supervisor \
    && chmod 777 -R /var/log/supervisor


EXPOSE 8787 3838 


CMD ["/usr/bin/supervisord", "-c", "/etc/supervisor/conf.d/supervisord.conf"] 

Rocker project

• R Docker image 모음.

https://www.rocker-project.org/images/

• shiny server 의 한글 지원 문제로 자체 이미지 제작 결정.

개발환경 구축 컨셉

• 데이터: 로컬 컴퓨터, 개인 클라우드(ex: 드롭박스, S3)

• 코드: github

• 프로그램: Docker hub

• 서버: 클라우드(AWS, Azure, Digital ocean) or 자체 서버

Docker 이미지 실행

docker run --rm -d \ 
    -p 3838:3838 -p 8787:8787 \
    -e USER=js -e PASSWORD=js -e ROOT=TRUE\
    jinseob2kim/docker-rshiny

• –rm -d : 실행 중지시 지움(–rm), 백그라운드 실행(-d)

• 호스트의 3838포트를 이미지의 3838포트(shiny server)와 연결, 8787포트를 8787포트(rstudio server)에 연결

• 유저 생성 : js/js, 루트 권한

• Docker hub 주소 : jinseob2kim/docker-rshiny

로컬 컴퓨터 - http://localhost:8787, http://localhost:3838 로 접속. 서버 - Your IP:8787, Your IP:3838

서버의 갯수?

서버의 종류와 갯수에 구애받지 않는 마이크로서비스 아키텍처(microservice architecture)…

• 윈도우 서버, 맥에서도 Docker 설치하고 이미지 실행 가능.

• 서버 갯수에 구애받지 않는다? Docker 만으로는 불가능.

https://www.penflip.com/akira.ohio/appcatalyst-hands-on-lab-en/blob/master/images/docker-ppt-swarm-1.png/?raw=true

Docker swarm

• Server orchestration: 지휘자가 오케스트라 연주하듯이

• 여러대의 서버를 묶어 마치 하나의 서버를 이용하는 것처럼 느낌.

• Docker 에 내장되어 별다른 설치 필요없음.

• 비슷한 프로그램으로 구글의 Kubernetes

https://www.upcloud.com/support/docker-swarm-orchestration/

과정

1. 서버들에 Docker 설치

2. 서버들을 묶음: manager 서버와 worker 서버.

3. manager 서버에서 Docker 이미지를 실행하면 자동으로 한가한 서버에 배치.

4. 어떤 서버 주소로 접속해도 실행 가능.
   • manager IP:8787, worker IP:8787 모두 OK

Manager & worker node

https://pbs.twimg.com/media/DP5VZC8UIAAnV6j.jpg:large

어떤 IP로 접속해도 실행 가능

http://callistaenterprise.se/assets/blogg/docker/docker-in-swarm-mode-on-docker-in-docker/docker-swarm.png

예: Docker swarm 으로 서버 2개 묶기

Docker가 설치된 2개 서버: manager, worker node

In manager node

1. Init Docker Swarm mode

manger_ip = $(123.456.789.10)
docker swarm init --advertise-addr $manager_ip

2. Get Swarm tokens

worker_token=$(docker swarm join-token worker -q)

In worker node

3. Join worker nodes

docker swarm join --token $worker_token $manager_ip:2377

https://www.youtube.com/watch?v=2RQbpnRxx-Y

주의 (1) - Port setting for swarm

• TCP port 2377 for cluster management & raft sync communications

• TCP and UDP port 7946 for control plane gossip discovery communication between all nodes

• UDP port 4789 for data plane VXLAN overlay network traffic

• IP Protocol 50 (ESP) if you plan on using overlay network with the encryption option

AWS Security Group Example

주의 (2)

연결 가능한 서버끼리만 묶을 수 있다.

1. AWS끼리(O), Azure끼리(O), Digitalocean끼리(O)

2. AWS와 Azure(X), AWS와 Digitalocean(X)

3. AWS(Azure, Digitalocean)와 자체서버(X)

서비스 실행: rstudio & shiny server

자체 이미지 docker-rshiny

docker service create \
    --publish 8787:8787 \
    --publish 3838:3838 \ 
    -e USER=js -e PASSWORD=js -e ROOT=TRUE \
    --name rshiny \
    jinseob2kim/docker-rshiny

• rstudio server: Both IP:8787, shiny server: Both IP:3838

추가: tensorflow docker 실행

docker service create \
    --name tf \
    --publish 8888:8888\
     tensorflow/tensorflow

• Both IP:8888

사용자가 늘어나면?

docker service scale 명령어 이용, 여러 서버에 이미지 설치.

docker service scale rshiny=2

다시 줄이기

docker service scale rshiny=1

옵션: Docker-machine

• 여러 대의 서버(docker가 설치된)를 로컬 컴퓨터에서 한 번에 관리할 수 있음.

• 클라우드 지원
  • ex) AWS 서버 2대 불러오기, 서버 삭제하기

• 2376 port 오픈 필요.

https://docs.docker.com/machine/overview/#whats-the-difference-between-docker-engine-and-docker-machine

https://docs.docker.com/machine/overview/#whats-the-difference-between-docker-engine-and-docker-machine

Docker-machine 설치

base=https://github.com/docker/machine/releases/download/v0.15.0 &&
curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine &&
sudo install /tmp/docker-machine /usr/local/bin/docker-machine
docker-machine version

예: Digital ocean - manager 이름으로 서버 생성

• TOKEN 정보 필요

export DIGITALOCEAN_ACCESS_TOKEN=<YOUR_DIGITALOCEAN_ACCESS_TOKEN>
export DIGITALOCEAN_IMAGE="ubuntu-18-04-x64"
export DIGITALOCEAN_REGION="sgp1"
echo "### Creating manager nodes ..."

for c in {1..1} ; do
  docker-machine create \
     --driver digitalocean \
     --digitalocean-access-token $DIGITALOCEAN_ACCESS_TOKEN \
     --digitalocean-image $DIGITALOCEAN_IMAGE \
     --digitalocean-region $DIGITALOCEAN_REGION \
     --digitalocean-size "s-2vcpu-4gb" \
     manager$c &&\
  docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done

AWS

• ACCESS_KEY_ID, SECRET_ACCESS_KEY, VPC_ID 필요
• 포트 따로 열어줘야 됨.

export AWS_ACCESS_KEY_ID=<YOUR_AWS_ACEESS_KEY_ID>
export AWS_SECRET_ACCESS_KEY=<YOUR_AWS_SECRET_ACCESS_KEY>
export AWS_INSTANCE_TYPE="t2.micro" 
export AWS_INSTANCE_REGION="ap-northeast-2"
export AWS_SECURITY_GROUP="launch-wizard-2"
export AWS_VPC_ID=<YOUR_AWS_VPC_ID>
export AWS_ZONE=c


for c in {1..1} ; do
docker-machine create \
  --driver amazonec2 \
  --amazonec2-access-key $AWS_ACCESS_KEY_ID \
  --amazonec2-secret-key $AWS_SECRET_ACCESS_KEY \
  --amazonec2-region $AWS_INSTANCE_REGION \
  --amazonec2-vpc-id $AWS_VPC_ID \
  --amazonec2-open-port 3838 \
  --amazonec2-open-port 8787 \
  --amazonec2-open-port 8000 \
  --amazonec2-open-port 8080 \
  --amazonec2-open-port 2377 \
  --amazonec2-open-port 7946 \
  --amazonec2-open-port 7946/udp \
  --amazonec2-open-port 4789 \
  --amazonec2-open-port 4789/udp \
  --amazonec2-open-port 8888 \
  --amazonec2-open-port 80 \
  --amazonec2-open-port 443 \
  manager$c && \
  docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done

AZURE

• Subscription id 필요
• 포트 따로 열어줘야 됨.

export sub=<YOUR_AZURE_SUBSCRIPTION_VALUE>

for c in {1..1} ; do
docker-machine create \
    --driver azure \
    --azure-location "koreacentral" \
    --azure-size Standard_B1s \
    --azure-subscription-id $sub \
    --azure-open-port 3838 \
    --azure-open-port 8787 \
    --azure-open-port 8000 \
    --azure-open-port 8080 \
    --azure-open-port 2377 \
    --azure-open-port 7946 \
    --azure-open-port 7946/udp \
    --azure-open-port 4789 \
    --azure-open-port 4789/udp \
    --azure-open-port 8888 \
    --azure-open-port 80 \
    --azure-open-port 443 \
    manager$c && \
    docker-machine ssh manager$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done

묶을 서버 추가오기 : worker node

export DIGITALOCEAN_SIZE="s-1vcpu-1gb"
echo "### Creating worker nodes ..."
for c in {1..1} ; do
    docker-machine create \
  --driver digitalocean \
  --digitalocean-access-token $DIGITALOCEAN_ACCESS_TOKEN \
  --digitalocean-image $DIGITALOCEAN_IMAGE \
  --digitalocean-region $DIGITALOCEAN_REGION \
  --digitalocean-size $DIGITALOCEAN_SIZE \
  worker$c && \
  docker-machine ssh worker$c "adduser js --gecos 'First Last,RoomNumber,WorkPhone,HomePhone' --disabled-password && sh -c 'echo js:js | sudo chpasswd' && usermod -aG sudo js"
done

서버 묶기 : Docker-machine 활용

manager1 과 worker1 노드를 docker swarm를 활용하여 묶자.

# Get IP from leader node
leader_ip=$(docker-machine ip manager1)

# Init Docker Swarm mode
echo "### Initializing Swarm mode ..."
eval $(docker-machine env manager1)
docker swarm init --advertise-addr $leader_ip

# Swarm tokens
manager_token=$(docker swarm join-token manager -q)
worker_token=$(docker swarm join-token worker -q)

# Joinig manager nodes
echo "### Joining manager modes ..."
for c in {1..1} ; do
    eval $(docker-machine env manager$c)
    docker swarm join --token $manager_token $leader_ip:2377
done

# Join worker nodes
echo "### Joining worker modes ..."
for c in {1..1} ; do
    eval $(docker-machine env worker$c)
    docker swarm join --token $worker_token $leader_ip:2377
done


# Clean Docker client environment
echo "### Cleaning Docker client environment ..."
eval $(docker-machine env -u)

2. Dynamic proxy & https: Traefik

Problem

• DOMAINNAME:3838, :8787 보여주기 싫다.
  • /server, /app 으로는 안되나?
  • server.DOMAINNAME, app.DOMAINNAME 은?

리버스 프록시(reverse proxy) 프로그램이 필요하다.

• nginx 로 /server, /app 가능.

https://diarmuid.ie/media/nginx-docker-reverse-proxy.png

Problem: nginx

1. Docker 와 궁합이 안좋다?

• 서비스 실행해서 포트 추가될 때마다 일일히 주소 적용해줘야..

• Docker swarm 과는 더 안좋다.

2. https 적용 불가능

• 따로 비용을 지불하거나

• 무료 https 적용 프로그램인 Let’s Encrypt 를 수동으로 적용해야됨.

HTTP 구글 크롬서 퇴출 수순…7월부터 “안전하지 않다” 경고

3. Subdomain 불가능

• server.DOMAINNAME, app.DOMAINNAME 불가능.

Traefik

Docker swarm 을 위한 dynamic proxy 프로그램

• rstudio server 서비스 추가하면 rstudio.DOMAINNAME 로 자동으로 subdomain 적용. tensorflow 서비스 추가하면 tensorflow.DOMAINNAME 으로 적용.

• https 자동 적용됨: Let’s Encrypt 연계

https://ian-says.com/articles/traefik-proxy-docker-lets-encrypt/

Overview Traefik

https://hub.docker.com/r/ghiltoniel/traefik-react/

Run Traefik

1. 도메인 추가: *.DOMAINNAME

도메인 설정 CNAME에 *.DOMAINNAME를 추가해야 된다.