[AWS/Ubuntu/Linux/Anaconda/Selenium] aws에서 작동하는 selenium 패키지를 활용한 python 실행 파일 만들기

aws에서 selenium 패키지를 활용하여 웹 크롤링 혹은 스크래핑을 진행하는 데 있어 정말 여러가지 오류들이 있어서, 이참에 아예 한번 싹 정리해봅니다.

아예 완전히 aws 인스턴스를 처음 만들었다고 가정합니다.

관련 페이지: https://omnil.tistory.com/67, https://omnil.tistory.com/144

1. 아나콘다 다운로드 및 설치

- 관련페이지의 설명과 같이 Anaconda3-2019.10-Linux-x86_64.sh 이 부분만 원하는 버전으로 바꿔주시면 됩니다.

wget https://repo.continuum.io/archive/Anaconda3-2019.10-Linux-x86_64.sh && sh Anaconda3-2019.10-Linux-x86_64.sh

2. 배쉬 리프레시 및 설치파일 제거

source ~/.bashrc && rm Anaconda3-2019.10-Linux-x86_64.sh

3. 새 폴더 생성 및 이동

mkdir sandbox && cd sandbox

4. unzip과 chromium-browser설치

sudo apt update && sudo apt install unzip && sudo apt-get install -y chromium-browser

5. chromium-browser version확인

- 여기서 확인한 버전으로 크롬드라이버를 깔아주어야 합니다.

chromium-browser --version

6. (위에서 확인한 버전에 맞는) 크롬드라이버 다운로드, unzip, chromedriver 실행권한 변경 및 기본 path로 이동

- 위에서 확인한 버전에 맞는 크롬드라이버 다운로드 링크는 >>여기<<서 확인하실 수 있습니다.
wget https://chromedriver.storage.googleapis.com/79.0.3945.36/chromedriver_linux64.zip

unzip chromedriver_linux64.zip && chmod +x chromedriver && sudo mv chromedriver /usr/bin/chromedriver && rm chromedriver_linux64.zip

7. 크롬드라이버 버전 확인

- chromium-browser --version과 동일해야 합니다.

chromedriver --version

8. 파이썬 파일에서 사용할 패키지 설치

pip install selenium telepot

9. 스크린 작동

- 스크린에 관련하여서는 >>페이지<< 하단에 자세하게 나와있습니다.
screen -S noti

10. 파이썬 파일 실행

- 파이썬 파일 이름은 watch_key.py입니다.

python watch_key.py

11. 파이썬 파일 내부에서 selenium을 사용할 경우에는 반드시 아래와 같은 옵션을 주고 드라이버를 실행하여야 합니다.

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome(options=chrome_options)

[Linux/Ubuntu] apt-get 패키지 다운로드 서버(sources.list) 변경

<br>

1) 에러
아카이브를 받을 수 없습니다. 아마도 apt-get update를 실행해야 하거나 --fix-missing 옵션을 줘서 실행해야 할 것입니다.
kr.archive.ubuntu.com 연결 실패
Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?
'kr.archive.ubuntu.com'의 주소를 알아낼 수 없습니다

kr.archive.ubuntu.com에 연결할 수 없습니다

아카이브를 받을 수 없습니다

kr.archive.ubuntu.com에 연결하는 중입니다

kr.archive.ubuntu.com 404 not found


2) 원인

Ubuntu를 한글로 변경하게 되었을 때 패키지 다운로드 서버가 자동으로 http://kr.archive.ubuntu.com/ubuntu/로 설정이 됩니다.(/etc/apt/sources.list 파일 변경) 근데 이 서버가 속도 이슈도 있고, 몇 패키지의 경우에는 설치가 안되는 에러가 있습니다. 그래서 이 기본 패키지 서버를 바꾸어주면 에러가 없어집니다.


3) 해결
패키지 다운로드 서버를 바꿔주면 됩니다.

sudo vi /etc/apt/sources.list
명령어 입력시 sources.list파일이 열립니다.

여기서
:
을 입력해 주시면 명령모드가 실행됩니다.(화면 제일 하단에 깜빡이며 명령 대기)

여기에서 %s/kr.archive.ubuntu.com/ftp.daumkakao.com을 입력해주시고 엔터를 치시면

14 substitutions on 14 lines라는 글이 명령줄에 나타날 것입니다.

그럼 :wq를 입력하고 엔터를 쳐서 커맨드 창으로 나와

sudo apt-get update; sudo apt-get upgrade -y를 실행해줍니다.

에러없이 실행되면 제대로 동작한 것입니다.

이후에 에러가 난 명령을 다시 실행해보면 이번엔 에러없이 잘 설치되는 것을 보실 수 있습니다.

[Linux] 우분투 설치 후 nvidia 그래픽 카드 드라이버 설정

우분투를 설치 시 기본적으로 드라이버는 전부 잡으나, 노트북에 nvidia 그래픽 카드가 따로 달려있을 때는 자동으로 드라이버를 잡지 못합니다.(요새는 기본적으로 cpu칩셋에 내장 그래픽이 들어가서 이걸로 잡는 것 같습니다.)

일단 내 컴퓨터에 nvidia 드라이버가 제대로 깔렸는지 확인하기 위해서 nivida-smi명령어를 실행해봅니다.
명령어가 제대로 실행되지 않으면 드라이버가 설치되지 않은 것 입니다.

그럼 드라이버를 설치해 보겠습니다. 방법은 아주 쉽습니다.

먼저
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo ubuntu-drivers autoinstall
이 두줄의 코드를 실행하여 드라이버를 설치하여 주십시오.

이후
sudo reboot
명령어를 통하여 재부팅 후에

제대로 nvidia가 설치되었는지 확인하는 방법은 아래 두가지 중 하나를 통하여 확인해보시면 됩니다.
sudo nvidia-settings
nvidia-smi

추가적으로 현재 컴퓨터의 그래픽카드 사양은 아래의 명령어로 확인해보실 수 있습니다.
lspci | grep VGA

[Linux] 우분투 18.04 설치하기!

사실 요새 OS설치는 갈수록 쉬워지고 있습니다. 그럼에도 불구하고 어느정도는 가이드가 있어야 설치가 더 쉬워지기 때문에 이 글을 작성합니다.

1) 먼저 Ubuntu OS 설치 USB를 만들어주어야 합니다.

이는 https://omnil.tistory.com/151를 참조하시면 됩니다.

2) 이후에는 usb를 컴퓨터에 연결하고 bios세팅에서 usb를 부팅디스크로 잡아주면 됩니다.

보통 부팅 후 F2키를 연타하면 bios로 넘어가고 여기서 바이오스마다 다르지만 boot settings와 같은 메뉴에서 부팅 순서를 변경하던가, 직접 부팅할 디스크를 설정할 수 있습니다.

* 윈도우즈와 다르게 설치하면서 자동으로 꺼졌다 켜졌다하지 않고, 우분투는 한번에 쭉 설치하니 한번만 부팅 디스크로 설정해줘도 괜찮습니다.

3) install ubuntu 선택

처음 화면은 까만색 도스창에서 펼쳐지는 grup창입니다. 기본적으로 우분투 트라이얼 버전이 선택되어있고, 약 10초간의 자동선택 시간이 있습니다. 저희는 직접 우분투를 설치할 것이므로 그 아래 install ubuntu를 선택하여줍니다.(한번 선택을 변경하면 자동 선택시간은 사라집니다.)

4) 언어선택

그러면 보라색 화면이 나오면서 ubuntu로고가 뜰 것입니다.

이후 인스톨 화면의 처음은 언어선택입니다.

한국어로 하셔도 괜찮지만, 가장 기본적인 영어로 선택하시는 것을 추천드립니다. 그래서 이후의 과정은 '영어'를 기준으로 설명드립니다.

(물론 한국어로 설치하신 뒤 영문으로 시스템을 돌리는 방법도 있고, 영문으로 설치 뒤 한글로 변경하는 방법 두가지 다 존재합니다.)

한국어로 설치시에는 설치 과정이 한글로 안내되어 설치의 체감 난이도가 확 낮아지는 것이 장점입니다.

5) 키보드 선택은 English(US)

딱히 맥에서 듀얼부팅을 하신다거나 하신 것이 아니시면 그냥 English(US)설정해주시면 됩니다. (맥의 경우 English - Machintosh 선택해주시면 됩니다.)

* 참고로 맥북에서 리눅스는 2015버전 맥북까지는 자동으로 드라이버를 잡지만, 그 이후 맥북(뉴 맥북)은 따로 드라이버를 설치하셔야 합니다. 즉, 설치시 따로 usb 직렬 마우스와 키보드가 없으면 설치가 불가능합니다.

6) 인터넷 연결

리눅스는 인터넷 연결 후 설치하시는 편이 좋습니다. 자잘한 버그픽스나 업데이트등을 설치하면서 자동으로 진행해주기때문입니다.

인터넷 글 중에 무선랜 오류가 있어서 유선랜으로 진행하여야만 한다는 글이 있는데, 제가 설치해본 결과로는 꼭 유선랜을 고집할 필요가 없습니다. 유선 랜이 연결되지 않았으면 자동으로 무선랜을 잡고 와이파이 연결시도합니다.

그러나 안전하게 설치하시려면 유선랜으로 진행하시고, 만약 이 과정에서 무선랜을 못잡거나 무선랜에서 와이파이에 접속이 되지 않는경우 유선랜으로 진행하시는 편을 추천드립니다.

7) 설치 형식

7-1) 다른 OS 없이 처음 우분투를 설치하는 경우

Erase disk and install ubuntu를 선택하시고, 아래 체크박스는 하나도 선택하지 않으시고 진행해주시면 됩니다.

7-2) 다른 OS 위에 듀얼로 우분투를 설치하는 경우

제일 아래 '기타'를 선택하신 뒤 다음으로 넘어가 파티션 설정을 해주시면 됩니다.

물론 이 과정 전에 우분투를 설치할 파티션을 따로 설정해주셔야 합니다. 윈도우즈의 디스크매니저나 맥의 디스크 유틸리티에서 진행해주시면 됩니다.

관련 포스팅: https://omnil.tistory.com/153

8) 기타 설정

위의 과정이 가장 복잡한 과정이며, 이후에는 현재 시간을 표시할 시간대를 설정하고, 유저 아이디와 패스워드를 설정하는 것만 남아있습니다.

이 과정 뒤에 본격적인 설치가 진행되고, 설치가 완료되면 재부팅 해야한다는 메시지가 뜹니다.

컴퓨터가 재부팅 과정에서 완전히 꺼지면 설치 usb를 제거해주시고(그 전에 제거하면 remove media, then restart와 같은 메시지가 표시되며 꺼지지 않습니다. 이때는 강제 종료 후 부팅해주셔도 크게 문제가 없습니다.) 다시 부팅되면 우분투가 깔린 것을 알 수 있습니다.

9) 한국어로 설치시

한국어로 설치시에는 설치과정의 가독성의 증가 및 한글 패키지 자동 설치 등의 이점이 있습니다만, 파일 이름이 전부 한글로 설정되어버립니다.

이 한글 파일명은 초기에 한글 키보드 사용이 설정되어 있지 않은 상태에서 파일 시스템을 찾아가기에 힘들 뿐더러, 가끔 어떤 앱의 설치시에 에러가 나기도 합니다.

그래서 기본 폴더명을 영어로 바꿔주게 되는데, 이때 간단하게 할 수 있는 방법이 있습니다.

<code>export LANG="C"</code>

<code>xdg-user-dirs-gtk-update</code>

이 두줄의 명령어를 실행하시고 재부팅하시면

위와 같은 창이 뜹니다.

여기서 Don't ask me this again에 체크하시고 Update Names 버튼을 눌러주시면 폴더명 변경이 완료됩니다.

다음과정에서는 만약 nvidia그래픽 카드가 깔린 컴퓨터의 경우 드라이버의 설치법과 한글 혼용 언어설정에 대하여 알아보도록 하겠습니다.

[Linux/Ubuntu/Windows] 우분투 듀얼부팅 설치방법! (윈도우즈 10기준)

윈도우즈를 이미 깐 PC에서 우분투를 듀얼부팅으로 사용하기 위해 설치하는 방법입니다.

사실 이 부분은 우분투 설치 방법 중 1) 듀얼 부팅을 위한 파티션 설정과 2) 리눅스 설치 중 해당 파티션 선택 및 설치의 두 부분만 다르기 때문에 두 부분만을 집중해서 설명드리겠습니다.

1) 듀얼 부팅을 위한 파티션 설정

윈10기준이므로 윈도우즈의 디스크매니저에서 설정하는 방법을 설명드립니다.

윈도우즈의 실행(windows키+r)에서 diskmgmt.msc를 입력합니다.

실행하면

이와 같은 창이 뜨는데요, 여기서 윈도우즈와 듀얼부팅을 위해서 윈도우즈가 깔린 디스크에서 볼륨축소를 선택해줍니다.

그리고 원하는 만큼을 축소하게 되면, 검은색 띠가 생긴 블럭이 따로 생길 것입니다. 저희는 여기에 우분투를 설치할 것입니다.

2) 리눅스 설치 과정 중 듀얼 OS 설치

리눅스 설치 과정 중 '설치 형식' 과정에 도달하면(디스크를 다 지우고 우분투를 깔건지 등등) 제일 아래 '기타'를 선택해줍니다.

그리고 다음과정으로 넘어가게 되면, '파티션 할당'이라는 메뉴가 나오게 됩니다.

여기서 '남은 공간'을 클릭하신 뒤 창 좌하단에 있는 "+"버튼을 눌러주세요.

'파티션 만들기' 창이 뜨면 크기는 건드리지 마시고(자동으로 최대크기로 세팅되어 있습니다.)

새 파티션의 종류: 논리 파티션 선택

새 파티션의 위치: 이 공간이 시작하는 지점 선택 (기본적으로 세팅되어있으나 확인필요)

용도: EXT4 저널링 파일 시스템 선택 (기본적으로 세팅되어있으나 확인필요)

마운트위치: / [처음엔 빈 공란으로 되어있습니다. 클릭 후 "/"를 써 주세요.]

그리고 나서 OK 버튼을 눌러주시면 자동으로 세팅이 되며, 이후에 지금설치 버튼을 눌러주시면 설치가 진행됩니다.

지금 설치 버튼 클릭 후 경고창이 뜨는 경우에는 그냥 넥스트 눌러주시면 됩니다.

[Linux/Ubuntu] Ubuntu OS 설치 USB 만들기!

우분투를 PC에 설치하기로 마음먹으셨다면 우선 Ubuntu OS 설치 USB를 만들어 주셔야합니다.

이는 거의 모든 OS설치시에 필요한 것입니다.(가끔 Mac에서 부트캠프로 윈도우를 설치하는 경우 따로 USB를 만들지 않고도 바로 설치가 가능한 경우같은 예외가 있기는 합니다.)

여기서 '설치 USB'라는 것은 '부팅가능한(Bootable)' USB를 만든다는 뜻으로, 단순히 파일을 옮기거나 복사붙여넣기 하는 것이 아닙니다.

블로그의 정체성에 따라 순서대로 나열해 보도록 하겠습니다.

1) ISO파일을 다운로드 받는다!

저희는 우분투 18.04를 설치할 것이므로, http://releases.ubuntu.com/18.04/ 여기에 접속하셔서 데스크탑 이미지를 받으시면 됩니다.

2) 설치가능한 USB를 만들어주기!

2-1) USB 선택!

설치가능한 USB를 만들어주게되면, 해당 USB내에 저장된 모든 것이 싹 포맷되며, OS의 ISO만 설치가능한 형태로 써지게 된다. 그러기에 해당 ISO파일 크기보다 크지만, 내용은 없는(혹은 백업한 뒤의) USB를 고르는 것이 중요하다.

2-2) Rufus설치!

설치가능한 USB(Bootable USB)를 만들 수 있는 프로그램은 많지만, 공식적으로 ubuntu에서 제시하는 프로그램은 rufus이다.

https://rufus.ie/에 접속하면 한글로 친절하게 모든 설명이 나와있다.

여기서는 rufus 설치파일을 다운로드 받아서 설치해도 상관없고, Portable(한글 번역 '이동식') 버전을 받아도 상관없다.

둘의 차이라면 설치파일은 컴퓨터에 설치 후에 실행하는 것이고 Portable은 그냥 바로 실행이 된다는 점?

기본 설정법도 홈페이지에 나온 그대로 놓고 작업하면된다.

처음에 장치를 선택해주고 부트 선택에서 우리가 다운로드 받은 ubuntu-18.04 iso파일만 잘 선택해주고 아래 시작만 눌러주면 끝.

이렇게 해서 상태에 완료가 뜨면 부팅 USB 만들기는 성공했다. 이제 직접 OS를 깔 차례!

윈도우즈 10 64bit에서부터 ubuntu가 공식적으로 윈도우즈의 subsystem으로 들어왔습니다.

그리고 이를 따라서 하신다면 VMware에서 말고도 윈도우즈 자체에서 linux bash등 linux system을 사용할 수 있기 때문에 좀 더 빠른 환경을 가지실 수 있습니다.

1) 시작메뉴에서 '제어판'을 실행합니다.

2) 프로그램 및 기능을 선택합니다.

3) 왼쪽의 Windows 기능 켜기/끄기를 선택합니다.

4) 목록에서 Windows subsystem for Linux를 체크하고 확인을 누릅니다.

5) 컴퓨터를 재시작 하라는 안내가 나오면 재시작 합니다.

6) Microsoft store에서 linux를 검색하고, 아래에 'Windows에서 Linux의 모든 것을 누리세요' 하단의 '앱 다운로드'를 클릭합니다.

7) 사용 가능한 linux 배포판이 리스팅 되어 있습니다. 저희는 Ubuntu를 설치할 것이므로, Ubuntu를 클릭하시고 '무료' 혹은 '다운로드'를 클릭하셔서 다운 받으신 뒤 '설치'를 눌러주시면 설치가 진행됩니다.

8) 설치가 다 되면 시작메뉴에서 ubuntu를 검색한 뒤에 그냥 클릭해주시면 자동으로 ubuntu system이 가동됩니다.

9) 첫 실행시에는 Unix username과 password를 입력하는 것이 뜰 것입니다. 작성하고 싶으신 username과 password를 입력해주시면 됩니다.

10) 윈도우즈 내에 linux ubuntu subsystem 설치를 완료하였습니다.

이후에는 linux에서 사용하듯이 명령어를 입력하여 linux환경 혹은 bash 환경을 설정할 수 있습니다.

오늘까지의 포스팅이면 AWS에서 서버를 만든 뒤 자유자재로 활용가능합니다.

서버에 할당된 용량안에서 파일도 왔다갔다 할 수 있고(3), OS 내부에서 일을 처리할 수 있으며(2), 컴퓨터 자체를 켜고 끄고 인터넷 설정을 할 수 있게 되는 것(1)이죠!

이미 1번과 2번 포스트를 보고 잘 따라오셨다면 이번 포스트는 정말 쉽습니다.

그럼 시작해보겠습니다.

1) 먼저 FileZilla를 다운받아줍니다.

      공식 홈페이지는 https://filezilla-project.org/이며, 현재 저희는 Client인 컴퓨터에서 AWS서버로 접속을 할 예정이니 Client(홈페이지 좌측에 있는 버튼)를 클릭하여 다운로드 받아줍니다. 클릭하면 자신의 OS를 선택하는 창이 나오는데, OS에 맞게 다운로드 받으시면 됩니다.

      마지막에 팝업으로 FileZilla Pro버전을 프로모션하는데, 그냥 저희는 FileZilla만으로 족하니 오른쪽 컬럼의 FileZilla에서 Download를 눌러줍니다.

      그럼 마침내 다운로드가 시작됩니다.

2) 다운로드 받은 파일을 설치합니다.

      처음에 I Agree 해주시면 잠깐만 기다리라는 말이 나온 뒤 먼저 FileZilla가 깔려있었을 경우에는 이전세팅 유지하고 Upgrade할 건지 아니면 세팅 변경할건지 같은 창이 나오는데, 각자 자신에게 알맞은 것을 선택하며 설치를 진행해 줍니다.

      중간중간에 Avast 백신 등 FileZilla외에 프로그램을 설치하는데 동의하냐는 구간이 있으니 막 Next 클릭하지 마시고 저런 프로그램 설치에 동의하냐는 체크박스를 풀어주셔야 합니다.

      그리고 Next 누르면 자동으로 설치가 완료됩니다.

3) 파일질라를 실행하시면 먼저 왼쪽 위에 컴퓨터 본체 세대가 붙어있는 듯한 아이콘을 클릭하셔서 '사이트 관리자'창을 띄우셔야 합니다.

4) 이 창에서 먼저 좌측 하단에 '새 사이트'를 클릭하시고 새 사이트의 이름을 정하신 뒤, 오른쪽의 '일반' 탭에서 [프로토콜]을 'SFTP'로 설정해 줍니다. 저희는 SSH로 접속하기 때문에 FTP도 SSH로 접근합니다.

5) 그리고 그 아래 [호스트]는 저희가 이전에 elastic ip(탄력적 ip)를 만들어서 저희 서버에 붙여주었던 그 ip를 써주시면 됩니다. 저희가 커맨드라인 상에서 혹은 PuTTY로 접속할 때 썼던 그 ip입니다. [포트]는 비워두신채로 두셔도 SFTP가 사용하는 포트가 22번(FTP-21번)이므로 프로그램에서 자동으로 설정합니다.

6) 그리고 그 아래 [로그온 유형]은 '키 파일'로 설정해 주시고 그 아래 [사용자]는 ubuntu로 지정해줍니다. 저희가 만들었던 OS에서 사용하는 사용자 명입니다. 저희는 ubuntu OS로 만들었기 때문에 ubuntu이고, 다른 OS인 경우 이전 포스팅(https://omnil.tistory.com/68?category=782762)에서 사용자 이름을 정리한 테이블을 보아 주시기 바랍니다.

7) 그 아래에 있는 [키 파일]에서 '찾아보기'를 선택하신 뒤 ppk파일이나 pem파일을 선택하여 주시면 됩니다.

8) 이 외의 탭은 고급설정이므로 저희는 이정도면 OK입니다. 이렇게 설정을 마친 뒤 '연결'을 눌러주시면 서버로 SFTP연결이 되며, 현재 서버에 있는 파일들을 볼 수 있습니다. 그리고 다음부터는 아까전에 설정한 이름을 가지고 쉽게 연결을 진행하실 수 있습니다.

이것으로 AWS를 활용할 수 있는 방법에 대하여 전부 알아보았습니다. 다음편에는 Anaconda와 jupyter를 활용하여 웹상에서 jupyter를 사용할 수 있게 만들어 보도록 하겠습니다.