무한서고

Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)
Unable to lock directory /var/lib/apt/lists/

Error:

Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)
Unable to lock directory /var/lib/apt/lists/

Reason:

이미 리눅스에서 다른 소프트웨어의 업데이트가 진행중일 때 강제로 다른 소프트웨어의 업데이트를 명령하면 생기는 오류이다.

Solution:

이전의 업데이트를 취소하거나 여의치 않을 경우 컴퓨터를 재부팅 한 뒤 업데이트 코드를 사용한다.

(필자는 sudo ubuntu-drivers autoinstall 코드 사용시 발생한 에러였음. 이때 자동으로 기본 소프트웨어를 업데이트 하던 중이라 재부팅 하고 바로 아무 작업도 하지 않은 채 코드를 적용하였더니 문제 해결!)

[python/pandas] read_csv에서 line contains NULL byte 에러

Error-

  Line contains NULL byte

원인-

  말 그대로 파일에 NULL 바이트가 섞여서 판다스에서 read_csv로 변환할 수 없다는 에러이다.

  보통 utf-16 인코딩 파일을 읽어오려할 때 발생한다.

해결법-

  가장 간단한 방법은 원본파일의 인코딩을 재설정하는 것이다.

  팁으로 가장 간단하게 메모장으로 열어서 인코딩만 바꿔 재 저장해주는 방법이 있다.

  리눅스에서는 

  $ iconv -c -f utf-16 -t utf-8 file.csv > file2.csv

  명령어를 통하여 인코딩을 바꿔줄 수 있다.

  이 경우 추가적으로 file separation을 제대로 못 잡아주는 경우가 생길 수 있다.

  이 경우엔 명시적으로 sep='\t'옵션을 주면 해결되는 경우가 대부분이다.

보통 인코딩을 모르는 미지의 파일을 파이썬의 open()함수를 통하여 열 시에 위와같은 오류가 종종 발생한다.

그 이유는 파이썬은 utf-8이 기본 인코딩인데, utf-8로 해당 문서를 열려고 했더니 문제가 발생했다는 것이다.

이때는 open()함수의 encoding 파라미터를 통하여 인코딩 방식을 다른 방법으로 지정해 주면 파일이 열린다.

보통 윈도우에서 작성하거나 웹에서 긁어온 문서는 'euc-kr' 혹은 'cp949'로 대부분 해결이 된다.

가끔 해외에서 작성된 문서의 경우 'latin_1'인코딩도 종종 보인다.

즉, open("file.name", "r", encoding='euc-kr')의 식이다.

그러나 저 두가지 인코딩을 사용하였는데도 제대로 작동이 안되는 경우에는 인터넷에서 직접 인코딩 방식을 찾아 보아야 한다.

파일 인코딩 알아보기

그런데 이 방식을 활용하여도, 인코딩은 저렇게 해놓고, 실제 내부에서 인코딩된 문서가 쓰인 방식이 다를 수 있다.

(가령 저 인코딩 방식으로 파일이 열리는데도 그 안에서도 파일이 깨져보이는 경우)

그때는... 답 없이 경험에 의지해서 여러 인코딩 방식을 시험해보는 수밖에 없다.

그것이 바로 위에서 말했던 latin_1, euc-kr, cp949등 이다.

더욱 많은 인코딩 방식은 파이썬의 공식 도큐멘테이션에 2/3 지점에 나와있다.

만일 해당 국가가 한국이 아니라 중국, 대만, 일본 등이면 그에 맞는 인코딩 방식을 하나하나 시험해보는 수 밖에 없다.

1) which pip를 커맨드 라인에 치면 pip의 위치가 나옵니다. [/usr/bin/pip]

    보통 이 pip 위치에서 하면 되는데 가끔 전혀 다른 곳에서 pip가 문제가 되는 경우 상단의 에러메시지와 함께 어떤 위치에서 발생하였는지 나오기 때문에 그 위치의 pip 파일을 수정해 주시면 됩니다.

2) sudo nano pip라고 치시면 nano editor가 작동하며 파일이 열립니다. vim으로 작성하셔도 크게 문제 없습니다.

3) 파일을 열면
from pip import main 
if __name__ == '__main__': 
     sys.exit(main())

이렇게 나와 있을 것인데, 이것을

import sys 
from pip import __main__ 
if __name__ == '__main__': 
     sys.exit(__main__._main())

로 바꿔주시고, ctrl+o를 눌러서 저장한다고 하시고 엔터 치신 뒤 ctrl+x로 빠져나오시면 됩니다.

그리고 이후에 pip이용시에는 문제가 되지 않을 것입니다.

Mac OS 업데이트 시마다 거의 연례행사로 업데이트 후에 전에는 잘 되던 것이 왕왕 문제가 터지곤 한다.

오늘 터졌던 문제는 git 입력시에 바로 여러 추가 커맨드 문구가 나와야 하는데, 그러지 않고

xcrun error invalid active developer path

라는 에러가 출력되었던 것이다.

원인을 찾아보니

MacOS Mojave 업데이트 시 발생

MacOS High Sierra 업데이트 시 발생
MacOS Sierra 업데이트 시 발생
OS X El Capitan 업데이트 시 발생

등 참 여러 업데이트 시에도 발생하였다...

해결법은 의외로 간단한데, 터미널에서 xcode-select --install 만 쳐주면 된다.

그러면 대부분의 경우 설치 완료와 함께 문제가 해결되었을 터이나...

항상 예외는 나한테만 터지는지 저거를 커맨드 라인에 실행하고 프로그램이 실행되었는데

'소프트웨어 업데이트 서버에 접속할 수 없습니다.'

혹은

'소프트웨어 업데이트 서버에 접속할 수 없거나 일시적으로 사용할 수 없기 때문에 지금 업데이트 할수 없습니다'

라는 에러가 발생하였다.

(이렇게 불확실한 이유는 해결법을 찾고 너무 좋아서 그냥 작업하다가 원래 검색 페이지를 잃어버렸기 때문...)

혹시나 해서 git을 다시 쳐봐도 에러는 그대로인 상태.

여러 해결방안을 찾아보다가 '프로그램에서 알아서 업데이트 못해주면 내가 설치해버리자'는 생각에 무작정 애플 디벨로퍼에 쳐들어가 command line tools for Xcode를 수동으로 받고 설치하였다.(https://developer.apple.com/download/more/?name=for%20Xcode)

결과는 대성공.

다운 받을 때 주의 사항은 위에 메뉴에서 사과버튼 클릭해서 '이 Mac에 관하여'를 클릭했을 때 나오는 버전보다는 낮은 command line tools를 설치해야 한다는 것이다.