기본 콘텐츠로 건너뛰기

[Git] LFS로 대용량 파일 업로드 하기


객체 탐지 AI를 학습하면서 고해상도의 용량이 큰 사진 파일을 깃허브에 업로드(push)하는 과정에서 아래와 같은 오류가 발생했다.

error: GH001: Large files detected. You may want to try Git Large File Storage
- https://git-lfs.github.com

About large files on GitHub에서 말하는 바와 같이 100Mb 이상의 파일은 올릴 수 없기 때문에 위와 같은 오류 문가가 발생한 것이다. 따라서 GitHub의 Large File Storage(LFS)를 사용해서 업로드를 진행해야 한다. 사용 방법은 무척이나 쉽다. 아래 그림은 이해를 쉽게 돕기 위해 Large File Storage(LFS)의 절차를 그림으로 표현한 것이다.


대용량 파일 업로드 방법

  1. Git 공식 사이트에서 Git 클라이언트 설치 파일을 다운로드하여 개인 PC에 설치하기.
  2. Git LFS 공식 사이트에서 Git LFS 클라이언트 설치 파일을 다운로드하여 개인 PC에 설치하기.
  3. 작업 중인 리포지토리 경로에서 Git LFS를 초기화하기. 본인은 Jupyter Notebook의 Terminal에서 다음 명령어를 실행했다.
    1
    2
    3
    git lfs install
     
    >> Git LFS initialized.
    		cs

  4. 업로드할 대용량 파일에 Tracking을 설정한 후 ".gitattributes" 파일을 커밋 목록에 추가하기.
    1
    2
    3
    4
    git lfs track "*.png"
    >> Tracking "*.png"
     
    git add .gitattributes
    		cs

    와일드카드(*)를 지정해 복수의 파일을 지정할 수 있으며, ".gitattributes" 파일에는 대용량 파일에 대한 트래킹 내역이 기록되어 있음.
  5. 업로드할 대용량 파일을 커밋한 후 리모트 리포지토리 업로드(push)하기.
    1
    2
    3
    4
    5
    git add 17_4F_sprinkler_normal.png
     
    git commit -m "push sprinkler picture file"
     
    git push origin master
    		cs
아래와 같은 동작을 하면서 업로드가 완료된다.
Uploading LFS objects: 100% (1/1), 179 MB | 352 KB/s, done.
Enumerating objects: 6, done.
Counting objects: 100% (6/6), done.
Delta compression using up to 8 threads
Compressing objects: 100% (4/4), done.
Writing objects: 100% (5/5), 583 bytes | 583.00 KiB/s, done.
Total 5 (delta 0), reused 0 (delta 0), pack-reused 0
To https://github.com/leolee/yolo_sprinkler_detection.git
   51c0d3b..678efa6  main -> main

Large File Storage(LFS)로 관리되는 파일을 보고 싶으면 아래 코드를 직접 명령해보자.
1
2
git lfs ls-files --all
>> 702680da620 * 17_4F_sprinkler_normal.png
cs

Git LFS로 관리중인 파일은 LFS Pointer만 가지고 있어서 프로젝트 전체를 Clone해야 한다. 따라서 해당 파일을 다운로드(pull) 해보자.
1
2
git clone 'your project url from github'
git lfs pull
cs

혹시나 대용량 파일을 업로드하는 중 시간 초과 등 오류가 발생할 경우, 아래 명령어와 같이 대기 시간을 연장할 수 있다.
1
git config lfs.activitytimeout 180
cs

LFS의 최대 단점은 LFS 파일 삭제를 지원해주지 않는다. git rm으로 삭제하면 Git 저장소에서는 지워지지만 LFS에서는 지워지지 않기 때문에 사용자가 직접 메뉴얼하게 관리해야 한다.


LFS 파일 관리 해제 방법

    ".gitattributes"의 맨 마지막 라인을 보면 어떤 규칙으로 파일들이 LFS로 관리되고 있는지 볼 수 있다. 그리고 새로 트래킹할때와 마찬가지로 Git LFS 언트래킹(untrack)을 할 때마다 ".gitattributes"의 내용이 변경된다. 그런데 언트래킹을 하더라도 ".gitattributes"의 내용만 변경되고, 실제로 해당 파일의 내용은 아직도 lfs pointer인 상태로 유지되고 있다. 따라서 이때도 마찬가지로 rm --cache를 이용해서 unstaging한 후 다시 add해주어야, git lfs 가 관리하던 파일에서 git이 관리하는 파일로 변경된다.
    1
    2
    3
    4
    5
    git lfs untrack 17_4F_sprinkler_normal.png
     
    git rm --cached 17_4F_sprinkler_normal.png
     
    git add 17_4F_sprinkler_normal.png
    		cs

    좀더 자세한 내용은 Git 대형 파일 스토리지에서 파일 제거 참고하자.

    하지만 기존에 대용량 파일을 포함하고 있는 커밋을 한 경우, 계속해서 같은 오류가 발생한다. 이 때에는 bfg를 통해 대용량 기존 커밋 내역에서 대용량 파일의 기록을 제거해 주어야 한다.

    bfg로 파일 업로드 방법

      먼저 bfg 공식 사이트에서 다운로드 받자. 그리고 Jupyter Notebook Terminal에서 아래 명령어를 실행해보자. 단 자신이 다운받은 bfg의 버전을 적어서 실행하자.
      1
      java -jar bfg-1.14.0.jar --strip-blobs-bigger-than 100M
      		cs

      뒤에 100M은 사용자 선택 사항이다. 50M도 실험해보니 정상 작동 했다. 그리고 간혹 100M 이상의 파일이 없다고 나오는 오류가 아래와 같이 나오기도 한다. 이럴 때는 다시 위 명령어를 실행하고 아래 명령어를 실행하면 해결 된다.
      Scanning packfile for large blobs completed in 12 ms.
Warning : no large blobs matching criteria found in packfiles
- does the repo need to be packed?
Please specify tasks for The BFG.
bfg 1.14.0

      1
      git repack && git gc
      		cs

      다시 실행해서 성공하면 아래와 같이 동작 문구가 생성된다.
      BFG run is complate!
When ready, run: git reflog expire --expire=now --all && git rc --prune=now --aggressive

      마지막으로 다시 업로드(push)하면 끝.

      Labels:

      댓글

      댓글 쓰기

      이 블로그의 인기 게시물

      [AI] RAG란 무엇인가?

      자고 일어나면 인공지능 관련 기사와 내용이 참 많습니다. 소위 AI시대 대격변 속에서 무엇을 해야할지 고민이 많습니다. AI의 기본적인 이론도 중요하지만, 최근 트렌드를 잘 알고 잘 써먹을 수 있는 것도 개인의 역량이 아닐까 싶습니다. 즉 AI를 하나의 도구로 생각하고 도구를 잘 써먹으면 좋지 않을까요? 오늘은 RAG(검색-증강-생성)이란 무엇인지 간략하게 끄적여보겠습니다. 3줄 요약 ⓐ 검색(Retrieval)은 요청된 외부 지식 을 가져온다. ⓑ 증강(Augmented)은 질문 것에 요청된 것을 더한다 . ⓒ 생성(Generation)은 사용자의 질문에 더한 것을 받아 텍스트로 생성 한다.   ⅰ RAG(검색-증강-생성)이란 무엇인가? 최근 인공지능 기술의 발전은 다양한 분야에서 혁신을 일으키고 있으며, 그 중에서도 텍스트 기반의 생성형 AI는 특히 주목받고 있습니다. 하지만 이러한 인공지능 기술이 가진 정확성과 신뢰성의 문제는 사용자와 개발자 모두에게 중요한 과제로 남아 있습니다. 이 문제를 해결하기 위해 등장한 기술 중 하나가 바로 RAG(Retrieval-Augmented Generation)입니다. 자세한 기술적 내용은 RAG 용어가 등장한 2020년 아래의 논문을 참고하기 바랍니다. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020) (본지는 간단한 내용 만을 기술할 목적이기 때문에 IT 기업의 설명 자료를 참고하여 본인이 이해한 내용을 작성 하였습니다. 혹시나 잘못된 정보가 있다면 알려주세요.) RAG(Retrieval-Augmented Generation)는 단어 풀이 그대로 '검색 증강 생성'이란 뜻 입니다. 먼저 Retrieval 이란 의미는 검색이란 뜻보다는 외부 지식 데이터베이스에서 가져오는 것, 어딘가에서 요청된 무엇인가를 가져오는 것 을 이야기합니다. 그리고 Augmented 는 증강이란 뜻으로 원래 것에 뭔가를 더하거나 보태어 더 실해졌다 는 ...
      댓글 1개
      Read more »

      [Machine Learning] 경사 하강법 (Gradient Descent)

      모델의 오류는 왜 중요할까? 들어가기 전에 한 줄 요약해보겠습니다. 의심하며 본문의 내용을 읽어주세요. 혹시나 다른 내용이 있다면 덧글 부탁드립니다. 모델의 계수를 구하기 위해 가중치를 바꿔가며 전역(global) 기울기가 0인 곳을 잘 찾아보자 . 들어가기 머신러닝 혹은 딥러닝의 가장 적합한 모델 이라 함은 대부분 모델의 오류(error)를 최소화 하는 것을 의미한다. 즉, 어떤 모델(단변량 함수)의 계수의 최적값을 찾는 것으로 생각 할 수 있다. 최적화 문제를 풀기위해 경사 하강법 이라 부르는 방법을 사용할텐데, 이는 곧 함수의  기울기 를 계산하고 경사의 이동방향의 반대 방향으로 이동하여 극값 (=0) 을 찾는 문제 와 같다. 접선의 오류를 찾는 손실함수는 다음 포스트에서 다루도록 하겠다. (즉 머신러닝/딥러닝 최적 모델은 함수의  기울기와 접선의 오차를 줄이는  것이다) 본 포스트에서는 경사 하강법의 기본 개념에 한하여 설명하도록 하겠다. 우리가 생각하는 1차원 혹은 2차원에서의 기울기 최소값이 아닌 아래 그림과 같이 3차원 이상의 다차원에서는 함수에 하나의 전역 최소값(global minimum) 이 존재하는 경우 꽤 쓸만하지만, 함수에 지역 최소값(local minimum) 여러 개 있는 경우에는 시작점을 어디에 잡냐에 따라 잘못된 곳으로 빠질 수 있다. (*딥러닝의 경우 때에 따라 다차원 함수의 최소값을 찾아야 한다. 이는 인간의 머리로는 한계가 있다.) Python 코드를 활용해 간단한 그라디언트 함수를 만들어 보자. f가 단변수 함수인 경우, 점 x 에서의 미분값은 x가 아주 조금 변했을 때 f(x)의 변화량 을 의미한다. x의 변화량을 식에서는 h로 표기한다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 from  typing  import  Callable def  difference_quoitemt(f: Callab...
      댓글 쓰기
      Read more »

      [Machine Learning] 데이터 증강 (Data Augmentation) 이란?

      데이터 증강 (Data Augmentation)이란? 본격적으로 들어가기전 내용을 간략하게 요약하자면 다음과 같다. 요약을 바탕으로 본문에서는 좀더 깊이있게 설명하도록 하겠다. 이미지 데이터의 증강은 회전, 크기 조절, 색생 변화 등 다양한 변환을 통해 학습데이터의 다양성을 인위적으로 늘려 모델의 성능을 형상 시키는 방법 시계열 데이터의 증강은 시간 축 변환, 크기 조절, 시간 이동 등 다양한 기법을 통해 원본 데이터를 변형하여 학습 데이터의 다양성을 높이고 모델의 일반화를 향상 시키는 기법 CNN, R-CNN, YOLO 등 모델의 성능을 높이고 오버피팅을 극복할 수 있는 가장 좋은 방법은 다양한 유형의 학습 이미지 불균형 극복을 위한 데이터 양을 늘리는 것입니다. 하지만 사진, 동영상과 같은 이미지 데이터의 경우 학습 데이터 량을 늘리는 것은 쉽지가 않다. 이미지 데이터의 양을 늘리긴 위해서는 결국 클라스(라벨링)의 수도 증가하며, 이는 곧 엄청난 노가다가 필요하기 때문이다. 데이터 증강은 학습 이미지의 개수를 늘리는 것이 아니고 학습 시(epoch) 마다 개별 원본 이미지를 변형해서 학습하는 것 이다. 아래 첨부의 그림과 같이 학습 이미지를 변형할 수 있다. (출처:  https://blog.insightdatascience.com/automl-for-data-augmentation-e87cf692c366) 데이터 증강을 우리 일상생활로 쉽게 설면하자면 우리가 핸드폰 카메라를 통해 사진을 촬영하고 사진의 밝기, 크기, 좌우반전 등을 행하는 것을 이미지 데이터의 증강으로 이해하면 쉽다. tensorflow 에서 간단한 예제를 활용하여 이미지 데이터의 증강을 설명하고 있다. 본 블로그에서는 몇 가지 대표적인 데이터 증강 종류를 간단히 설명하고 마무리 하겠다. 기회가 된다면 텍스트 및 시계열 데이터의 증강 방법도 간략히 소개 후 마무리 하겠다. 이미지 데이터의 증강 (출처:  https://www.invivoo.com/ ) 이미지에 아래와 같이...
      댓글 쓰기
      Read more »