Gemini 파일 업로드 중 Failed to count tokens 에러 해결법

최근 여러 AI 가 난립하는 가운데, 필자는 Google 의 Gemini 를 가장 주로 사용하고 있다. 하지만
Gemini 를 사용하던 중 텍스트 파일을 업로드했는데 Failed to count tokens. Please try again.
이란 메시지가 팝업되며 토큰 추출에 실패하는 일이 발생했다.

Failed to count tokens. Please try again.
에러 발생정확히 어떠한 이유로 토큰 카운팅에 실패했는지 알려주지 않아 어려움을 겪던 와중 구글링을 통해 업로드한 파일의 인코딩 방식이 문제였음을 알게 되어 이에 대한 내용을 글로 작성했다.
1. 문제 상황 및 해결책
이 문제에 대한 원인과 해결책은 여러 가지가 있을 수 있지만 필자의 경우 텍스트 파일의 인코딩 방식을 UTF-8 로 변경함으로써 해결할 수 있었다.
Data Studio 의 글에서 각 콘텐츠를 업로드할 때 어떤 식으로 토큰을 처리하는지 정리한 내용이 있다. 이 문제에 대한 핵심 내용은 텍스트 파일을 UTF-8 로 인식하여 처리한다는 점이다. 영문자로만 이루어진 ASCII 방식까지는 상관 없을 수 있겠지만, EUC-KR 과 같이 한글 인코딩 방식을 사용하는 텍스트 파일이라면 Gemini 에서 해석하지 못해 토큰 수를 계산하지 못하는 에러가 발생한다.

문제의 원인을 알았으니 해결 방법은 간단하다. 업로드하려는 텍스트 파일의 인코딩 방식을 UTF-8로 변경하면 된다. 사용자에 따라 이용하는 텍스트 편집기 프로그램이 다르겠지만, Notepad++ 이 대중적으로 사용되고 있으므로 이를 기준으로 인코딩 방식을 변경하는 방법에 대해 설명하겠다.
Notepad++로 문제의 텍스트 파일을 열어보니, 하단에 인코딩 방식이 EUC-KR 이라 출력되고 있었다.

상단 메뉴의 인코딩
- UTF-8로 변환
버튼을 클릭하면 해당 파일의 텍스트 내용을 UTF-8 방식으로 변경할 수 있다. 변경되면 하단의 인코딩 방식이 UTF-8 로 변경된 것을 확인할 수 있다. 중요한 점은 이 상태로는 인코딩 방식이 변경만 되었을 뿐, 아직 파일에 변경된 내용이 저장되지 않았다는 것이다. Ctrl + S
버튼을 누르거나 파일
- 저장
을 클릭해 변경된 사항을 저장해야 한다.

Notepad++ 이외에도 Windows 11에서 지원하는 기본 notepad 를 이용하여 인코딩을 변경할 수 있다. 기본 notepad 에서는 EUC-KR 인코딩 방식을 인식하지 못했는지 ANSI 라 출력되고 있다.

파일
- 다른 이름으로 저장
버튼을 클릭해 해당 파일을 저장할 이름과 경로를 설정할 수 있는 대화창이 팝업된다. 이때 하단에 인코딩을 UTF-8
로 설정하면 해당 파일 내용이 UTF-8 로 저장된다.

UTF-8로 변경된 텍스트 파일을 Gemini 에 업로드하면 에러 메시지가 출력되는 일 없이 토큰을 추출하고 업로드되는 모습을 확인할 수 있다.
