모든 파이프라인을 경험해본 고등학생 개발자 최인규입니다.
AI 백엔드 시스템을 구축해 온 고등학생 개발자 최인규입니다. AI 엔지니어링, RAG, 임베딩 및 FastAPI 기반 서비스 개발 경험과 배포 경험이 있습니다.
AI / ML | Python ∙ PyTorch ∙ llama.cpp ∙ FAISS Infra | FastAPI ∙ MongoDB ∙ Docker ∙ AWS EC2 Tools | Git ∙ Notion
Mail. [email protected] GitHub. https://github.com/yeeeengyu Blog. https://yeeeengyu.tistory.com Tel. 010-8269-9915
.png)
2026학년도 1학기 캡스톤 프로젝트 실시간 수어번역 영상회의 서비스
2026.03 ~ 2026.07 [ 4개월 ]
BE - FastAPI AI - Python · PyTorch · Ollama · Whisper · Mediapipe Infra - On-Premise server, Cloudflare tunnel
대한민국에서는 2021년도 이후부터 청각장애인(이하 농인)이 꾸준히 증가하고 있는 추세입니다. 후천적 농인분들은 한국어를 할 줄 아는 상태에서 수어를 배워야 하는 일이 생기고, 이에 따라 언어장벽의 격차가 증가합니다.
선천적으로 청각장애를 가지고 생활하시는 농인 분들의 90%는 제1국어가 한국 수어입니다. 즉, 이분들에게는 한국어가 제2외국어인 셈입니다.
이번 기회에 실시간 수어 번역 기능을 가지고 있는 영상회의 플랫폼을 구축해보자는 아이디어를 필두로 Gesture를 기획하였습니다.
<aside>
<aside>
<aside>
<aside>
비즈니스 로직 처리 · BFF 서버는 AWS EC2, 모델 서빙 서버는 온프레미스로 진행
<aside>
60프레임을 기준으로 데이터셋을 구축하고 모델을 테스트해보니, 생각보다 수어 한 동작을 하는 데 너무 많은 시간이 들었습니다. 영상회의 특성상 실시간성은 중요한 요소라고 판단하였고, 이로 인해 회의가 질질 끌릴 수 있다 우려되어 대책이 필요하였습니다.
</aside>
<aside>
60프레임 데이터셋 중 홀수 프레임들을 삭제하는 방식의 다운샘플링을 진행하였고, 이후 수집되는 데이터에도 30프레임을 기준으로 수집하도록 수정하였습니다.
데이터 앞/뒷부분 30프레임씩 전체를 삭제하는 방법도 있었지만, 수어 특성상 한 구간 전체를 없애면 뜻이 왜곡될 수 있기 때문에 프레임 간 연계가 끊겨도 전체적인 동작은 유지할 수 있는 방식을 채택하였습니다.
</aside>
<aside>
개선된 데이터셋을 이용해 모델을 다시 학습하고 테스트하니 수어 회당 텀이 줄어들었고, 이로서 실시간성을 챙길 수 있었습니다.
</aside>
2025학년도 2학기 캡스톤 프로젝트 온디바이스-AI기반 애완견 케어 서비스
2025. 08 ~ 2025.12 [ 4개월 ]
BE - FastAPI AI - Python · llama.cpp · Qwen2.5-7B-Instruct Infra - EC2 · Docker
Dogtor는 ‘OceanLight’ 사와 협업하였습니다.