전북대학교 조재혁 교수와 현준서 석사과정생(공대 소프트웨어공학과)이 최근 열린 ‘2025년 (사)ICT플랫폼학회 하계학술대회 및 생성형 AI 기술세미나’에서 우수논문상을 수상했다.
생성형 인공지능이 사회 전반에 미치는 영향과 그 활용 방안을 논의한 이번 학술대회에서 현 석사과정생은 「Quantized Low-Rank Adaptation의 하이퍼 파라미터가 의료 언어모델 fine-tuning에 미치는 영향」을 주제로 한 논문을 발표했다.
이 논문은 제한된 자원 환경에서 대형 언어모델을 효율적으로 훈련시키기 위한 기법 중 하나인 ‘Quantized Low-Rank Adaptation(QLoRA)’의 핵심 하이퍼 파라미터가 의료 데이터 학습에 어떤 영향을 미치는지를 분석한 것이다.
연구팀은 구조는 동일하지만 다른 데이터로 사전 학습된 모델인 ‘Gemma3’와 ‘MedGemma’이라는 두 모델을 의료 언어모델 파인튜닝 과정에서 QLoRA의 하이퍼 파라미터인 r(저차원 행렬 차원)과 α(출력 스케일링 계수)의 변화가 학습 성능에 미치는 영향을 실험적으로 분석했다.
그 결과, 의료 데이터로 사전 학습된 MedGemma가 일반 모델보다 더 안정적이고 빠르게 학습된다는 점을 밝혀냈다.
저작권자 © 전북일보 인터넷신문 무단전재 및 재배포 금지
개의 댓글
※ 아래 경우에는 고지 없이 삭제하겠습니다.
·음란 및 청소년 유해 정보 ·개인정보 ·명예훼손 소지가 있는 댓글 ·같은(또는 일부만 다르게 쓴) 글 2회 이상의 댓글 · 차별(비하)하는 단어를 사용하거나 내용의 댓글 ·기타 관련 법률 및 법령에 어긋나는 댓글
- [54931] 전북 전주시 덕진구 기린대로 418 (금암동)
- 대표전화 : 063-250-5500
- 팩스 : 063-250-5550, 80, 90
- 법인명 : 전북일보
- 제호 : 전북일보 인터넷신문
- 등록번호 : 전북 아 00005
- 등록일 : 2005-11-22
- 발행일 : 2017-05-01
- 발행인 : 서창훈
- 편집인 : 윤석정
- 청소년보호책임자 : 강인석
Copyright © 2021 전북일보 인터넷신문. All rights reserved. mail to desk@jjan.kr