[챗GPT를 이용해 제작] > 자유게시판

[챗GPT를 이용해 제작] [헤럴드경제=김지헌 기자] 중국 빅테크(거대 정보기술기업) 화웨이가 자사 칩을 활용한 인공지능(AI) 훈련 기술을 개발했으며 이는 딥시크의 훈련법보다 효율적이라고 주장했다.홍콩 사우스차이나모닝포스트(SCMP)는 화웨이의 이런 AI 모델 설계 기술의 발전을 소개하면서 중국이 미국 기술에 대한 의존을 줄이려는 노력의 하나로 중요한 의미를 갖는다고 5일 보도했다.화웨이의 대형언어모델(LLM) 개발팀인 판구(Pangu)팀은 지난달 28일 논문저장 사이트 ‘arXiv’에 공개한 ‘판구 프로 MoE’란 논문에서 딥시크가 ‘저비용 고효율’ AI 모델 개발에 활용한 ‘전문가 혼합’(MoE·Mixture of Experts) 모델을 개선한 ‘그룹화 전문가 혼합’(MoGE·Mixture of Grouped Experts) 모델을 소개했다.MoE란 문제 해결에 필요한 최적의 전문가들만 선별해 활용하는 개념을 LLM 학습 방법에 적용한 것으로 딥시크가 엔비디아의 저사양 칩을 적게 쓰면서도 효율적인 AI 모델을 개발하는 데 중요한 역할을 했다.그러나 화웨이 판구팀은 MoE는 각 입력 토큰에 대해 활성화되는 매개변수(파라미터)의 비율이 매우 낮아 일반적 LLM보다 효율성은 뛰어나지만, 일부 전문가들이 다른 전문가들보다 훨씬 자주 활성화되는 현상이 종종 나타남에 따라 시스템 비효율성의 원인이 될 수 있다고 지적했다.이에 따라 판구팀은 논문에서 MoE보다 전문가 작업 부하의 균형을 잘 잡고 선택하는 그룹화된 전문가들의 혼합 아키텍처인 MoGE를 소개한다고 밝혔다.논문에 따르면 MoGE는 사전에 정의된 각 전문가그룹 안에서 동일한 수의 전문가들을 활성화하도록 토큰을 제약한다. MoGE가 사용한 그룹 균형 분배 전략은 전문가를 고유하고 겹치지 않는 그룹으로 분할하며 각 그룹을 특정 컴퓨팅 장치에 할당하는 방식이다.이에 따라 AI 모델 훈련이 다중 장치에 분산될 때 장치 간 계산 부하를 균형 있게 배분해 처리량을 대폭 향상할 수 있다. 특히 추론 단계에서 이런 효과가 두드러진다.아울러 화웨이는 자사의 신경망처리장치(NPU) 어센드를 활용한 MoGE 기반 희소 모델인 ‘판구 프로(Pro) MoE’를 구축했다고 밝혔다. 이 모델은 매개변수 총 720억개 가운데 토큰당 160억개가 활성화된다.판구 프로 MoE의 구성은 광범요즘 국내 반도체 장비업계는 새로운 ‘큰손’들의 주문 물량을 대느라 분주하다. 창신메모리(CXMT) 양쯔메모리(YMTC) 등 중국 간판 메모리 반도체 기업이 저전력더블데이터레이트5(LPDDR5) D램, 고대역폭메모리(HBM) 등 첨단 제품을 제조할 때 반드시 필요한 장비를 국내 기업에서 ‘사재기’하고 있어서다.장비를 빨리 확보하기 위해 정가보다 1.7~2배 웃돈을 얹어주는 ‘긴급 콜’도 수시로 낸다. 국내 반도체 장비업체 관계자는 “중국 메모리 기업들이 4세대 HBM(HBM3) 등 첨단 반도체 개발에 들어가면서 최첨단 장비 주문을 늘리고 있다”고 설명했다.◇ YMTC가 차세대 ‘본딩 낸드’ 주도5일 업계에 따르면 트렌드포스가 최근 고객사에 제공한 올 1분기 글로벌 시장점유율 자료를 접한 국내 반도체업계는 패닉에 빠졌다. 처음 집계된 중국 메모리 기업의 점유율이 예상보다 빨리 치고 올라와서다. YMTC의 낸드 점유율은 8.1%(매출 기준), CXMT의 D램 점유율은 4.1%였다. 삼성전자와 SK하이닉스, 미국 마이크론 등이 과점한 시장에 큼지막한 균열이 생긴 것이다.메모리 반도체 시장은 다른 어떤 산업보다 진입장벽이 높은 분야로 꼽힌다. 최첨단 기술력과 고급 인력, 충분한 자본을 모두 갖춰야 뛰어들 수 있기 때문이다. 업력이 각각 9년밖에 안 된 두 회사가 이런 산업에서 단숨에 세계 4~6위권이 된 것이다.두 회사의 확장 전략은 비슷하다. 범용 시장에서 실력을 입증한 다음 첨단 시장으로 보폭을 넓히는 것이다. 대표적인 게 최신 규격 범용 D램인 DDR5다. CXMT는 올초 DDR5 16기가비트(Gb) 제품을 10㎚(나노미터·1㎚=10억분의 1m) 3세대(1z) 기술로 양산했다. DDR5는 최근 인공지능(AI)폰, PC, 중급 성능의 서버 등에 장착되면서 수요가 늘어나고 있는 제품이다. 삼성전자와 SK하이닉스가 양산에 들어간 시점이 2021년 말인 만큼 기술 격차는 3년 수준으로 좁혀졌다.CXMT는 AI 서버용 메모리인 HBM 시장도 겨냥하고 있다. 최근 3세대 HBM인 HBM2E 양산에 성공, 화웨이의 AI 가속기용으로 공급한 것으로 알려졌다. 연말까지 4세대 HBM인 HBM3를 양산한다는 목표다. CXMT가 HBM3 양산에 성공하면 기술 격차는 2~3년으로 다시 한번 좁혀진다.YMTC는 차세대 낸드