중국 과학자들은 Sunway 프로세서로 구동되는 최신 슈퍼컴퓨터 중 하나를 기반으로 "인간 두뇌 규모의 인공 지능 모델"이라고 부르는 것을 만들었습니다. 과학자들은 174조 개의 매개변수 AI 모델이 자율주행차에서 과학 연구에 이르는 응용 분야에 사용될 수 있다고 주장합니다.

사용된 Sunway OceanLight 시스템은 390코어 Sunway SW39010 APU에서 실행되는 96,000개 노드를 기반으로 하며 총 코어 수는 거의 4천만 개에 달합니다. 이 기계는 세계 최초의 엑사스케일 슈퍼컴퓨터 중 하나로 광고되었습니다.

NRCPC(National Research Center for Parallel Computing and Technology) 중국 연구원 팀은 그들이 만든 인공 지능 모델에 약 174조 개의 매개 변수가 포함되어 있어 인간 두뇌의 시냅스 수와 경쟁할 수 있음을 확인했습니다. OceanLight의 실제 성능은 이제 AI가 포함된 5.3 ExaFLOPS에서 혼합 정밀도의 4.4 ExaFLOPS로 주장됩니다.

NRCPC의 과학자들은 두뇌 규모의 AI 모델로 적절한 성능을 달성하기 위해 전례 없는 규모로 "하드웨어 노드 내 최적화"와 "하이브리드 병렬 전략"을 구현해야 한다고 South China Morning Post에 말했습니다. OceanLight가 96,000개의 노드와 거의 4,000만 개의 코어를 가지고 있다는 사실을 고려할 때 이 시스템에 대한 하드웨어와 소프트웨어를 최적화하는 것은 매우 어려운 작업입니다.

전례 없는 AI 모델의 발표는 Oak Ridge 국립 연구소가 Linpack 테스트에서 1,102 FP64 ExaFLOPS 성능을 갖춘 세계 최초의 슈퍼컴퓨터인 Frontier를 공식적으로 발표한 지 불과 몇 주 만에 나온 것입니다. 특히 NRCPC는 상위 500대 슈퍼컴퓨터 목록에 OceanLight의 성능 결과를 공식적으로 발표하지 않았습니다.