메타, 자체설계 AI 반도체 공개 [파이토치 2.0, 정식출시...AI 열풍 가속화 기대]

반응형

인공지능 학습과 추론 처리에 맞춤 설계

 

메타가 자체설계한 인공지능(AI) 학습 및 추론 전용 프로세서를 공개했다.

18일(현지시간) 미국 지디넷에 따르면, 메타는 AI 프로그램 구동을 위해 설계된 1세대 맞춤형 실리콘 '메타 트레이닝 및 추론 가속기(MTIA)'를 발표했다.

MTIA는 병렬로 작동하는 회로 블록의 메시 구조로 구성됐다. 메타의 AI 프레임워킈인 '파이토치'를 사용해 최적화 소프트웨어를 실행한다.

 

저저커버그 메타 최고경영자가 자신의 페이스북에 올린 'MTIA' 칩'

 

메타는 이 칩을 AI 기반 추천 모델에 최적화됐다고 설명했다. 소셜네트워크 상의 사용자 활동 패턴을 인지하고 사용자에게 개인화된 콘텐츠를 추천하는 시스템이다. 메타는 MTIA를 2020년부터 개발하기 시작했다고 밝혔다. MTIA는 8x8 그리드로 배열된 64개의 프로세서 요소를 가졌고, 데이터가 이동할 수 있는 시스톨릭 어레이를 채택했다. 흥미로운 건 AI 전용 반도체 하나로 학습과 추론을 모두 처리하게 했다는 점이다. 일반적으로 컴퓨팅 측면에서 학습과 추촌의 요구사항이 다르며, 별개의 칩 설계로 처리된다.

 

MTIA 아키텍처

 

메타는 MTIA 칩에 대해 1와트 에너지당 초당부동소수점연산 수에서 GPU보다 최대 3배 효율적이라고 설명했다. 단 더 복잡한 신경망을 작업할 때 CPU보다 뒤떨어진다고 덧붙였다. 메타뿐 아니라 구글, 마이크로소프트, 아마존 등이 엔비디아의 GPU 사용 외에 AI 전용 반도체를 발표했거나 개발중이다. 메타는 MTIA와 함께 자사 데이터센터를 AI에 최적화된 설계와 수냉식 AI 하드웨어, 대규모 슈퍼클러스터(SC)를 지원하도록 업그레이드할 것이라고 밝혔다.

 

메타의 슈퍼클러스터는 AI 훈련을 수행하는 데이터센터 규모의 컴퓨팅 클러스터다. 메타의 리서치슈퍼클러스터(RSC)는 1만6천개의 엔비디아 A100 텐서코어 GPU와 엔비디아 퀀텀인피미밴드 16Tbps 인터커넥트를 갖췄다. 대규모 언어 모델과 자연어 AI 번역 시스템을 훈련하는데 사용된다. 컴퓨팅 파워는 5엑사플롭스다.

 

비디오 인코딩용 맞춤형 칩도 공개됐다. '메타 스케일러블 비디오 프로세서(MSVP)'란 이름의 이 실리콘은 비디올르 더 효율적으로 압축 및 압축해제하고, 페이스북 사용자의 업로드를 다양한 형식으로 인코딩하게 설계됐다. MSVP 칩은 최고 품질 구성의 경우 15fps에서 4K 피크 트랜스코딩 성능을 제공하고, 표준 품질 구성의 경우 60fps에서 4K까지 확장할 수 있다.

 

베타는 "엔비디아 GPU나 인텔 CPU에 의존하기보다 미래의 AI 사용 사례를 주시하고 있다"며 "전용 하드웨어가 컴퓨팅 성능과 효율성 측면에서 최고의 솔루션이라고 믿는다"고 밝혔다. 메타는 파이토치와 전용 칩의 공동 설계를 강조하고 있다. 메타의 AI 칩에서 실행될 코드의 작성에 파이토치나 C++ 외에 '나이프(KNYFE)란 전용 언어를 사용할 수 있다.

 

'나이프'는 ML 연산자에 대한 짧고 높은 수준의 설명을 입력으로 받아 MTIA용으로 연산자를 구현하는 최적화된 C++ 커널 코드를 생성한다. 메타는 엔지니어의 코드 작성에 도움을 주는 생성 AI 기반의 코드 작성 보조도구 '코드컴포즈'도 공개했다. 코드컴포즈는 오픈소스로 공개된다.

파이토치 2.0, 정식출시...AI 열풍 가속화 기대

대규모 언어 모델 개발 위한 성능 개선 및 인텔과 CPU 최적화 작업 실시

 

오픈소스 기계학습(ML) 라이브러리 파이토치의 정식 후속 버전이 4년 만에 출시됐다. 최근 주목 받는 챗GPT 같은 대규모 언어 모델(LLM) 개발에 맞춰 학습속도를 개선하고, 개발편의성을 높였다. 15일(현지시각) 파이토치 재단은 기계 학습 프레임워크 파이토치 2.0을 정식 출시했다. 파이토치 2.0은 기존 개발환경과 동일한 환경을 지원하지만 내부적으로 컴파일러 수준에서 작동하는 방식을 근본적으로 변경해 동적 모양 및 분산에 대한 더 빠른 성능과 기능을 제공한다.

 

파이토치 2.0(이미지=파이토치개발팀)

 

새롭게 추가된 고속 트랜스포머는 배터 트랜스포머의 발전형으로 더 낮은 비용으로 AI를 교육하고 배포할 수 있도록 안정화됐다.

파이토치 재단은 이전 버전과 모두 호환되며, 한 줄 정도의 소스코드만 추가하면 속도가 1.3~2배 정도 향상시킬 수 있다고 밝혔다.

파이토치2는 새로운 기능으로 토치다이나모, AOU오토그래드, 프라임토치, 토치인덕터 등이 추가됐다.

 

토치다이나모는 5년 간의 연구 개발 끝에 완성한 기술로 파이썬 프레임 이벨류에이션 훅을 사용해 파이썬 바이트코드에서 빠르고 안정적으로 FX그래프를 생성할 수 있다. AOT 오토그래드는 학습 추론 방향을 추적하기 위한 역방향 그래프를 작성하며, 프라임토치는 백엔드 작성 프로세스를 단순화하기 위한 연산자 세트를 지원한다.

 

토치인덕터는 파이썬 기반 오픈소스 프로그래밍 언어 '트리톤' 등 여러 GPU 가속기 및 백엔드를 지원하기 위한 파이썬 코드를 생성할 수 있는 딥러닝 컴파일러다. 새롭게 추가된 기술은 모두 파이썬으로 개발됐으며 추가적인 개선 작업 없이 사용할 수 있도록 구현해 사용자의 진입 장벽을 낮췄다.

 

또한 파이토치 2.0 개발은 인텔이 적극적으로 참여했다. 인텔은 토치인덕터를 비롯해 그래프신경망네트워크(GNN), INT8 추론 최적화, 원DNN 그래프 API 등의 작업에 참여하며 새로운 파이토치의 컴파일러를 CPU에 최적화할 수 있도록 지원했다. 인텔과의 협업을 통해 긴밀하게 CPU 최적화 작업을 거친 만큼 대규모 컴퓨팅 파워가 필요한 AI학습 등에 더욱 높은 효율을 보일 것으로 예상된다.

 

파이토치 개발팀은 "파이토치 2.0은 동일한 개발환경과 사용자 경험을 제공하는 동시에 더 빠른 성능과 컴파일러 수준을 제공한다"며 "1.4 버전이 아닌 2.0 버전으로 출시하는 이유도 내적으로 완전히 바뀌었음을 보여주기 위함이다"라고 강조했다.

챗GPT, iOS앱으로 나왔다

미국서 사용 가능…안드로이드앱도 곧 출시

 

그동안 PC에서 사용할 수 있었던 생성형 인공지능(AI)인 챗GPT가 iOS용 앱으로 출시됐다. 18일(현지시간) 오픈AI는 챗GPT iOS앱을 미국에서 출시하고, 몇 주 안에 출시 국가를 확대하겠다고 밝혔다. 안드로이드앱도 곧 출시된다. 이 앱은 음성 입력을 지원하고, 기기 간 동기화가 돼 아이패드나 아이폰에서 자유롭게 쓸 수 있다. 챗GPT플러스(월 20달러) 가입자들은 앱으로 GPT4 기능을 사용할 수 있다. 

오픈AI 챗GPT앱

 

회사 측은 "챗GPT가 출시된 이후 이동 중에 이용하고 싶다는 의견이 있어 앱으로 출시했다"고 설명했다. 오픈AI는 앞으로 사용자 피드백을 받아 챗GPT 기능과 안전성을 지속적으로 개선해 나가겠다고 했다.

챗GPT, 인터넷 검색하고 식당 예약도 해준다

오픈AI, 챗GPT 플러그인과 브라우징 베타 출시

 

오픈AI가 챗GPT를 확장하는 플러그인과 웹브라우징을 출시했다. 이제 챗GPT플러스 사용자는 퀴즈 게임을 즐기고, 여행을 계획하며, 주식 시세를 확인할 수 있다. 최근 오픈AI는 챗GPT 플러그인과 웹브라우징을 모든 챗GPT플러스 사용자에게 베타로 제공한다고 밝혔다. 지난 3월 공개된 챗GPT 플러그인은 알파 단계에서 베타 단계로 업그레이드됐다.

 

월 20달러의 비용을 지불하는 챗GPT 플러스 가입자는 설정에서 플러그인과 웹브라우징을 활성화할 수 있다. 뉴스, 주가 등의 실시간 정보나 회사 문서 및 개인 문서 등의 지식 기반 검색, 항공권 및 호텔 예약, 음식 주문 등을 플러그인으로 할 수 있다.

 

Advertisement

 

현재 챗GPT에서 70개 이상의 써드파티 플러그인을 사용할 수 있다.  엑스피디아, 카약, 오픈테이블 등이 플러그인을 등록했다. 체스플레이, 레시피 찾기 등의 플러그인도 있다. 새 플러그인을 사용하려면 기본 채팅화면의 이름 옆 왼쪽 창 하단의 점 3개 아이콘을 클릭해 설정으로 들어간 뒤 설정 창에서 베타 기능 설정의 플러그인 스위치를 활성화하면 된다.

 

설정 창을 닫은 후 화면 상단의 GPT-4 모델 위로 마우스를 가져가 플러그인 베타 옵션을 확인한다. 그리고 활성회된 플러그인 없음의 드롭다운 화살표를 클릭해 '플러그인 스토어'를 선택하면 각종 플러그인을 탐색할 수 있다.

챗GPT 설정의 베타 패널에서 플러그인과 웹브라우징을 활성화할 수 있다. 원하는 플러그인은 무제한으로 설치할 수 있지만, 한번에 세개까지만 활성화할 수 있다. 채팅화면에서 플러그인 드롭다운 화살표를 클릭해 사용하려는 세 가지를 고르면 된다. 챗GPT 웹브라우징은 인터넷의 정보를 검색할 수 있는 기능이다.

 

오픈AI는 챗GPT에 2021년 8월까지의 데이터만 학습시켰기 때문에 챗GPT에서 최신 정보를 제공하지 못했었다. 웹브라우징 기능을 이용하면 웹 상의 최신 정보를 가져와 답변에 활용하게 된다. 이를 통해 환각 현상도 다수 해소될 것으로 기대된다. 웹브라우징도 하나의 플러그인으로 작동하며, 마이크로소프트의 빙 검색 API를 이용해 인터넷 정보를 검색한다. 브라우징으로 검색된 정보는 채팅 세션 내에서만 활용된다.

챗GPT 플러그인 스토어

 

챗GPT 플러그인을 개발하려는 개발자나 회사는 오픈AI의 대기자 명단 등록을 신청해야 한다. 유료 가입자를 대상으로 한 챗GPT 플러그인은 구글의 바드 업그레이드 발표 직후 나왔다. 대화형 AI 서비스 시장이유료와 무료로 갈라져 경쟁하는 모양새를 보인다. 구글 바드는 별도의 유료 모델을 운영하지 않으며 무료로 제공된다. 별도 확장 기능은 없다. 오픈AI 챗GPT는 무료로 이용가능하지만, 무료 사용자의 최신 업데이트 이용을 제한한다. 단, 플러그인 정식 출시 후 무료 사용자로 일부 개방할 가능성도 있다.

 

SMALL