생성형 AI에 대한 AWS 방향 (SageMaker를 통한 Foundation Model 활용)

AWS Industry Week 2023을 참관하며 AWS에서는 생성형 AI에 대해 사용자가 활용할 수 있는 다양한 솔루션을 개발하고 있다고 알게 되었다.
특히 최근 생성형 AI는 인공지능 솔루션 중에서도 가장 주목받는 분야 중 하나로 매우 큰 잠재력을 가지고 성장을 하고 있다.
생성형 AI는 텍스트, 이미지, 음성 등 다양한 형태의 데이터를 생성하거나 변환할 수 있는 능력을 가지고 있으며, AWS Industry Week 2023에서 발표된 내용을 기반으로 생성형 AI의 모델인 Foundation 모델을 알아보고 AWS에서 이를 어떻게 활용할 수 있는지에 대해 살펴보고자 한다.

Table of Contents　

기존 ML 모델과 Foundation 모델의 차이점

기존의 기계 학습(ML) 모델과 최근의 Foundation 모델은 여러 면에서 차이점을 가지고 있다.

기존 ML 모델

기존에 사용하는 ML 모델들은 특정 작업을 수행하기 위해 설계되었으며, 대체로 상대적으로 작은 데이터 세트에 기반하여 훈련된다. 또한 데이터 세트는 대부분 Labeled 데이터를 사용하여 특정 Field에 맞춰 설계되었기 때문에 모델의 성능을 향상시키지만, 동시에 특정 작업에 제한될 수 있다.

데이터 규모: 기존 ML 모델은 상대적으로 적은 양의 데이터로 훈련된다.
특화: 특정 작업에 특화되어 설계되며, 일반적으로 하나의 작업만 수행할 수 있다.
유연성: 새로운 유형의 작업을 수행하려면 모델을 처음부터 다시 훈련해야 한다.

Foundation 모델

Foundation 모델은 대규모 데이터 세트와 컴퓨팅 자원을 사용하여 훈련되며, 다양한 작업에 적용 가능하다. 많은 데이터 세트를 구성해야 하므로 대부분 Unlabeled 데이터를 기반으로 학습하며, 큰 데이터 세트에서 학습되므로 일반적으로 더 강건하고 다양한 작업에 적용할 수 있다.

데이터 규모: 거대한 양의 데이터로 훈련되며, 인터넷에서 수집한 텍스트와 이미지를 포함할 수 있다.
특화: 여러 유형의 작업을 수행할 수 있는 능력을 가지고 있다. 예를 들어, 텍스트 생성, 질문 응답, 이미지 생성 등 다양한 작업을 하나의 모델로 수행할 수 있다.
유연: 새로운 작업에 적응하기 위해 미세 조정(fine-tuning)을 사용할 수 있다.

Foundation 모델의 유형(Source: AWS Industry Week 2023)

이러한 Foundation 모델은 Text-to-Text 모델, Text-to-Embeddings 모델, Multimodal 모델 등으로 구분할 수 있다. ChatGPT 3.5는 Text-to-Text 모델이라 할 수 있으며, ChatGPT 4에서는 이미지까지 인식하게 되었으므로 Multimodal 모델이라 할 수 있다.

AWS와 SageMaker

Amazon SageMaker는 생성형 AI의 Foundation 모델을 빠르게 구축, 훈련 및 배포할 수 있게 해주는 완전 관리형 서비스이다. 데이터 사이언티스트와 개발자는 SageMaker를 사용하여 Foundation 모델을 쉽게 만들고, 빠르게 실험하며, 대규모로 배포할 수 있다.

생성형 AI에 대한 AWS의 방향(Source: AWS Industry Week 2023)

모델 제공자

모델 제공자는 ML 모델을 만들고 훈련하는 역할을 한다.

SageMaker Studio: 통합된 개발 환경에서 데이터 전처리, 모델 생성, 훈련 및 배포 작업을 수행할 수 있다.
SageMaker Autopilot: 자동 ML 기능을 사용하여 데이터에서 자동으로 ML 모델을 생성하고 최적화할 수 있다.
SageMaker Training Jobs: 다양한 ML 프레임워크를 사용하여 대규모 훈련 작업을 수행하고, 자동으로 확장되는 클러스터에서 모델을 훈련할 수 있다.
SageMaker Built-in Algorithms: 다양한 내장 알고리즘을 사용하여 빠르게 ML 모델을 생성할 수 있다.

모델 튜너

모델 튜너는 ML 모델의 성능을 최적화하는 역할을 한다.

SageMaker Hyperparameter Tuning: 자동으로 모델의 하이퍼파라미터를 조정하여 모델의 성능을 최적화할 수 있다.
SageMaker Debugger: 훈련 중에 모델의 성능 지표를 모니터링하고, 디버깅 정보를 제공하여 모델의 성능을 개선할 수 있다.
SageMaker Experiments: 다양한 모델 버전과 훈련 실행을 추적하고 비교하여 최적의 모델을 선택할 수 있다.

모델 소비자 (AWS Bedrock)

모델 소비자는 훈련된 ML 모델을 사용하여 예측을 생성하거나 비즈니스 결정을 내리는 역할을 한다.

SageMaker Endpoints: ML 모델을 배포하여 실시간 또는 배치 예측을 생성할 수 있는 엔드포인트를 제공한다.
SageMaker Batch Transform: 대량의 데이터에 대해 예측을 생성하는 배치 작업을 수행할 수 있다.
AWS Bedrock: AWS Bedrock는 기업이 훈련된 ML 모델을 활용하여 비즈니스 응용 프로그램을 구축하고 실행할 수 있도록 지원하는 서비스이며, Bedrock를 사용하면 모델을 쉽게 통합하고, 성능을 모니터링하며, ML 기반 응용 프로그램을 관리할 수 있다.

결론

AWS Industry Week 2023에서 발표된 내용을 토대로 볼 때, AWS는 생성형 AI와 Foundation 모델의 발전에 큰 관심을 가지고 있으며, 사용자들이 이러한 첨단 기술을 더욱 손쉽게 활용할 수 있도록 다양한 도구와 서비스를 개발 하고 있음을 알 수 있었다. Foundation 모델은 그 유연성과 다용도 능력으로 인해 기존 ML 모델을 뛰어넘는 성능을 보여주고 있으며, Amazon SageMaker와 같은 서비스를 통해 이러한 Foundation 모델을 효율적으로 구축, 훈련, 배포할 수 있을 것이다.

이러한 AWS 서비스의 발전은 비단 대기업과 연구 기관만이 아니라, 중소기업 및 스타트업에게도 큰 기회를 제공할 것이며, SageMaker의 사용자 친화적인 인터페이스와 완전 관리형 서비스는 모델 개발의 진입 장벽을 낮추어, 모든 기업이 AI를 활용하여 혁신을 이룰 수 있도록 도울 것이라 생각한다.