Posted by 
산업 현장에서는 다양한 생산설비와 제어시스템을 통해 대량의 데이터를 생성하고 관리한다. 이러한 데이터는 최적화된 생산 과정, 품질 향상, 예측 정비 등 다양한 목적으로 활용된다. 생산설비에서 정형 데이터를 생성하고 데이터 레이크까지 적재하는 과정을 알아 보려고 한다.
- 데이터 생성: 생산설비, 제어 PC, PLC(Programmable Logic Controller)
생산설비에서 데이터는 제어PC와 PLC(Programmable Logic Controller)를 통해 생성된다. 제어PC는 공정 제어 및 모니터링을 담당하며, PLC는 센서 및 액추에이터와 같은 필드 장치와 통신하여 데이터를 수집하고, 공정 제어를 수행한다.
- 데이터 모으기: CIM(Computer Integrated Manufacturing) PC
제어PC와 PLC(Programmable Logic Controller)에서 생성된 데이터는 CIM(Computer Integrated Manufacturing) PC로 전송된다. CIM PC는 제어PC와 PLC의 데이터를 통합하여 관리하고, 공정의 효율성과 생산성을 개선하는 역할을 한다.
- 제어시스템, Data Collection, FDC system
CIM(Computer Integrated Manufacturing) PC에서 수집한 데이터는 제어시스템을 거쳐 Data Collection 시스템으로 이동한다. 제어시스템은 공정 상태 및 알람 정보를 모니터링하고, 작업 지시 및 스케줄링을 관리하며, Data Collection 시스템은 다양한 데이터 소스로부터 데이터를 수집하고, 이를 FDC(Fault Detection and Classification) 시스템으로 전달한다. FDC 시스템은 데이터를 분석하여 이상 징후를 감지하고 분류하는 역할을 담당한다.
- ETL(Extraction, Transformation, Loading) 프로세스
FDC(Fault Detection and Classification) 시스템에서 전처리된 데이터는 ETL(Extraction, Transformation, Loading) 프로세스를 거쳐 최종적으로 데이터 레이크에 적재되며, ETL 프로세스는 다음과 같은 단계를 거친다.
- 추출(Extraction): FDC 시스템에서 생성된 데이터를 추출한다.
- 변환(Transformation): 데이터를 정제하고, 표준화하며, 필요한 경우 형식을 변환한다.
- 적재(Loading): 정제된 데이터를 데이터 레이크(Data Lake)에 저장한다.
- 데이터 레이크(Data Lake)
데이터 레이크는 대용량의 정형 및 비정형 데이터를 저장하고 관리하는 확장 가능한 저장소이다. 데이터 레이크는 원시 데이터를 그대로 저장할 수 있으며, 빅 데이터 분석 및 머신러닝 모델 개발 등 다양한 목적으로 활용된다. 데이터 레이크에 적재된 데이터는 필요에 따라 데이터 웨어하우스나 다른 분석 도구로 전달되어 추가 분석이나 처리가 이루어질 수 있다.
이렇게 산업 현장에서 생산 설비와 제어 시스템을 통해 생성된 정형 데이터는 CIM PC를 거쳐 제어시스템, Data Collection 시스템, FDC 시스템을 통해 수집되고 전처리되어 ETL 프로세스를 거쳐 데이터 레이크에 적재된다. 이렇게 적재된 데이터는 공정 최적화, 품질 향상, 예측 정비 등 다양한 목적으로 활용되어 산업 현장의 생산성과 효율성을 높이는 데 기여한다.