인류는 지구상의 생명체들 중 유일하게 문명을 이루고 살아가는 존재예요. 여기에는 여러 가지 비결이 존재하는데요. 대표적으로는 '언어'를 사용한다는 점이에요. 인간은 언어를 사용함으로써 다른 존재와 소통하고 기록을 할 수 있기 때문에 지식을 축척할 수 있었어요. 또, 시각적 정보를 받아들이고 이해하는 뇌의 처리능력이 뛰어나요. 그리고 시각적 정보와 함께 후각, 미각, 통각을 비롯한 여러 감각들을 통해 입력된 정보들과 기억을 융합하여 사물을 받아들이는 지식 통합 능력을 가지고 있죠.
이렇게 사람처럼 사고하는 AI를 만들기 위해, AI의 학습 방법에 사람을 학습 과정을 적용한 것이 바로 멀티모달이에요. 사람처럼 텍스트, 이미지, 음성, 비디오 등의 다양한 유형의 데이터를 통해 인지하고 학습하는 AI를 '멀티모달 AI'라고 하는 것이죠.
기존 AI의 경우 텍스트를 이해하는 데 초점을 맞췄어요. 가장 많이 남겨진 인류의 기록은 텍스트의 형태였고, 그러한 언어를 분석하고 이해하는 능력이 전제되어야 명제를 만들고 추론을 할 수 있다고 본 것이죠. 사람이 어떤 질문을 할 때, 그 질문을 이해해야 답을 할 수 있기 때문이에요. 하지만 AI는 텍스트로만 그 내용을 이해하고 있을 뿐, 실제로는 대상이 어떤 형태로 세상에 존재하는지 알지 못해요.
그래서 사람과 같은 방식으로 배우고 인지하는 멀티모달 AI가 등장하고, 비로소 AI는 우리가 사는 세상을 제대로 인지할 수 있게 됐어요. 이젠 모두가 잘 아는 Chat GPT또한 처음에는 언어 기반으로 시작했지만, 현재는 이미지, 글, 영상까지 이해하는 멀티모달로 확장되었죠.
