AI와 창의적인 생각

AI하면 당장 떠오르는 것은 ChatGPT다. 인공지능에 대한 배경지식이 없었다면 아주 괴랄한 이름이라고 생각했을 것 같다. ‘대화를 하는 인공지능이라니 아주 예전에 있던 궁금이같은 것인가?’라고 생각했으나 왠걸, 사람보다 많은 지식을 갖고 있고 대화의 형태도 인간과 하는 대화와 거의 똑같다. 재밌는 도구라고 생각했었다.

ChatGPT를 일상생활에 자주 활용하고 있다. 외국 서적을 읽을 때도 사용하고, 특정 문서를 요약하는데도 사용하고, 원하는 이미지를 생성할 때도 사용하고, 궁금한 것이 생겼을 때 물어보는 용도로도 사용한다. 굉장히 유용하다. 최근에는 유료 멤버십까지 사용하고 있다.

이걸 사용하면서 느끼는 바는 확실하다.

1. 유용하긴 하다. 구글 검색해서 원하는 것을 걸러내는 것보다 훨씬 빠르게 질문의 답변을 가져오기 때문이다.
2. 내가 생각해야할 부분까지 편하게 ChatGPT에게 외주로 줄 수 있다.
3. 인간 지식의 끝단에 도달한 것은 ChatGPT도 답을 해줄 수 없다.

문제는 두 번째에 있다. 생각하는 것 조차 이놈에게 외주로 준다는 것이다. 이것은 굉장히 위험한 것이 아닌가?

사실, ChatGPT가 공개된 초기에는 이것에 대한 우려로 사용을 최대한 지양했었다. 그런데 시간이 흘러갈수록 ‘거의 대부분의 회사에서 다 ChatGPT를 사용하고 있고 사용하지 않는 직원은 상대적으로 업무 를 쳐내는 효율이 떨어지게 된다’는 말들이 돌기 시작했다. 이것은 굉장히 두려운 말이었다. 소외되는 것을 두려워하는 인간의 본성을 건드리는 말이 아닌가? 그래서 한번 써보기로 했다.

우려했던 바와 같이 내가 생각하는 것 조차 외주를 주고 있는 것을 어느순간 인지하게 되었다. 그래서 최근에 이에 대해서 많은 근심을 하고있다. 능률 향상을 위해 써야하느냐, 아니면 창의적인 생각을 해낼 수 있는 역량을 유지하고 기르기 위해 사용하지 말아야 하느냐.

내 마음은 아마 후자쪽으로 기울어있는 것 같다. 그래서 이 주장을 뒷받침하는 근거들을 찾고 있던 중, 최근 Nature지에 내 주장을 뒷받침해줄 논문이 하나 발표되었다. 그 초록은 다음과 같다.

Stable diffusion revolutionized image creation from descriptive text. GPT-2 (ref. 1), GPT-3(.5) (ref. 2) and GPT-4 (ref. 3) demonstrated high performance across a variety of language tasks. ChatGPT introduced such language models to the public. It is now clear that generative artificial intelligence (AI) such as large language models (LLMs) is here to stay and will substantially change the ecosystem of online text and images. Here we consider what may happen to GPT-{n} once LLMs contribute much of the text found online. We find that indiscriminate use of model-generated content in training causes irreversible defects in the resulting models, in which tails of the original content distribution disappear. We refer to this effect as ‘model collapse’ and show that it can occur in LLMs as well as in variational autoencoders (VAEs) and Gaussian mixture models (GMMs). We build theoretical intuition behind the phenomenon and portray its ubiquity among all learned generative models. We demonstrate that it must be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web. Indeed, the value of data collected about genuine human interactions with systems will be increasingly valuable in the presence of LLM-generated content in data crawled from the Internet.

– I. Shumailov, Z. Shumaylov, Y. Zhao, N. Papernot, R. Anderson, and Y. Gal, “AI models collapse when trained on recursively generated data,” Nature, vol. 631, no. 8022, pp. 755–759, Jul. 2024, doi: 10.1038/s41586-024-07566-y. https://www.nature.com/articles/s41586-024-07566-y

요약하면, 학습 데이터에 사람이 생성한 데이터 대신 인공지능 모델들(생성모델들)이 생성한 데이터의 portion이 늘어나고 있는 실정이고, 이를 생성모델의 학습에 재활용하게 된다면 생성모델들의 성능이 붕괴한다는 것이다.

나는 이걸 사람이 만든 컨텐츠의 가치와 관련된 내용이라고 해석하고 싶다. 사람이 계속해서 새로운 것을 만들어내는 역할을 수행해야만 한다.

인공지능 모델은 아직까진 완전히 새롭게 만들어내는 것을 하지 못하는 것으로 보인다. 즉, 기존에 존재하는 확률분포에 속하는 새로운 샘플을 만들어낼 수는 있으나, 완전히 다른 확률분포를 창조해내지는 못하는 것 같다. 이 내용은 곧 인간 지식의 끝단에 도달한 것은 ChatGPT도 답을 해줄 수 없다와도 연관이 있다. 인간 지식의 끝단에서 새로운 것은 창의적인 생각을 통해 생성되고 그 창의적인 생각은 기존의 틀(기존 지식의 확률분포)에서 벗어나 있는 것일 가능성이 높아보인다.

생성모델은 도구로 혹은 조수로만 머물러 있는 것이 바람직해 보인다. 결국 생각은 인간이 하는 것이다. (물론, 인간과 같은 생각을 해낼 수 있는 인공지능 모델이 탄생하기 전까지 말이다…)