1. LLM의 등장과 한계

2022년 11월 30일 챗GPT가 이 세상에 등장했다. 거의 4년이 다 되어간다. 사람들은 아직도 인공지능에 열광하고 있는 듯하다. 어떤 석학은 이를 혁명이라 부르면서 산업혁명 이상의 변화를 이 세상에 일으킬 것이라고 하기도 했다.

하지만 이제 인공지능의 수명은 다해가고 있다. 이는 불편한 진실이지만 웬만한 숙련된 AI프로그래머나 해당 업계 사람이면 다 알고 있다. 그들은 – 특별히 쇼트를 치기 위한 것이 아닌 이상 – 절대 AI 관련 주식을 사지 않는다. LLM, 즉 오픈AI나 구글 재미니 같은 곳에는 일체 신규 투자를 하지 않는다. 아마 다 팔아버렸을 것이다.

LLM은 딱 두가지로 만들어져 있다. 하나는 마르코프체인이고 다른 하나는 셀프어텐션이다. 마르코프 체인은 1906년도에 발표되었으며 셀프어텐션은 2017년 6월에 발표되었다. 인공지능, 즉 LLM은 이 두가지로 만들어졌다. 그리고 이 두가지 개념은 그리 고도의 아이디어도 아니다. 앞단어를 알면 뒷단어를 예측할 수 있다와 모든 문장 또는 문서의 의미는 각자의 고유의 모양새를 지니고 있다, 이 두가지가 핵심이다. 특히 후자의 셀프어텐션을 실제로 수행하기 위해서는 엄청난 연산을 필요로 하는데 이것을 뒷받침한 자가 바로 엔비디아와 TSMC다. 그리고 요즘의 HBM 이다. 실은 AI에 대한 공헌도의 95%는 이들이 담당하고 있다고 해도 과언이 아니다. 왜냐고?

셀프어텐션의 개념을 떠올리던 시점에서도 실제로 담당 개발자들은 그다지 큰 기대를 하지 않고 있었다. 번역에 적용해서 좀더 나은 번역문을 출력해 내고자 하는 것과 같은 것이 그들의 목적이었다. 그런데 막무식하게 딥러닝을 실시하자 이상한 일이 벌어졌다. 번역만 하는 것이 아니라 논문도 작성하고 소설도 쓰고 그림도 멋지게 그려내고 하다못해 코딩마저 고난도로 해내는 것이었다. 이를 보고 담당 개발자들은 충격을 받았다. 전혀 예상 밖이었다.

보통 무엇을 개발하고자 하면 일단 목표를 세운다. 그리고 그 목표를 달성하기 위해 온갖 방법을 개발해 이것저것 시도를 무수히 하다가 성공하면 그 목표를 달성한 것이 되고 실패하면 도루아미타불이 되는 것이 일반적인, 사실 이 세상의 모든 성공의 과정이고 법칙이다. 그런데 이번에는 이상한 일이 벌어졌다. 딥러닝을 시키는 과정에서 그 내부에서 어떤 일이 벌어지는 지는 알 수 없지만 이상한 기괴한 괴물이 만들어지고 있었던 것이다.

사람들은 인공지능의 개발자들이 무척 똑똑한 사람들이라고 생각한다. 하지만 그들이 실제로 한 것은 거의 없다. 엔비디아가 설계를 하고 TSMC와 삼성SK가 만들어낸 GPU가 95% 의 업무를 담당했으며 개발자들이 한 것이라고는 어디서 돈을 잔뜩 받아와서 단순무식 딥러닝을 실시한 그 이상도 이하도 아니었다. 샘 올트먼이나 그 외 똑똑한 것으로 소문난 인물들은 실은 자금 쪽 재능이 있는 자들일 뿐 컴퓨팅 쪽으로는 그저 보통의 프로그래머 수준에 지나지 않는다. 예컨데 우리 마누라도 한달만 교육을 받으면 샘 올트먼이 아는 것을 모두 습득할 수 있다. 이 글을 읽는 모든 사람이 다 그러하다. 어려운 것은 자금을 끌어들이는 것이지 컴퓨팅 지식이 아니다.

좋다. 아무래도 좋다. 그저 계속 발전할 수만 있다면 우리 마누라던 샘 올트먼이 되던 누구라도 관계없다. 하지만 문제는 이제 더 이상의 발전은 없다는 데 있다. 이제 LLM의 시대, 인공지능의 시대는 저물어가고 있다. 실은 저물어도 한참을 저물었다. 봄가을의 오후 5시 정도가 지금의 시점이다. 이제 한시간만 지나면 컴컴해지기 시작한다. 알만한 사람들이 지금 AI 관련 주식을 팔아치우는 이유가 바로 여기에 있다.

이제 인공지능의 성능을 5% 끌어올리는데는 두배의 전력량이 든다. 따라서 더 이상은 발전하지 않는 것이 현명하다. 가성비가 없기 때문이다. 지금 이 단계의 AI의 성능이 앞으로 10년 후의 AI 성능이다. 발전해 봐야 5~10 % 정도이다. 이는 확정적이다. 왜냐하면 AI를 개발한 개발자들이 그저 그 수준에서 머무르고 있기 때문이다. 그들이 언제나 입버릇처럼 말하는 것처럼,

“AI가 어떻게 자체 성장하고 어떻게 답변을 만들어 내는 지 우리는 모른다.”

모르는 자가 모르는 기계의 성능을 향상시키는 방법은 없다. 오로지 돈과 전기를 틀어붓고 보다 정밀한 고성능 GPU를 사다가 꼽는 일 외에 그들이 할 줄 아는 것이 없다. 그리고 지금 전력량 2배에 성능 5% 개선이라는 마지막 구간에 돌입해 있는 것이다. 이건 사실상 개발자가 아니다. 즉 이제 인공지능 산업에서 더 이상 개발자는 존재하지 않는다. GPU를 서버에 갖다 꼽는 드라이버 엔지니어만이 존재할 뿐이다.

인공지능의 역사는 실은 소 뒷걸음질에 쥐잡기 역사였다. 앞단어를 보면서 뒷단어를 추측한다와 인간마다 생김새가 다르듯이 문장(문서)마다 생김새가 다르다는 하등의 수준 없는 착상 위에 세워진 것이 지난 수년간의 인공지능 발달의 역사였다. 실제의 역할은 실은 하드웨어가 담당했을 뿐이다. 소프트웨어에 담긴 가치는 거의 쓰레기 수준이다. 당연히 앞으로는 사라지게 될 것이다.

2. 삐삐와 스마트폰의 비유

나는 매우 자주 삐삐와 휴대폰 그리고 스마트폰의 예를 즐겨 사용한다. 30여년 전에는 삐삐라는 것이 있었다. 있는 정도가 아니라 선풍적인 인기를 끌었다. 뒷주머니에 가지고 다니면 마누라나 친구가 삐삐를 호출한다. 그러면 나를 찾는 것을 알게 되고 인근 공중전화 박스에 가서 삐삐에 나타난 번호로 전화를 건다. 015 로 시작하는 이 삐삐는 엄청난 인기몰이를 했다. 그러나 곧바로 휴대폰이 등장했다. 핀란드의 노키아, 한국에서는 삼성 애니콜 등이 등장하자 삐삐는 게눈 감추듯 사라졌다.

이것이 쳇GPT가 맞이할 앞으로 5년 이내의 운명이다. 지금은 휴대폰마저 사라지고 스마트폰이 이 세상을 지배하고 있다. 과거 야후가 사라지고 구글이 등장했는데 지금 구글 쓰는 사람은 별로 없다. 모드들 LLM을 사용한다. 아주 간혹 특별한 목적이 있는 경우에만 구글 인터페이스를 사용한다. 그리고 이것이 바로 챗GPT와 재미니 그리고 요즘 핫하다는 중국의 키미의 운명이다. 아쉽게도 중국은 언제나 뒷북만 친다. 키미는 태어나자 마자 무덤으로 들어가는 운명을 타고났다.

3. 지식은 생각보다 많지 않다

의외로 이 세상의 지식의 개수는 많지 않다. 예전에 내가 감옥에 있을 때 사채업자 한사람과 이야기를 한 적이 있었다. 그가 하는 말의 요지는 다음과 같았다.

“사실 필요한 지식은 몇 개 안된다. 고작 그 몇 개를 가지고 또깍또깍 해쳐먹는 것이다. 사기라는 것도 마찬가지다. 오히려 중요한 것은 성실성이다. 한 번 사기에 성공해서 횡재를 했다고 놀러 다니면 안되며 꾸준히 사무실에 출근해서 근면성실하게 하던 일(사기)에 집중해야 한다.”

나는 그의 말에 고개를 끄덕이지 않을 수 없었다.

지금 챗GPT에 사람들은 매일마다 무수한 질문을 한다. 그런데 막상 들여다 보면 90% 이상의 질문이 뻔한 질문이고 반복되는 질문들이다. 그다지 난이도도 높지 않으며 했던 질문을 내가 다시 하거나 남이 다시 한다.

이런 지식들은 좀 더 정교하게 다듬에 제공되어야 한다. 즉 LLM의 다음 단어 알아맞추기 식으로 답변하는 것은 한편으로는 무성의하고 다른 한편으로는 자원낭비다. 그 뻔한 질문에 한개에 5,000 만원씩 하는 GPU 를 동원할 이유는 전혀 없다. 애당초 LLM의 로직이 단순무식 그 자체이기 때문에 이 비싼 GPU가 필요하게 된 것일 뿐 좀 더 깊이 있는 사유를 한다면 그저 10만원짜리 CPU로도 얼마든지 답변이 가능한 방법은 존재한다. 그 중 하나의 방법이 바로 K엔진이다.

4. K엔진의 네 가지 사상

K엔진의 사상은 다음 4가지다.

1. 교과서
2. 체계
3. 무오류
4. 지식의 유한성

교과서란 어느 해당 분야를 빠짐 없이, 체계적으로, 오류없고, 중복 없이 정리해 놓은 책이다. 교과서의 가장 기본적인 자격요건은 바로 이 4가지다. 교과서를 교과서라 부르는 이유다. 따라서 모든 질문은 교과서 안에 그 답이 존재한다. 디테일의 문제 때문에 교과서의 지식량이 무한할 것처럼 착각하기 쉽지만 오히려 교과서는 불확실한 이야기를 자신의 책 내부에 받아들이지 않는다. 더 이상도 더 이하도 아닌 딱 있어야 하는 말만 적어 놓은 것이 바로 교과서다. 따라서 어떤 지식이던 그 지식은 교과서를 벗어날 수가 없다.

대부분의 프로그래머들이 이 사실을 간과한다. 아마 그들은 체계적인 교과서라는 것을 접해 본 적이 없었을 것이다. 그래서 지식은 무한정일 것이라 상상한다. 그래서 나온 것이 바로 LLM이다. 그리고 다음 단어 알아 맞추기가 바로 그것이다.

아니 아무리 그래도 그렇지 개도 아니고 돼지도 아닌 인간이 “다음 단어 알아 맞추기”로 앞으로의 21세기 문명을 이끌어 나가려 하는 것 자체가 헛웃음만 나오게 한다. GPU가 불쌍하다. 양귀비에게 식모 일을 시키는 격이다.

5. 현재 공개 버전

K엔진은 현재 두가지 형태로 제공되고 있다. 미래형버전과 현재형버전이 그것이다.

미래형 버전이란 일체 다른 보조 프로그램을 사용하지 않고 오로지 K엔진 독자 소스코드로만 작동되는 버전이다. 반면 현재형 버전은 현재 오픈소스로 나와 있는 초소형 LLM을 부분적으로 사용하는 버전을 의미한다. 하지만 답변의 생성에 있어서는 현재형이던 미래형이던 철저하게 K엔진 독자소스만 사용한다. K엔진의 여러 특허도 이 부분에 집중되어 있다.

미래형과 현재형의 차이는 질문인식에 있다. 이 경우 현재형 버전은 무료 오픈소스(Llama, Qwen, Gemma 등)를 사용하여 사용자의 질문인식 과정에서 보조적인 역할을 맡기고 있다. 물론 중심은 여전히 인코더이다. 특히 바이인코더가 핵심적인 역할을 한다. 인코더는 속도가 빠르지만 보조 LLM은 비록 초소형이긴 해도 시간을 10초 가량 잡아먹게 된다. 결국에 가서는 LLM은 제거되어야 하며 최종적으로는 미래형 버전으로 귀착하게 된다.

미래형 버전은 질문인식이더 답변생성이던 그 어느 곳에서도 LLM을 사용하지 않는다. 질문인식에서는 전통적인 강력한 오픈소스인 바이인코더와 크로스인코더(리랭커)를 사용한다. 답변생성에서는 K엔진 고유의 코드만을 사용한다. 따라서 속도는 거의 광속이다. 하지만 아무리 강력하더라도 인코더의 디폴트 성능에는 한계가 있으며 파인튜닝 역시 한계가 있다. 하지만 이 분야에서도 K엔진 특유의 각종 질문인식기법들이 개발되어 있으며 특허 역시 다양하다. 사실 지난 3년간은 이 질문인식에 있어서의 K엔진 독자코드의 개발과정이었으며 그 결과 이 세상에 모습을 드러낸 것이 바오 미래형버전인 것이다.

현재 미래형 버전은 사용자질문의 70%에 답변한다. 즉 유효 커버리지는 70%다. 따라서 이는 베타도 아니고 알파버전이며 0.3버전 정도로 보면 되겠다. 반면 현재형 버전은 보조엔진의 도움 덕에 95% 이상의 커버리지를 구현하고 있다. 현재 상용화 가능한 1.0 또는 베타버전이라 할 수 있다. 하지만 속도 문제가 있다. 대략 질문 하나당 10초가 걸리는데 물론 오류가 존재하지 않는다는 점에서 챗GPT나 재미나이와는 겸상을 거부한다. 조만간 미래형버전이 완성되는 순간 현재형버전은 K엔진의 대열에서 제거된다.

6. 도메인 확장과 개발 과정

K엔진은 각 분야별로(이것을 보통 도메인이라 부른다) 제작된다. 지금의 얼굴 전용 코스메틱 K엔진을 만드는 데까지 걸린 시간은 최소한 4년이다. 물론 그 이전에도 20여년의 시간이 있었다. 사실 2003년도 이후 지금까지 23년간 나는 인공지능의 개발에 몰두했다. 에이아이옥션을 인공지능의 형태로 서비스하고자 했던 것이 벌써 23년 전이다. 단 6개월이면 될 줄 알았던 것이 23년이 흘러버렸다. 그러나 무척 흥미진진한 세월이었다는 점에서 후회는 없다.

본래 1,000개 정도의 도메인, 즉 1,000개의 분야면 충분하다고 생각했었다. 그리고 초창기에는 각 분야별로 10억 정도는 들 것이라 추측했다. 그래서 전 분야를 다 완성하는 데에는 1조 정도가 투입될 것을 예상하고 펀딩 계획도 그 정도로 상상하고 있었다. 하지만 지금은 수백만원 정도면 하나의 분야를 찍어낼 수 있게 되었다. 다만 도메인은 1,000개가 아니라 10,000개가 적당하다는 판단이 서게 되었다. 오히려 그 이상으로 추측된다.

어쨌던 지금은 일주일에 한 도메인 씩은 찍어낼 수 있는 단계에 들어서 있다. 적어도 현재형 버전에 관해서는 그러하며 이는 이미 상용화 버전이다. 나는 원래 에이아이옥션을 이런 식으로 개발하고 있었지만 중간에 다른 도메인을 방향을 틀게 되었는데 그것은 다음과 같은 이유에서였다. 즉 나는 법원경매 전문가이지만 내가 전문이 아닌 분야에서 K엔진을 만들어 낼 수 있는 지가 궁금했기 때문이다. 그래서 택한 것이 요트 분야였는데 이 영역에서는 사용자의 수요가 너무 작았다. 그래서 다시 코스메틱으로 전환하여 지난 몇 개월의 시간의 투입했다. 이제는 그 어떤 분야던 K엔진을 개발해 낼 수 있게 되었다. 하지만 일단 지금 할 일은 다시 원래의 자리, 즉 에이아이옥션의 K엔진을 완성하는 일이다. 이 분야는 거의 미래형버전의 형태로 만들어 낼 수 있다. 왜냐하면 이미 정제된 충분한 데이터가 확보되어 있으며 법원경매에 특화된 질문인식기법이 별도로 존재하는 측면도 큰 도움을 주고 있다.

7. 향후 사업 계획

앞으로 에이아이옥션을 완성시키고 완전 무오류 권리분석 서비스를 제공하면서부터 일반공모에 들어가는 것이 지금 나의 가장 명확한 계획이다. 물론 다양한 성장과정이 있을 수 있다. 대기업과 곧바로 제휴를 하는 것이 그 중 하나인데, 또한 대부분 이를 현명하다고 생각하고 조언을 해 주기도 하지만 이번만큼은 내가 모든 것을 다 움켜쥐고 나갈 생각이다. 그 동안 산전수전 다 겪은 것이 아깝기도 하다.

K엔진의 각 도메인마다 하나의 회사가 성립하게 된다. 그리고 앞으로 적어도 1,000개 이상의 상장사를 탄생시킬 계획이다. 물론 가장 먼저 에이아이옥션을 상장시키겠지만 이것은 개인적인 윤리의식에 따른 순서일 뿐이다.

원래의 출시 계획은 에이아이옥션, 코스메틱, 조세(그 중 소득세) 이 세가지 정도를 완성시킨 후에 동시에 오픈을 시키는 것이었다. 그래야 그 시너지 효과를 바탕으로 에이아이옥션의 일반공모를 성공시킬 수 있기 때문이다. 하지만 오늘이라도 출시를 보지 못하면 마치 한강에서 뛰어내릴 것 같이 독촉을 하는 주주들 때문에 지금 이 상태에서 일단 오픈을 한다. 다만 일반공모 수순은 지금부터 밟아 나갈 수 있는 정도는 된 것 같다.