제가 요즘 업무용으로 사용할 AI 에이전트(앱)를 개발하고 있습니다.
요즘 다들 업무에서 AI를 활용하고 있으실텐데. 지난해부터 저도 업무적인 필요가 있을 경우 Gemini나 Chat GPT, Claude를 동시에 열어 놓고 같은 질문을 던져서 각 AI의 답변을 비교해 보고 있습니다.
그동안의 경험의 결론은 AI 답변의 정확도가 평균 70~80% 정도 된다고 판단하고 있습니다.
일반적인 질문이나 공개된 자료나 정보가 있는 부분은 상당히 정확하고 세밀하게 답변이 이루어지고 있지만, 업무적으로 민감하거나 구체적인 질문을 할 경우에는 정답률이 현저히 떨어지게 됩니다.
잘못된 내용을 그럴싸하게 포장하여 답변하는 경우도 문제이지만, 핵심 없이 이것저것 검색된 것들을 모조리 모아서 답변하는 경우도 문제가 됩니다.
예를 들자면, 실무에서 장비 운전과정에서 에러가 떠서 AI에게 질문을 하였는데, AI가 가장 가능성 크거나 정확한 사유 1~2가지를 압축해서 제공해 주면 좋을텐데, LLM으로 검색해서 수집된 10여 가지의 가능성 있는 요소들을 쭉 나열해 버리는 식의 답변도 문제입니다. 질문한 사람은 “○○이 원인일 가능성이 높으니 일단 ○○ 먼저 확인해 보면 좋을 것 같다”는 식의 답변을 기대했을텐데, 이것저것 가능성이 있는 10가지에 대해서 AI가 답변을 내놓으면 미처 생각지 못한 다른 문제들까지 머릿속에 떠오르면서 문제가 더 복잡해지고 문제 해결에서 헤매게 될 수도 있습니다.
그래서, 기술적 문제들에 있어서는 핵심적인 사항으로 압축하는 것과 정확도 높은 답변 쪽으로 집중하는 것이 필요하다는 생각을 하게 되었습니다. 그래야 업무에서 직접적으로 활용이 가능하지, 현재와 같은 수준이라면 업무에 참고를 할 수는 있겠지만 바로 업무에 반영하기는 어렵겠다는 생각이 들었습니다.
그리고, AI의 성능이 좋아졌다고 하는데도 왜 세부적인 질문에 대해서는 정확도가 높아지지 않는가 생각해보았는데, 일단 제 의견을 이랬습니다. 지금의 AI가 기본적으로 LLM에 기반하다보니 온라인상에 공개된 자료가 있을 경우 검색되어 답변에 반영되지만, 공개된 자료나 정보가 없을 경우 정확도가 떨어지게 될 겁니다. 특히, 업무에서 발생되는 아주 구체적인 질문이나, 같은 장비라도 특정 상황이나 다른 운전조건에서 발생될 수 있는 문제들에 대한 자료나 정보는 공개되어 있는 경우가 많지 않습니다. 내용이 충실한 고급 자료들도 대부분은 홈페이지나 블로그 등에 공개되는 경우는 많지 않죠. 대부분 그런 구체적인 질문이나 답변, 고급 자료들은 로그인해서 들어가야 하는 온라인 카페에 있는 경우가 대부분일 겁니다.
그래서, 지난달부터 업무용으로 활용할 수 있는 AI(에이전트, 앱)를 개발하기로 하였고, 현재 AI를 사전학습시키고 있습니다. 현재와 같은 환경에서는 기술업무용으로 사용할만한 AI가 자생적으로 실력을 갖추어 나가기는 쉽지 않을 것 같고, 특정한 상황에서 접하게 되는 문제나 질문은 인간의 판단 없이는 정확한 답변을 주기 어렵다고 봅니다. 그래서 인간의 지능(H.I)과 인공지능(A.I)이 결합된 AI 에이전트(앱)를 개발하기로 하였고, AI의 실력을 높이기 위하여 인간이 개입하여 딥러닝(강화학습, 미세조정, RAG)을 하고 있습니다.
그동안 제가 가입한 기계설비 관련 온라인 카페와 몇몇 사이트의 게시글들과 자료들을 AI가 수집(크롤링)하였고, AI가 스스로 내용을 요약정리하는 작업을 진행하고 있습니다. 온라인카페의 자료들이나 댓글들이 모두 정확한 것이 아니기 때문에 AI가 요약정리하여 학습하는 내용이 틀릴 수 있습니다. 그래서 제가 AI의 학습내용을 검수하고 있습니다. AI의 답변이 틀릴 경우 제가 수정을 해주고 있습니다. 잘못된 답변을 수정해 주고 다시 AI에게 질문해 보니 AI의 답변이 정확한 방향으로 달라지는 것은 확인했습니다.
문제는, AI가 학습하는 속도를 저 혼자의 힘으로는 따라잡기 힘듭니다. 검수해줘야 하는 AI 학습내용이 쌓이고 있어서 AI 학습에 참여할 전문가들이 더 필요한 상황입니다. AI 학습이 어느 정도 진행되면 기계설비 업무용 AI 앱을 공개하여 일반인들의 테스트 기간을 가질 예정입니다. 테스트 사용 기간을 통해 AI의 정확도가 어느 정도 높아지면 소정의 사용료를 받는 유료버전으로 전환할 예정입니다.
추후 오픈될 기계설비 업무용 AI 앱은 사전학습이 되었다고 하더라도 인간 지능의 추가 답변이 이루어지는 형태로 개발할 계획입니다. 질문자가 질문하면 1차로 AI가 답변을 하고, 그 답변이 부족하거나 잘못되었다고 생각되면 질문자가 2차로 전문가의 답변을 요청하는 방식입니다. 2차의 전문가 답변으로도 부족하다면 3차로 현장방문이나 인적지원(비용 발생)을 요청하는 방식입니다.
저와 같이 업무용 AI를 학습시키고 추후 AI 에이전트(앱)의 운영에 참여할 기술자분들을 모십니다. 당장은 AI의 학습내용의 검수와 학습할 자료의 업로드가 주요 일이고, 추후에는 AI의 1차 답변이 미진할 경우 2차 답변 요청이 오면 그에 대응해 주는 것이 주요 업무가 될 것 같습니다. 유료버전으로 공개될 AI 앱의 디자인과 개발은 이달중에 진행될 예정인데 이 과정에 참여하실 수도 있습니다.
관심 있으신 분들은 제게 간단한 소개글과 연락처 등을 이메일로 연락 부탁드립니다.
(푸른기술 연규문 대표 : ygm00001@naver.com )
<현재 AI를 사전학습시키고 있는 과정>
1. AI와 제가 질의응답을 하면서 AI가 답변한 내용의 보완이 필요할 경우 수정해 주고 있는 메뉴창
2. AI가 학습할 자료를 수동으로 AI에게 업로드 해주는 메뉴창
3. AI가 자체 학습한 내용을 제가 검수해 주고 있는 메뉴창
4. AI에게 특정 사항(이슈, 문제)에 대한 정답을 강제로 입력해 주는 메뉴창
제가 요즘 업무용으로 사용할 AI 에이전트(앱)를 개발하고 있습니다.
요즘 다들 업무에서 AI를 활용하고 있으실텐데. 지난해부터 저도 업무적인 필요가 있을 경우 Gemini나 Chat GPT, Claude를 동시에 열어 놓고 같은 질문을 던져서 각 AI의 답변을 비교해 보고 있습니다.
그동안의 경험의 결론은 AI 답변의 정확도가 평균 70~80% 정도 된다고 판단하고 있습니다.
일반적인 질문이나 공개된 자료나 정보가 있는 부분은 상당히 정확하고 세밀하게 답변이 이루어지고 있지만, 업무적으로 민감하거나 구체적인 질문을 할 경우에는 정답률이 현저히 떨어지게 됩니다.
잘못된 내용을 그럴싸하게 포장하여 답변하는 경우도 문제이지만, 핵심 없이 이것저것 검색된 것들을 모조리 모아서 답변하는 경우도 문제가 됩니다.
예를 들자면, 실무에서 장비 운전과정에서 에러가 떠서 AI에게 질문을 하였는데, AI가 가장 가능성 크거나 정확한 사유 1~2가지를 압축해서 제공해 주면 좋을텐데, LLM으로 검색해서 수집된 10여 가지의 가능성 있는 요소들을 쭉 나열해 버리는 식의 답변도 문제입니다. 질문한 사람은 “○○이 원인일 가능성이 높으니 일단 ○○ 먼저 확인해 보면 좋을 것 같다”는 식의 답변을 기대했을텐데, 이것저것 가능성이 있는 10가지에 대해서 AI가 답변을 내놓으면 미처 생각지 못한 다른 문제들까지 머릿속에 떠오르면서 문제가 더 복잡해지고 문제 해결에서 헤매게 될 수도 있습니다.
그래서, 기술적 문제들에 있어서는 핵심적인 사항으로 압축하는 것과 정확도 높은 답변 쪽으로 집중하는 것이 필요하다는 생각을 하게 되었습니다. 그래야 업무에서 직접적으로 활용이 가능하지, 현재와 같은 수준이라면 업무에 참고를 할 수는 있겠지만 바로 업무에 반영하기는 어렵겠다는 생각이 들었습니다.
그리고, AI의 성능이 좋아졌다고 하는데도 왜 세부적인 질문에 대해서는 정확도가 높아지지 않는가 생각해보았는데, 일단 제 의견을 이랬습니다. 지금의 AI가 기본적으로 LLM에 기반하다보니 온라인상에 공개된 자료가 있을 경우 검색되어 답변에 반영되지만, 공개된 자료나 정보가 없을 경우 정확도가 떨어지게 될 겁니다. 특히, 업무에서 발생되는 아주 구체적인 질문이나, 같은 장비라도 특정 상황이나 다른 운전조건에서 발생될 수 있는 문제들에 대한 자료나 정보는 공개되어 있는 경우가 많지 않습니다. 내용이 충실한 고급 자료들도 대부분은 홈페이지나 블로그 등에 공개되는 경우는 많지 않죠. 대부분 그런 구체적인 질문이나 답변, 고급 자료들은 로그인해서 들어가야 하는 온라인 카페에 있는 경우가 대부분일 겁니다.
그래서, 지난달부터 업무용으로 활용할 수 있는 AI(에이전트, 앱)를 개발하기로 하였고, 현재 AI를 사전학습시키고 있습니다. 현재와 같은 환경에서는 기술업무용으로 사용할만한 AI가 자생적으로 실력을 갖추어 나가기는 쉽지 않을 것 같고, 특정한 상황에서 접하게 되는 문제나 질문은 인간의 판단 없이는 정확한 답변을 주기 어렵다고 봅니다. 그래서 인간의 지능(H.I)과 인공지능(A.I)이 결합된 AI 에이전트(앱)를 개발하기로 하였고, AI의 실력을 높이기 위하여 인간이 개입하여 딥러닝(강화학습, 미세조정, RAG)을 하고 있습니다.
그동안 제가 가입한 기계설비 관련 온라인 카페와 몇몇 사이트의 게시글들과 자료들을 AI가 수집(크롤링)하였고, AI가 스스로 내용을 요약정리하는 작업을 진행하고 있습니다. 온라인카페의 자료들이나 댓글들이 모두 정확한 것이 아니기 때문에 AI가 요약정리하여 학습하는 내용이 틀릴 수 있습니다. 그래서 제가 AI의 학습내용을 검수하고 있습니다. AI의 답변이 틀릴 경우 제가 수정을 해주고 있습니다. 잘못된 답변을 수정해 주고 다시 AI에게 질문해 보니 AI의 답변이 정확한 방향으로 달라지는 것은 확인했습니다.
문제는, AI가 학습하는 속도를 저 혼자의 힘으로는 따라잡기 힘듭니다. 검수해줘야 하는 AI 학습내용이 쌓이고 있어서 AI 학습에 참여할 전문가들이 더 필요한 상황입니다. AI 학습이 어느 정도 진행되면 기계설비 업무용 AI 앱을 공개하여 일반인들의 테스트 기간을 가질 예정입니다. 테스트 사용 기간을 통해 AI의 정확도가 어느 정도 높아지면 소정의 사용료를 받는 유료버전으로 전환할 예정입니다.
추후 오픈될 기계설비 업무용 AI 앱은 사전학습이 되었다고 하더라도 인간 지능의 추가 답변이 이루어지는 형태로 개발할 계획입니다. 질문자가 질문하면 1차로 AI가 답변을 하고, 그 답변이 부족하거나 잘못되었다고 생각되면 질문자가 2차로 전문가의 답변을 요청하는 방식입니다. 2차의 전문가 답변으로도 부족하다면 3차로 현장방문이나 인적지원(비용 발생)을 요청하는 방식입니다.
저와 같이 업무용 AI를 학습시키고 추후 AI 에이전트(앱)의 운영에 참여할 기술자분들을 모십니다. 당장은 AI의 학습내용의 검수와 학습할 자료의 업로드가 주요 일이고, 추후에는 AI의 1차 답변이 미진할 경우 2차 답변 요청이 오면 그에 대응해 주는 것이 주요 업무가 될 것 같습니다. 유료버전으로 공개될 AI 앱의 디자인과 개발은 이달중에 진행될 예정인데 이 과정에 참여하실 수도 있습니다.
관심 있으신 분들은 제게 간단한 소개글과 연락처 등을 이메일로 연락 부탁드립니다.
(푸른기술 연규문 대표 : ygm00001@naver.com )
<현재 AI를 사전학습시키고 있는 과정>
1. AI와 제가 질의응답을 하면서 AI가 답변한 내용의 보완이 필요할 경우 수정해 주고 있는 메뉴창
2. AI가 학습할 자료를 수동으로 AI에게 업로드 해주는 메뉴창
3. AI가 자체 학습한 내용을 제가 검수해 주고 있는 메뉴창
4. AI에게 특정 사항(이슈, 문제)에 대한 정답을 강제로 입력해 주는 메뉴창