티스토리 뷰

카테고리 없음

AI 동료 만들기 (불완전한 AI, 데이터 학습, 조직 재설계)

namdopress 2026. 7. 16. 01:46

목차


    솔직히 저는 AI가 조금만 더 발전하면 그때 제대로 써봐야겠다고 생각했습니다. 그런데 최근 대한상공회의소 제주포럼에서 나온 한 마디가 그 생각을 완전히 뒤집어 놓았습니다. "AI는 아직 4살짜리 아이"라는 표현이었는데, 기다리는 동안 경쟁자는 이미 그 아이를 먼저 키우고 있다는 사실을 그제야 실감했습니다.

     

    최태원 대한상의 회장이 15일 제주 신라호텔에서 열린 제주포럼에서 개회사를 하고 있다.

    불완전한 AI, 지금 당장 써야 하는 이유

    일반적으로 새 도구는 완성도가 높아졌을 때 도입하는 것이 효율적이라고 알려져 있습니다. 저도 그렇게 믿었습니다. AI가 글자 수를 제대로 못 맞추거나 맥락을 뚝 끊고 엉뚱한 답을 내놓을 때마다 "아직 멀었다"고 단정 짓고 창을 닫아버린 적이 한두 번이 아니었습니다.

    그런데 제 경험상 이건 좀 다릅니다. 요즘 주변을 보면 AI 도구를 꾸준히 쓰는 사람과 그렇지 않은 사람 사이에 눈에 띄는 속도 차이가 생기고 있습니다. 매일 프롬프트(Prompt)를 다듬으면서 쓰는 동료는 한 달 만에 초안 작성 시간을 절반으로 줄였습니다. 여기서 프롬프트란 AI에게 원하는 결과를 얻기 위해 입력하는 질문이나 명령문을 의미합니다. 잘 설계된 프롬프트 하나가 결과물의 품질을 크게 좌우한다는 걸, 직접 써보기 전까지는 몰랐습니다.

    2015년 MIT 연구에서도 비슷한 사례를 확인할 수 있습니다. 전기 모터가 등장했을 때 기존 증기 기관 배치를 그대로 유지한 공장은 생산성이 거의 오르지 않았지만, 공장 구조 자체를 전기 모터에 맞게 새로 설계한 공장은 생산성이 수십 퍼센트 뛰었습니다(출처: MIT Sloan Management Review). AI도 마찬가지입니다. 도구만 들여놓고 일하는 방식을 그대로 유지하면 효과는 미미합니다.

    파인튜닝(Fine-tuning)이라는 개념이 있습니다. 쉽게 말해 범용 AI 모델에 특정 기업이나 개인의 데이터를 추가 학습시켜 맞춤형으로 최적화하는 과정입니다. 지금 당장 AI를 쓰면서 피드백을 쌓고 데이터를 제공해야, 나중에 파인튜닝을 거친 나만의 AI 동료가 만들어집니다. 기다리는 동안 경쟁사는 그 학습 데이터를 먼저 쌓고 있습니다.

    • AI를 지금 쓰지 않으면 경쟁사가 먼저 학습 데이터를 축적한다
    • 프롬프트 설계 능력은 반복 사용을 통해서만 길러진다
    • 도구 도입보다 업무 방식 재설계가 실질적인 성과를 만든다
    • 불완전한 AI에 피드백을 주는 과정 자체가 경쟁력의 원천이다
    요약: AI가 불완전하더라도 지금 당장 써야 하는 이유는, 쓰는 동안 쌓이는 데이터와 경험이 곧 미래의 격차를 만들기 때문입니다.

     

    데이터 학습과 조직 재설계, 두 바퀴가 함께 굴러야 한다

    제가 직접 써봤는데, AI는 처음엔 정말 어설픕니다. 원하는 글자 수를 맞추지 못하고, 문맥을 잃고, 때로는 없는 정보를 있는 것처럼 늘어놓기도 합니다. 이런 현상을 할루시네이션(Hallucination)이라고 부릅니다. 여기서 할루시네이션이란 AI가 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 출력하는 오류를 말합니다. 솔직히 이건 예상 밖이었습니다. 처음에는 AI가 틀린 내용을 그렇게 확신 있게 말하는 게 당혹스러웠거든요.

    그런데 포기하지 않고 계속 피드백을 주다 보면 달라집니다. "이 방향은 아니다", "이런 맥락에서 다시 써달라" 하고 구체적으로 요청하면, 같은 AI 도구도 이전보다 훨씬 정밀한 결과를 냅니다. 이 경험이 쌓이면서 저는 AI를 탓하기보다 제가 더 나은 질문을 만드는 데 집중하게 됐습니다.

    그러나 개인의 노력만으로는 한계가 있습니다. AI 전환(AI Transformation), 줄여서 AX라고도 부르는 이 개념은 단순히 AI 소프트웨어를 구매하는 것을 넘어, 조직의 의사결정 구조와 업무 프로세스 전체를 AI 중심으로 재설계하는 것을 의미합니다. 전기가 처음 보급됐을 때도 전기 콘센트만 꽂아놓은 공장과, 생산 라인 전체를 전기에 맞게 뜯어고친 공장의 성과는 비교 자체가 되지 않았습니다. AI도 같은 논리입니다.

    대한상공회의소가 제주포럼에서 강조한 핵심도 바로 이 지점입니다(출처: 대한상공회의소). 기업이 보유한 고유한 지식과 데이터를 지속적으로 AI에게 학습시키면서, 동시에 조직 구조와 협업 방식까지 바꿔야 진짜 경쟁력이 생긴다는 것입니다. AI 도구를 도입하는 것과 AI 중심으로 일하는 것은 완전히 다른 이야기입니다. 제 경험상, 이 차이를 일찍 깨달을수록 시행착오를 줄일 수 있습니다.

    요약: 데이터 학습과 조직 재설계는 동시에 이루어져야 하며, 어느 한쪽만으로는 AI의 진짜 경쟁력을 끌어낼 수 없습니다.

     

    자주 묻는 질문

    Q. AI가 아직 불완전한데 지금 도입하는 게 맞나요?

    A. AI가 완벽해질 때까지 기다리는 것이 현명하다고 생각하는 분들도 있는데, 저는 반대로 봅니다. 지금 쓰면서 피드백과 데이터를 쌓는 과정 자체가 미래의 경쟁력이 됩니다. 기다리는 동안 경쟁사는 이미 그 격차를 벌리고 있을 가능성이 높습니다.

     

    Q. AI에게 데이터를 학습시킨다는 게 구체적으로 어떤 건가요?

    A. 가장 쉬운 방법은 업무에서 실제로 사용한 문서, 보고서, 고객 응대 내용을 AI에게 맥락으로 제공하면서 피드백을 반복하는 것입니다. 더 나아가면 파인튜닝을 통해 회사 고유의 언어와 기준에 맞는 맞춤형 AI 모델을 만들 수도 있습니다. 처음부터 거창하게 시작할 필요는 없고, 일상 업무에서 조금씩 쌓아가는 것이 현실적입니다.

     

    Q. AI 전환(AX)을 하려면 조직에서 무엇부터 바꿔야 하나요?

    A. 일반적으로 AI 툴 구독부터 시작하면 된다고 알려져 있지만, 실제로 써보니 툴보다 먼저 바꿔야 할 것은 업무 프로세스입니다. 기존 방식에 AI를 끼워 넣는 것이 아니라, AI가 어느 단계에서 어떤 역할을 맡는지를 처음부터 설계해야 효과가 납니다. 소규모 팀이라면 하나의 반복 업무를 골라 AI로 대체하는 실험부터 시작하는 것이 좋습니다.

     

    Q. AI가 틀린 정보를 사실처럼 말하는 할루시네이션, 어떻게 대처하나요?

    A. 중요한 팩트는 반드시 원본 자료와 교차 확인하는 습관이 필요합니다. AI 출력물을 초안으로 보고 사람이 검수하는 구조를 만들면, 할루시네이션의 리스크를 실무에서 충분히 관리할 수 있습니다. 저도 처음엔 당혹스러웠지만, 이 검수 루틴을 정착시킨 뒤로는 오히려 작업 속도가 빨라졌습니다.

     

    결론

    정리하면, AI를 지금 당장 쓰기 시작하는 것이 맞습니다. 불완전하더라도, 아니 불완전하기 때문에 지금이 오히려 적기입니다. 피드백을 주고 데이터를 쌓으면서 나만의 방식으로 길들이는 과정이, 나중에 진짜 경쟁력의 차이를 만들기 때문입니다.

    저도 이제는 AI가 맥락을 놓치거나 글자 수를 틀려도 창을 닫지 않습니다. 오히려 "왜 이런 결과가 나왔을까"를 생각하고, 더 나은 프롬프트를 설계하는 쪽으로 에너지를 씁니다. 어차피 피할 수 없는 흐름이라면, 지금부터 자주 쓰고 길들이면서 진정한 나만의 똑똑한 동료로 키워나가는 것이 최선이라고 생각합니다.

    참고: https://www.inews24.com/view/1985997