#2. 인공지능 서비스 - 챗봇 Step 4. 사전에 충분한 지식을 전달하고 함께 학습 하기!

우리는 앞선 글을 통해 성공적으로 AI 서비스를 개발하거나 도입하는 것을 목적으로 프로젝트의 공식 착수 이전에 

목표로 하는 AI 서비스에 대하여, 소속된 조직 내부는 물론 기업내 협력이 요구되는 조직들  각자가 서로 다른 정의와 기대 효과 그리고 활용 방안을 가지고 있던 상황을 해결할 필요가 있는것을  잘 알고 있습니다.

이를 위해 가장 먼저, 이해 관계자들이 그 추진 방향과 목표를 공감 할 수 있도록 잘 알려진 선행 사례와 수치를 활용하여 필요성 측면에서 사전 논쟁을 유도하였으며 

앞으로의 프로젝트 진행 단계 별 추진 방향에 대한 의사 결정의 매 순간 마다 이해 관계자들에게 정확한 정보를 전달 할 것임을 암시적으로 표현 하기도 하였습니다.

이제 남은 것은 관련 분야에 경험이나 지식이 없는 상황에서 잘못된 의사 결정이나 행동을 미연에 방지하기 위해 "사전에 충분한 지식을 전달하고 함께 학습" 하는 것이라 생각 합니다.

(나던 남이던 알면 얼마나 더 알겠는가.. 인터넷 검색만 해도 다 나오는 한 줌도 되지 않는 지식으로 자존심 세우려 하지 말고, 함께 학습 하며 결과물의 완성도를 높이는 대 힘쓰자~! 그것이 상생이다. 꼰대가 되지 말자~!)

이는 본인의 경험을 바탕으로 작성된 글임을 다시 한번 밝히며,

이러한 사항이 AI 업계에 종사 하시는 분들에게도 도움이 되기를 바라는 마음에 그 사례를 소개 하고자 합니다.

(관련 전문 용어나 이미지 등은 하단의 reference 들을 참조 하여 작성 하였습니다.)


챗봇의 작동 원리 그리고 최적 성능 확보를 위한 노력  

역은이: In-Sung Lee


모든 챗봇이 인간의 언어를 완벽히 이해하고 자연스럽게 대화하는 것을 목표로 가져야 할까요?

아마도 사람처럼 말하고 답변 하지 않는 단순 챗봇이라 하더라도 고객의 문제를 해결해 줄 수 있다면 그 자체로 의미가 있을 것입니다. 몇 개의 버튼과 텍스트로 이루어진 Rule-Based 봇이나 FAQ 과 같이 비교적 쉽게 만들 수 있는 챗봇이 고객을 실망 시킬 확률이 낮은 것처럼 말입니다.

하지만, 기업이 사람의 언어 즉 자연어의 처리에 기반한 대화형 챗봇을 만들려 한다면 지난 2편에서 소개해 드린 서비스 활성화를 위한 노력만으로 가능해 지는 것일까요?

아마도, 우리는 챗봇을 구성하는 핵심 기술과 그 성능 확보 방안에 대하여 충분한 학습과 검토가 필요하다 는 것을 공감하고 있을 것입니다.

 

1.  이를 위해 가장 먼저 챗봇의 언어학습 원리을 먼저 검토해 보도록 하겠습니다.

인간은 태어난 순간부터 언어를 접합니다. 아기가 세상에 나온 순간 부모로부터 불리는 이름은 처음에는 여러 소리 중 하나로 들리겠지만, 아이가 커가며 듣는 장난감에서 나는 방울 소리나 음악 소리와는 다르게 어떠한 언어적 의미가 있다는 것을 서서히 깨우쳐 나갈 것입니다. 그리고 자기를 부르는 소리와 밥 먹을 시간이 되었다는 것을 알려 주는 소리가 갖는 의미를 아기는 놀라운 속도로 배워 갑니다.  

 

첫째, 챗봇의 언어 vs 인간의 언어, 그리고 기업 고객의 언어

아마도 우리가 기대하는 대화형 챗봇 (chatbot) 또는 대화 시스템 (dialogue system) 은 고객이 무엇을 원하는지, 고객의 언어를 이해하고 적절한 답을 해야 하며, 감성 분석(sentiment analysis) 필요 하다면 고객이 어떤 주제에 대해 어떤 감성을 가지고 있는지 파악하여 숫자로 나타내야 할 것입니다.

이렇게 언어를 처리하는 (NLP: natural language processing) 시스템을 만들려면 언어에 대한 이해 (NLU: natural language understanding) 가 필수 적입니다.

<그림:  NLP vs NLU vs NLG 구성>

언어의 이해를 위해 오랜 시간 많은 언어 학자들은 하나의 언어가 어떻게 쓰이는지 그로 인해 어떠한 규칙들이 있는지 연구해 왔습니다.

그러한 노력이 있기에 언어에는 수많은 규칙들이 있고 이에 따라 우리는 말을 하거나 글을 쓴다라는 것을 우리는 잘 알고 있으며, 모든 언어에 있는 정해진 어순 그리고 ‘~’,’~과 같은 조사에 대한 규칙을 그 하나의 예로 들 수가 있습니다.


나는 사과를 먹는다: <주어> + <목적어>+<동사>”

<1-1> 정해진 오순과 조사에 대한 규칙

 

컴퓨터 프로그래밍 언어는 컴퓨터 컴파일러(이하, 컴퓨터)가 이해해야 하는 인공 언어 (artificial) 이기 때문에 무조건 규칙에 의해 파생된 문구만 이해할 수 있으며, 그러한 조건이 있기에 예외 문법을 처리할 필요가 없습니다.

반면 인간의 언어는 이러한 규칙을 어긴 문장이라 하여도, 우리는 이 문장을 이해 하는데 큰 문제가 없습니다.

나는 먹는다 사과를: <주어> + <동사> + <목적어>”

<1-2> 인간에 의한 규칙을 어긴 문장

 

이처럼 컴퓨터와는 다르게 인간은 예외 경우를 상당히 유연하게 처리 할 수 있다는 것을 알 수 있습니다.

이러한 처리가 가능 하기 위해 우리 인간의 뇌는 얼마만큼의 학습 기간이 필요 했으며, 얼마나 많은 규칙을 저장하고 있어야 하는 걸까요?

더 나아가, 업종이나 기업에 따라 상품이나 사업 모델 별(domain 특성) 상이한 고객의 언어는 인간의 일반적인 언어와 달리 학습이나 규칙 측면에서 더 많은 노력을 필요로 할 것이라는 것을 우리는 예상할 수 있을 것입니다.

둘째. 컴퓨터에게 이러한 유연한 언어 처리가 가능하도록 학습 시킬 수는 방법은 없을까요?

인간은 말을 하였을 때 그 화자의 말, 감정 상태, 주변 환경 등을 고려 하여 언어로 답을 하거나 행동으로 취하게 됩니다.

만약, 이러한 우리의 말을 하나의 입력(x)과 출력(y)이 가능한 함수(f)(또는 규칙으로 표현 가능 하다면 우리는 대화나 언어를 함수라는 모델로 정의할 수 있을 것입니다.

l Input(x): 말하는 사람이 전달하는 말, 감정 또는 주변 환경 등

l Output(y): 듣는 사람의 답변과 행동


컴퓨터에게 이 x y 의 상관 관계를 갖는 함수(f)를 찾게 하면 어떻게 될까요? 정확한 관계를 찾기가 불가능하다면 그 근사치를 구해 보는 것은 어떨까요?

사람이 직접 인간의 언어라는 엄청나게 복잡한 시스템을 함수(f)로 표현하고 그 상관 관계에 대한 근사치를 구하는 것은 불가능에 가까운 것이라는 것을 우리는 잘 알고 있습니다.

하지만, 인공지능 기술을 활용한다면 어떨까요?

머신 러닝의 본질은 수많은 데이터가 주어 졌을 때 주어진 데이터를 어떠한 형태의 함수에 맞추는 것(fit) 이며, 딥 러닝은 더욱 복잡하고 매개변수(parameter)가 많은 함수 (f)를 근사화 하는데 더욱 유용한 기술 이라고 잘 알려져 있습니다.

<챗봇 이루다의 편향과 데이터 수집 과정에서 문제>

다만 인공지능 기술 활용에서 간과 해서는 안되는 것이 있습니다. 그 것은 바로 학습을 위한 데이터 입니다.  

20201223일 출시한 20세의 여성 챗봇 이루다는, 성 착취 문제로 논란이 불어지면서 11일 인공지능 협회의 AI 윤리 규정 준수 위반에 따른 서비스 중단 요청과 함께 편향이나 데이터 수집 과정의 문제가 언론에 도배 되고 있습니다. 그리고 이 연재 기사를 작성하고 있는 지금 서비스 중단을 선언 하였습니다.

진짜 사람과 같은 챗봇을 위해 실제 연인들이 나눈 약 100 억건의 대화 데이터를 딥 러닝 방식으로 이루다에게 학습 시켰는데 무엇이 문제 이였을까요?

회사 측 은 "인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바란다라 고 이야기 하고 있습니다.

반면, 학습에 사용한 데이터는 연애와 결혼 생활을 위한 정보 제공을 목적으로 개발 되었지만 세속적인 관점에서 만들어진 어플, 19금 톡 이나 세속적인 이론들로 채워진 정보들이 대부분이 라는 평가를 받는 연애의 과학의 데이터를 사용하였다고 합니다. 동성애, 장애인 등 사회적 소수자에 대한 혐오 발언과 연애의 과학 이용자들의 카카오 톡 대화를 학습하게 된 것이죠. 미처 필터링 되지 못한 개인 정보까지 말이죠……


만약 우리가 대화형 챗봇 이루다를 학습 시키고자 한다면 어떠한 고민을 하게 될까요?

24시간 언제나 친절한 상담사 분들의 답변과 교양이 풍부한 고객의 100억건에 달하는 질의 응답 데이터를 학습 시키는 방법 일까요?

혹시, 데이터 학습 시 주어진 데이터에 대하여 편향 여부를 검토 보완하고, 부족하지 않는 필터링과, 데이터 수집 과정상의 문제는 없는지 확인함 과 동시에 학습을 위한 데이터를 확보해 나가는 노력이 필요 한 것이 아닐까요?

이제, 우리는 인공지능 기술을 활용하고 AI 윤리 규정을 준수하며 고객 언어에 대한 입력과 출력 그리고 그 관계에 대한 근사치를 지속적으로 구하고 학습 시켜가는 과정에서, 우리는 고객 언어를 진정으로 이해 (NLU: natural language understanding)하고, 발화를 생성(NLG: natural language generating) 하며, 고객 일상의 자연어 처리 (NLP: natural language understanding) 가 가능한 유연한 챗봇을 만들어 가는 방법을 알게 되었을 것 입니다.

 

 셋째. 지능형 챗봇을 위한 대화는 어떻게 디자인 할까?

     - 우리는 이미 일상에서 무의식적으로 휴대폰이나 AI 스피커의 비서, 또는 챗봇과 같은 대화형 에이전트를 사용해 본 경험이 있을 것이며, 그 과정에서 AI 기술에 대한 놀라움과 함께 실망감 그리고 기대감이 교차 했을 거라 생각 합니다.

    - AI 기술이 점차 발전 하는 것인 사실이나, 이런 대화형 에이전트의 대화는 여전히 사람이 디자인 해야 하며 그렇기에 대화 설계에서 부터 세밀한 고려가 필요 하게 됩니다.

    - 대화를 잘못 설계한다는 것은 곧 잘못된 학습을 야기하는 것이며, 이는 곧 서비스 품질 저하로 이어져사용자의 불만 가득한 대화 또는 외면을 받게 될 것입니다. 그리고 이를 다시 학습하는 과정을 거치며 우리의 챗봇은 고객과 영원한 이별을 맞이 하게 될 것 입니다.

 고객과 사랑의 대화가 가능한 챗봇을 위해서 우리는 어떤 노력을 함께 해야 할까요?

    우리에게 맞는 대화의 형태를 함께 고민 해야 합니다.

대화 다이얼로그에는 목적 없이 자유롭게 자신의 생각을 소통하는 칫챗 다이얼로그(chit-chat dialog) 가 있으며

n  그와 반대로 식당 예약과 같이 뚜렷한 목적이 있는 대화 시나리오를 갖는 테스크 지향 다이얼로그 (task oriented dialog, TOD) 가 있습니다. 이는 챗봇이 목적을 이루기 위해 고객과 서로 대화를 주고 받는 형태로, 우리는 고객이 목적에 도달하는 과정 까지의 대화를 부드럽고 자연스럽게 고객이 원하는 형태로 설계해야만 합니다.


<식당 예약 대화 예시>

n  우리는 고객이 말에 여러 의도와 정보가 담기는 것을 알고 있습니다. “여보세요? 오늘 내외 빌딩 817시 예약 하려고 하는데, 가능 한가요?” 라는 문장에서는 오늘”, “17”, “8”, “예약이라는 정보가 있으며, 이 문장은 예약을 위한 단락과 사용 가능 여부를 묻는 FAQ (Frequently Asked Questions) 성격의 대화가 섞여 있습니다.

n  우리는 고객이 말한 문장 속에 존재 하는 의도와 정보를 찾아 최대한 짧은 구간에 고객의 요청이나 질의를 처리 할 수 있도록 디자인 해야 합니다.

n  또한, 고객은 사람이기에 기계와 다르게 하나의 문장에 여러 요청을 담아 말하거나 질문하는 경우나, 더 이상 말을 하지 않는 무 응답 상황과 같이 예상치 못한 상황이 발생 할 수 있습니다. 이러한 경우들에 대비 하여 능동적인 상담원 연결, 대화 종료와 같은 방법 등을 구상하고 합의해 두어야 합니다.

 

    고객과의 대화, 그 구성 요소를 이해 하여야 합니다.

n  대화 시나리오는 여러 가지 대화의 구성 요소를 조합하여 사용자의 목적에 도달 할 수 있도록 대화 흐름을 디자인 하는 것으로, 구성 요소 각각의 형태와 특징을 알아 둬야 매끄러운 대화를 설계 할 수 있습니다.

<발화에서 추출한 인텐트>

n  발화는 대화를 이루는 문장 이며, 대화 시나리오를 처리 하기 이전의 형태 이며, 컴퓨터는 사람과 달리 발화를 보고 대화를 처리 하기 쉽지 않습니다.

n  그래서 컴퓨터가 이해하기 위한 정보로 가공하는 단계를 거치게 됩니다. “예약 하려고 하는데요”,”예약 할 수 있을까요?” 는 서로 다른 문장이지만 두 의도 모두 예약 처리와 관련된 의미 예약 처리발화의 의도를 가지고 있다 하고 합니다. 이 의도를 인텐트 (intent) 라고 하며 컴퓨터가 대화 시나리오를 처리하는 용도로 사용 됩니다.

n  대화형 챗봇의 대화 처리 과정에서 여러 발화는 자연어 처리 모듈(NLU)를 거쳐 인텐트로 변경되며 정보 시스템은 이 인텐트를 기준으로 대화를 처리하게 됩니다.   

n  대화를 구성하는 요소로 이러한 인텐트 이외에도 발화내 의미 있는 정보를 말하는 슬롯 (slot) 그리고 날짜, 숫자, 이름, 주소 등과 같이 데이터 타입에 따라 구분되는 슬롯의 성분인 엔티티(entity) 등 이 있습니다.  

<엔티티 별로 나열된 슬롯>

    좋은 대화 시나리오로 서비스 질을 높여가야 합니다.

n  대화는 결국 목적이 있으며 이는 계층적으로 관리 수 있습니다. 우리는 목적이라는 큰 주제에 대해서 대화 시나리오를 구성 해야 합니다.

<대화 구조 예시 (식당 예약 프로젝트>

n  식당 예약을 위해 통화를 할 때 통화 시작에 대한 안내 태스크, 예약 진행을 위한 태스크, 문의를 위한 FAQ 등 대화의 커다란 범위의 주제들이 존재할 것입니다.

n  그리고 안내 태스크 에서는 인삿말을 위한 액티브의, 예약 진행에서는 좌석 확인, 예약 확정 등 다양한 하위 분류의 액티비티가 존재하고 그 목적에 따라 대화가 구성될 것 입니다.

n  이와 같이 대화 시나리오를 디자인할 때 태스크와 액티브 티를 각각 구성하고 그 하위에 대화 구성 요소를 조합하여 최종적으로 대화 시나리오를 설계 해야 합니다.

 

2.     우리는 챗봇 시스템의 구성을 이해하고 함께 검토 해야 할 것 입니다.

먼저, 다양한 사례의 챗봇 시스템 아키텍처를 우선 적으로 참고해볼 필요가 있을 것입니다.

그 과정에서 우리는 우리가 원하는 챗봇과 유사한 형태의 또는 새로운 시스템에 대한 표현이 가능해 질 것이며, 그 디자인을 효율적으로 구현 하기 위해 요구 되는 기본 원리와 과정을 이해하고 묘사 할 수 있게 될 것입니다.

첫째. 챗봇 시스템의 일반적 구성 요소와 정보 전달 관계를 이해 하여야 합니다.

<대화형 챗봇 시스템 일반 구성도>

n  대화형 챗봇 구성도에서 확인 가능 하듯, 고객으로부터의 정보 요구 발화는 챗봇의 핵심에 해당하는 자연어 이해 부문(NLU Component) 에 전달 되게 되며, 챗봇은 사람의 언어 “Hello”를 이해하게 됩니다.

n  대화 운영체제 모델 (Dialogue Management Model: DMM) NLU 로부터 그 내용을 전달 받아 고객에게 전달할 정보(대화문) “How can I help you” 을 추출 하게 됩니다,

n  또한, DMM 에서 고객의 요구 문장을 해독 하는 과정에서 지난 대화 정보와 챗봇의 처리된 응답을 활용하게 되며 날씨 정보 요청과 같이 필요한 정보가 외부에 있는 경우 API 검색 정보 결과를 활용 하게 됩니다.

n  이렇게 API 콜로 데이터 베이스에서 구한 정보는 DMM에서 응답 문장으로 만들어져 Message Generator 로 보내져 사용자의 디바이스로 보내 지게 됩니다.

 

둘째. 우리가 챗봇에 거는 기대감 그리고 단계별 실행 전략에 대한 공감

지금까지 소개된 원리를 기초로 챗봇을 개발하게 된다면 영화 그녀(Her)” 에서 남자 주인공 시어도어를 사랑에 빠트린 인공지능 운영체제(OS) ‘사만다와 같이, 우리가 상상해왔던 기능과 성능을 보장하는 이상적인 대화형 챗봇을 만들어 낼 수 있을까요?


Level

내 용

1 세대

1개 채널, 1개 언어, 인간과 챗봇 간의 대화, 간단한 대화 수행, 미리 설정한 메뉴 방식으로 개발

2 세대

다중 채널, 다중언어 의사소통, 반무인실행, 감성 파악, 대화 수행 능력, 자연언어처리기술을 통한 훈련 모델

3 세대

다자간 채팅, 챗봇 간의 의사소통, 과거 담화 기억력, B2B, 대화 청취 기능, 대화 수행능력, 자체적 학습 능력, 챗봇 대화 주도, 지능적 API 탐색과 결과 도출    외부 정보망과의 링크 특성

<챗봇 고도화 수준 모형>

우리의 고객에게 챗봇은 이상적인 영화나 드라마 속 주인공이 아닌 내 옆에 항상 함께하고 자주 찾는 가족이나 친구가 되어야 하지 않을까요?

이를 위해, 챗봇 개발의 고도화 수준을 interaction, intelligencer, integration 로 분류하고 각각을 3단계로 구분한 Leon Smiers (Center of Excellence lead, Oracle Paas Capgemini) (2017) 챗봇 고도화 수준 모형과 같은 도구를 활용하여 우리가 갖는 기대감을 확인하고 공감할 필요가 있을 것 입니다.

그 과정을 거친다면, 우리는 대화형 챗봇에 대한 막연한 기대나 이상적인 목표 설정이 아닌 AI 기술의 발전 수준에 대한 정확한 이해와 가용 가능한 자원을 기초로 실현 가능한 목표로 향해 함께 나아 갈수 있을 것 입니다.

 

3.     챗봇의 성능을 측정 할 수 있는 방법과 그에 대한 공감이 필요 합니다. 

향후, 준비된 실행 전략에 따라 챗봇을 확보 하기 위해서는 

그에 맞는 평가 지표를 확보 해야 할 것 입니.  


대화형 챗봇 에게 요구되는 성능 지표는 무엇이 있을까요?

     다행스럽게도, 오늘날까지 챗봇이 사용자에게 제공하는 가치와 전반적인 성능을 추적 하는데 요구되는 성능 지표에는 큰 변화가 없었습니다. 그러하기에 우리는 “chatbotslife.com“ 에 소개된 챗봇 성능을 위한 지표 6가지 참고해 보도록 하겠습니다.

성능 지표

내용

이해 능력

· 사용자의 맞춤법 오류나 문장의 오류에 대한 자동 수정.

· 질문 vs 진술의 텍스트 기반 의도 이해

· 사용자를 위한 간단한 설명과 매력적인 콘텐츠를 함께 사용

사용자 참여 속성

(상호 작용)

· 대상 청중 분류, 의미 있는 메시지 전달

· 고객 정보, 계정 상태, 구매 내역, 이전 작업 등에 액세스

· 사용자의 자주 묻는 질문 (FAQ) 에 답할 수 있도록 설계

속도

· 사용자를 즉시 ​​돕는 챗봇의 응답 속도 

· 지식 기반 데이터베이스와 통합하고 정보를 가져오고 신속 대응

기능

· 사용자 환영 등 사용자의 관심을 끌만한 다양한 기능

상호 운용성

· 정보를 교환하고 사용할 수 있어야 함

· 다양한 채널을 지원 할수 있는 방식으로 배포 가능해야 함

확장성

· 서비스 확장 가능하도록 설계

<6 key metrics to measure the performance of your chatbot>

챗봇 제품별 성능 비교 평가도 요구될 것입니다.

   아마도 챗봇을 자체 개발 할 수는 없는 기업은 이미 시장에서 검증된 솔루션을 도입해야만 할 것입니다.

   이 경우, 다양한 챗봇 솔루션에 대한 성능을 비교하고 검토 할 수 있어야 할 것 이며 그 기 준은 합당 해야 하고 그 평가 결과는 모두를 납득 시킬 수 있어야 할 것 입니다.

   우리의 고객을 위한 대화형 챗봇은 어떤 성능을 만족 해야 하며, 어떠한 항목에서 비교 평     가가 가능할까요? 이 역시 위에 소개된 변함 없는 챗봇의 성능 지표와 같이 대표 사례를     참고 하는 과정이 도움이 될 것입니다.

항목

내 용

플랫폼 독자성

자체 개발 여부

코딩 필요 여부

서비스 제공을 위해 별도의 코딩이 필요한지 여부

기술 고도화

‘NLU, 규칙 기반   vs   ‘NLG, Deep learning’

구축 방식

SI 구축 형 vs 설치 vs Cloud

봇 대 봇 소통

가능 여부

지원 언어

한국어, 중국어, 영어 등 다양한 언어 지원 여부

이전 대화 기억

KVMN (key value Memory Network) 과 같이 이전 대화 내용을 기억하여, 대화의 흐름을 원만하게 만드는 역할

문맥 파악

문맥 한국어 인식 율

KOLAS (한국인정기구) 국제인증 기준 인식률

보안 유지성

3자에 의한 해킹 등의 보안 취약 여부

<챗봇 성능 비교 평가 방안>

“IITP (정보 통신 기획 평가원) 2019.11.13 주간 기술 동향글로벌 영어 교육 연구소가 소개한 “<챗봇 성능 비교 평가 방안>“ 과 같이 다양한 성능 지표 사례에 대한 검토와 고민을 함께 하길 희망 하며

이번 특집 부상하는 비즈니스 마케팅 채널 챗봇 (Chatbot)” 의 연재 기사를 마치도록 하겠습니다.

감사합니다.

 [Reference]

1. SNUNEWS.com  : 언제쯤 인공지능과 자유롭게 대화할 수 있을까?
  -  http://www.snunews.com/news/articleView.html?idxno=21473
2. 위키나무
  - https://namu.wiki/w/%EC%B1%97%EB%B4%87
3. 정보 통신 기획 평가원
   - https://www.itfind.or.kr/WZIN/jugidong/1922/file6627573359846636868-1922(2019-11.13)-44.pdf 
4. 조경원 교수님의 NLP 강의노트 ; chapter 1: introductrion
5. 김인석 4차 산업혁명시대의 인공지능 영어교육, 한국문화사, 2019
6. 김인석. 인공지능 기술 기반 대화형 챗봇 개발 현황과 지능형 언어 교육용 챗봇 개발 방안
7. NAVER, KAKAO 기술 블로그
8. 챗봇 성능평가 지표
  - https://chatbotslife.com/6-key-metrics-to-measure-the-performance-of-your-chatbot-5fd0adfd0b5b
  - https://www.sedaily.com/NewsView/22H7RAJJ1Y