[한국IDG] 8th Business Impact & Big Data 컨퍼런스 요약 (2018.02.27)

개요

• 2018.02.27 에 개최된 [IDG] 8th Business Impact & Big Data 컨퍼런스에 참석하여 강연들은 내용을 요약합니다.
  
• 컨퍼런스 명
• [한국 IDG] 8th Business Impact & Big Data

• 주제 
• 4차 산업혁명 시대, 인공지능과 빅데이터가 바꾸는 미래 비즈니스 전망과 대응전략

• Key Topic
• 빅데이터, 인공지능, 머신러닝 관련 최신 트렌드
• 코그너티브 시대에 고려해야 할 인프라
• 데이터 인트라 적용 및 성공 사례
• 넷플릭스의 개인화 알고리즘 혁신 전략과 사례
• Deep Learning 을 활용한 비즈니스 예측모델 성능 향상
• 기업에서의 데이터 활용 성과와 인사이트
• 빅데이터와 머신러닝을 활용한 장애 예방 플랫폼
• 인공지능 챗봇의 도입 및 활용사례
• 빅데이터와 AI 가 온라인 상품 검색에 미치는 영향
• 양면시장(Two-sided Market)에서의 머신러닝
• 머신러닝을 통한 빅데이터 가치 극대화 방안

나의 총평

• AI 와 Big Data 가 월마트, 넷플릭스 등 실제 비즈니스에서 어떻게 적용되고 있는지 직접 확인할 수 있어서 유익했습니다만, 유료 세미나임에도 절반 정도가 제품 소개 세션으로 채워져 있는 부분은 다소 아쉬웠습니다.
• 월마트, 이마트, 대신증권, 넷플릭스, 에어비앤비 등 자체 서비스를 가지고 있는 회사의 발표는 실질적인 비즈니스 니즈 및 AI 및 Big Data 기술 적용 내용을 담고 있어 매우 유익했습니다.
• IBM 은 Watson 을 기반으로, 현업에서 AI 를 도입할 때 어떤 관점에서 바라봐야 하는지, 도입전략, 고려사항을 중심으로 Solution/Product Provider 관점으로 세션을 진행하였습니다.
• SAS 는 제품 소개도 일부 있었습니다만, AI 에 대한 기본 개념 설명과 Case Study 중심의 발표로 흥미로웠습니다. 
• 그외 HPE, Dell, PureStorage 의 경우, AI, IoT를 위한 Big Data 처리가 가능한 하드웨어, 데이터센터 솔루션에 대한 제품 소개가 중심이여서 다소 아쉬웠습니다.

주요 내용

세션 1) 월마트 : 빅데이터와 AI가 온라인 상품 검색에 미치는 영향 

세션 핵심 요약

• Walmart Labs 에서 온라인 쇼핑몰에서 상품 검색이 왜 중요한지, 빅데이터와 AI 가 어떻게 활용되고 있는지를 발표하였습니다. 
  
  
• walmart 는 e-commerce 에서의 상품 검색의 중요성을 매우 높게 인지하고 있다.
• 상품 검색의 핵심은 검색 의도 파악 (Capture Intent) 와 결과 출력 (Display Results) 이며, AI 와 Big Data 기술이 적용되면서 점점 더 좋아지고 있다.
• 검색 의도 파악을 기술인 "Text Matching" 과 관련하여 텍스트의 유사성 계산을 위한 연구가 계속되고 있으며, 최근 Deep Learning을 사용하여 보다 강력하게 접근하고 있다.
• 결과 출력을 위한 기술인 "Relevance Ranking (적합도 순위)" 와 관련하여 walmart는 텍스트 유사성, 아이템 인기도, 아이템 클릭, 비즈니스로직(special offer 등), 기타 시그널 등을 기반으로 Machine Learning 을 통해 적합도 점수를 산정하고 있다.
• AI 와 Big Data 의 Advanced 기술은 Query Understanding 과 Image Understanding 에 있으며, Deep Learning 을 이용한 "자연어처리"와 "컴퓨터비전"의 발전으로 가능해졌다.
• 향후 상품 검색은 이미지 및 음성 검색이 주류, 디지털 및 실제 매장에서 옴니 채널 검색, 대화 형 상거래, AR / VR 을 이용한 전자 상거래와 실제 세계의 결합 으로 계속 발전될 것이다.

세션 내용

• 월마트는 
• Fortune 1st company 로 28개국 11,700 개의 상점이 있음.
• 월마트 랩(Walmart Labs)은
• 월마트의 기술부분을 담당하며,
• walmart.com, 모바일앱, 온라인주문 pickup, walpart pay, scan&go, google home 이 있다.
  
  
• 상품 검색이 중요한 이유
• amazone(1994), ebay(1995), alibaba group(1999) 등 e-commerce 가 출현한 이후로, e-commerce는 급속도로 성장하고 있으며, 소매시장에서의 e-commerce의 매출 비율도 점점 상승하여 2020년에는 12%를 넘을 것으로 예상됨
• 1962년 첫 상점을 오픈한 walmart는 현재 전세계에서 가장 큰 소매업자이고, 온라인 시장에서는 2번째로 큰 회사임 (1위는 아마존임)
• 그런데, 왜 구매자들은 e-commerce 를 좋아할까?
  
  
• 실제로 소비자들은 상품 종류가 많다는 점이 온라인 쇼핑을 좋아하는 가장 큰 이유이며, 따라서 온라인 상의 수많은 상품 중에, 원하는 상품을 빨리 찾는 것이 무엇보다도 중요하다.
• 7-eleven : 25,000
• Walmart Super Center : 150,000
• walmart.com : ~100 million
• amazon.com : ~350 million 
• e-commerce 웹사이트에서 상품을 찾는 방법은 검색, 카탈로그, 추천 아이템의 방식이 있는데, 아래의 다음의 검색의 중요성이 점점 높아지고 있음
• 검색은 전자 상거래가 매우 큰 카탈로그를 제공을 가능하게 하고,
• 검색을 수행하는 고객은 구매 가능성이 40 % 높으며, 
• 대부분의 walmart.com 고객이 상품 검색을 사용하고 있다.
•  그에 따라, 과거에 비해 현재의 e-commerce 웹사이트와 모바일 앱 에서는 검색이 화면의 중요한 부분(눈에 잘 띄는 부분)에 위치하고 있다.
  
  
• e-commerce 검색에서의 AI 와 Big Data
• 수년간 Big Data와 AI로 e-commerce 검색이 점점 더 정확하고 유용 해졌음.
• 특히 검색 의도 (Capture Intent) 를 파악하고, 검색 결과를 출력(Display Results) 하는 데 많은 기술이 적용되고 있음.
• 사용자의 검색 의도 파악 (Capture Intent)
• Type Ahead : 연관검색어
• Spell Correction : 수정된 검색어
• 텍스트 검색에서 점점 다양한 채널로 확대됨

• AI 와 Big Data 의 핵심 기술은 text matching 과 relevance ranking (적합도 순위) 에 있음
• Text Matching
• 사람에게는 쉬운 문제이나 머신에게는 어려움 (ex. 빨간색의 범위는 어디까지?)
• 텍스트의 유사성 계산을 위한 연구가 계속되고 있으며, 
• 최근에 Deep Learning을 사용한 보다 강력하게 접근하고 있음.
• Relevance Ranking (적합도 순위)
• 적합도 순위는 text matching 만으로 부족함.
• walmart는 텍스트 유사성, 아이템 인기도, 아이템 클릭, 비즈니스로직(special offer 등), 기타 시그널 등을 기반으로 Machine Learning 을 통해 적합도 점수를 산정하고 있음
  
  
• AI 와 Big Data 의 Advanced 기술은 Query Understanding 과 Image Understanding 에 있으며, Deep Learning 을 이용한 "자연어처리"와 "컴퓨터비전"의 발전으로 가능해졌음
  
  
• 상품 검색의 미래
• 이미지 및 음성 검색이 주류
• 디지털 및 실제 매장에서 옴니 채널 검색
• 대화 형 상거래
• AR / VR - 전자 상거래와 실제 세계의 결합

세션 2) IBM : 비즈니스 현실로 다가온 AI, 어떻게 도입해야 하는가?

세션 핵심 요약

• IBM Watson 을 기반으로, 현업에서 AI 를 도입할 때 어떤 관점에서 바라봐야 하는지, 도입전략, 고려사항을 중심으로 Solution/Product Provider 관점으로 발표 되었습니다.
  
  
• AI 는 "실제 사람을 보조하는 역할" 이다.
• AI 는 실무 능력은 부족하지만 잠재력이 높은 "똑똑한 신입사원을 채용" 하는 것이다. (학습이 중요!)
• AI 도입은 크게 생각하고, 작게 시작하며, 빠르게 확장한다.
• AI 도입에서의 핵심은 Technology가 아니라 Business 이다.  

세션 내용

• IBM 이 바라보는 AI 는 "실제 사람을 보조하는 역할" 이다.
  
  
• AI의 기술적인 특징
• Understand (인지/이해)
• Reason (추론)
• Learn (학습)
• Interact (상호연결)
  
  
• AI를 적용할 수 있는 업무 영역
• Customer Engagement 
• 챗봇, 인공지능 콜센터, 상품 및 서비스 추천, 직원 advisory
• Progress Automation
• 문서분류 및 관리, VOC(Voice of Customer) 분석, 프로젝트 관리지원, 품질 및 정비 지원
• Cognitive Insight 
• 지능형 탐색 지원 (ex. 보험심사, 판례분석, 자소서 분석 등)
  
  
• AI를 어떻게 바라보아야 하는가?
• AI 는 "똑똑한 신입사원을 채용하는 것이다". 즉, 실무학습은 되지 않았으나 잠재력을 믿는 것.

• AI 도입 전략 3 단계
• 크게 생각하고, 작게 시작하며, 빠르게 확장한다.

• AI 도입 및 준비를 위한 고려사항
• Data
• Private data와 Public data 를 확보 (보통 beta open 시 입수되는 data 가 가장 실질적인 data 이다)
• AI 에 적용할 수 있는 형태로 구조화
• Tech
• 연구용이 아닌 업무용 프로젝트
• Use Case
• Small & Quick Win
• People
• 현업과 IT 간 collaboration 이 중요

세션 3) 한국 HPE : 빅데이터와 머신러닝을 활용한 장애 예방 플랫폼 - Infosight

• Data Center 를 위한 AI 솔루션인 Infosight 제품 소개 중심으로 발표되어 다소 아쉬웠습니다.
• 참조 사이트
• https://www.hpe.com/us/en/storage/infosight.html
  
  

세션 4)  Dell EMC : AI, 빅데이터 플랫폼 최적화를 통한 디지털 혁신 가속화

• IoT 관련 Dell Technologies 가 에 대한 소개 중심으로 발표되어 다소 아쉬웠습니다.
• Dell 에서 정의 하는 Digital Transformation 이란?
• Digital Transformation 은 고객의 가치를 높이고 운영효율성을 최적화하며 새로운 수익창출 기회를 개발하기 위해 제품, 서비스 및 프로세스에 디지털 기능을 적용하는 것이다.
• Distruption, Innovation, Change
• Internet of Things (IoT)
• IoT 로 인해 늘어나는 data 는 기하급수적으로 증가되고 있음.
• IoT challenge
• Use-case 찾기가 힘듬
• Stakeholder alignment 가 어려움
• Interoperability → 표준화 등
• Scale
• Analytics
• Security & Management
• Dell EMC Public IoT Community : https://community.emc.com/community/connect/internet-of-things

세션 5) SAS Korea : Deep Learning을 활용한 비즈니스 예측모델 성능향상

세션 핵심 요약

• AI 에 대한 기본 개념 설명과 Case Study 중심의 발표

세션 내용

• Artificial Intelligence 란?
• Artificial Intelligence is the science of training systems to emulate human tasks through learning and automation.
• AI 의 분야
• 학습지능 - Deep Learning, Machine Learning
• 언어지능 - Natural Language
• 시각지능 - Vision
• 음성지능 - Speech
  
  
• AI 의 진화
• 1950s ~ 1970s : 신경망
• 1980s ~ 2010s : 머신러닝
• 현재 : Deep Learning, Cognitive Systems
• SAS 는 1976년 부터 AI 분야 연구시작
• AI application
• AI 의 core area
• Case Study
• Real Time Analytics : Sports business
• SAS Viya 적용한 실시간 축구 경기 분석 서비스 제공
• 예전에는 모든 카메라와 팬들의 눈이 공을 중심으로 쳐다보았으나, 경기장 전체를 분석
• Real Time Fraud : Card business
• SONNA Model (SAS 의 특허모델) 적용
• Real Time Image Classfication : Manufacturing
• Machine Learning + IoT
• 웨이퍼의 결함 분류 자동화

세션 6) 퓨어스토리지 : 인공지능, 디지털 혁명의 리더가 되기 위한 기업의 데이터 전략

• All Flash 스토리지인 FlashBlade 제품 소개 중심으로 발표되어 다소 아쉬웠음.
  
  
• Industry 4.0 에서는 Data-Centric 으로 접근해야 한다.
• Data Centric을 위한 5가지 원칙
• 누구나 활용할 수 있는 공유 자산
• 다양한 업무 어플리케이션 지원
• 불필요한 데이터 프로세스 제거
• 업무 중심의 셀프서비스
• 변화 없는 시스템

세션 7) 이마트 : CRM 관점에서 바라본 변화

세션 핵심 요약

• 발표자가 현업 CRM 담당자여서 기술적인 내용보다는 CRM(Customer Relationship Management) 에 왜 인공지능이 기술이 필요한지 니즈를 중심으로  발표하여 무척 흥미로웠음.
• 인구구조의 변화와 경쟁 환경의 변화로 경쟁이 더욱 치열해 지고 있으며, 효율보다는 데이터의 가치가 중요해지고, 과거 구매내역이 아니라 현재의 고객 관심사를 중심으로 CRM이 진행되면서 인공지능 기술이 더욱 중요해지고 있음 

세션 내용

• CRM → 철저한 ROI 분석 기반 비용대비 효율을 높이는 활동
• 내외부 자료 조사, 통합, 분석
• 고객 특성에 맞는 마케팅 활동 기획, 시행, 평가
• 지속적인 고객관계관리 활동 전개(KPI)
• 분석 고도화를 통한 예측 제고
  
  
• CRM 구성요소 
• Right Product, Right Target, Right Channel, Right Time, Right Order
• 예전에는 Right Target 과 Right Product 에만 집중
• 분석 → 기획 → 실행 → 학습
  
  
• 인구구조의 변화와 경쟁환경의 변화로 "고객의 선택" 을 받기위한 경쟁이 더욱 치열해지고 있음
• 인구구조의 변화 : 저출산, 인구절벽, 고령화, 1인가구
• 경쟁환경의 변화 : 멀티채널 → 옴니채널 → 전방위적 경쟁
  
  
• CRM에서의 인공지능 기술
• 인공지능 기술의 지원
• Efficiency < Data Value
• 현재에 대한 관심 집중
  
  
  
• CRM 의 변화
• What, Who, Where, When, how → Why (고객에 대한 이해!!)
• 리얼타임 멀티 커뮤니케이션의 중요성
• 내부 데이터 분석 + [ SNS 데이터, 사회적 이슈, 감성 트랜드 ] → Comm. 핵심 포인트

세션 8) 대신증권 : AI 챗봇 벤자민의 시작, 고객과의 새로운 소통

세션 핵심 요약

• 실제 서비스 중인 챗봇서비스의 개발 및 운영에 대한 Case Study
• 전담 트레이너에 의한 지식 축적에 대한 지속적인 Proof 진행
• 향후 전문적인 금융 AI비서를 목표로 하고 있음
• 현업의 니즈와 의지가 중요!

세션 내용

• Benjamin Profile
• 금융계의 전설적 인물, 벤자인 그레이엄(Benjamin Graham)을 모티브로 만들어짐
• Dept. : 대신증권 스마트Biz 추진부
• Start : 17.2.20 ~ 18.2.19 (365일)
• Met Customer : 55,000 명
• Answering Question : 360,000 건
• Knowledge level : 사원 2년차
• Main sector : 증권 업무
  
  
• 벤자민 프로젝트의 시작
• 고객 요구사항 → 고객 경험 분석 → 컨텐츠 분석 → 챗봇 서비스 시작 → 기술 수준 검토 → 구현 범위 검토
  
  
• 고객 요구사항
• 24365!, 정확한 정보와 내용의 신뢰성
• 고객 요구 사항을 개선할 수 있는 방법에 대한 고민
• 전문 상담, 상담대기, 시간 제약
• 고객 경험 분석
• MTS 이용자 증가, HTS → MTS
• 매체, 상담 경험 분석 : 모바일 서비스에 대한 관심 ↑
• 상담 컨텐츠 분석
• 최빈도 이용 컨텐츠
• 단답형으로 답할 수 있는 단순문 비중이 높음
• 주식/펀드등 금융상품에 대한 문의 높음
• 컨텐츠 유형
• 기본 안내, 주문 안내, 상품 안내
  
  
• 챗봇 서비스 시작
• 결론 : MTS + 상시 컨텐츠 오퍼링 → Chatbot
• 기술 수준 검토
• 국내 vs 해외 기술 수준 : IBM, Amazon, Nuance, Naver Labs...
• 한국어 지원문제로 국내 업체 중심으로 POC 검증
• 자연어 처리, 텍스트 마이닝
• 구현 범위 검토
• 구현 해야 하는 범위 vs. 구현 가능한 범위
• 지식 구축 카테고리 범위 선정, 시스템 구축 범위
• 벤자민 Training Center
• Machine Learning Engine, Text Analysis, Training Center, 응답률 vs. 정답률, 화면구성 & 주요기능
• Text Analysis : 자연어 처리 (Natural Language Processing) → 텍스트 마이닝 (Text Mining)
• 자연어 처리 : 문장분리 → 형태소 분석 → 어절 단위 구문분석 → 개체명 인식
• 텍스트 마이닝
• 어휘 중요도 분석 → 연관어 분석 → 감성 분석 → 주제 분석
• 정형화 되지 않은 Text 데이터에서 의미 있는 정보를 추출하여 새로운 인사이트 제공
• 방법론
• Key Question → 수집. 정제 방식 설정 → 데이터 선별 → ㄷㅔ이터 가공 및 활용
• Training Center
• 챗봇의 지식 구축을 위한 트레이닝 시스템 필요
• 응답률 향상 : 신규 지식 학습
• 답변의 정확도 향상
• 고객 만족도 향상 : 사용자 만족도 평가 및 코멘트 관리 → 개선방향 검토
• 영역별 Trainer 배치
• 전담인력을 배치하여 끊임없는 필요지식 정의, 축적 지식에 대한 Proof 진행
• 지식구축에 대한 끊임없는 점검
• 주요기능
• UX : 사용법 단순화, 주요기능 방해하지 않도록, 음성 인식
• 업무 대화, 능동적 대화, 일상 대화, 뉴스검색, 화면 연결, 종목진단, 직원연결
  
  
• 벤자민의 미래
• 챗봇에서 전문적인 금융 AI 비서

세션 9) 에어비앤비 : 양면 시장 (Two-sided Market)에서의 머신러닝

세션 핵심 요약

• Guest 와 host 의 양면시장에서 중요한 요소인 가격과 취소정책의 균형을 맞추기 위해 airbnb 가 데이터를 기반으로 어떻게 접근(정책 설계 및 테스트)했는지를 설명하고 있음

세션 내용

• AirBnB
• 4 Million homes,  65 K cities, 191+ countries
  
  
• Two-sided marketplace principles
• 수요(guests) 와 공급(homes)이 만나는 곳(conversion/booking)
• marketplace 가 성공하기 위한 세가지 원칙
• Thickness :  수요와 공급이 많아야 한다. → network 효과의 핵심
• Congestion-free : 혼잡이 없어야 함. 수많은 옵션 중에 참여자에게 최적의 매칭 → good, safe, painless matching decisions
• Safe and Simple 
  
  
• Growth: Thickness
• 수요와 공급이 균형을 이루며 계속 증가해야 함
• Segmentation is key.
  
  
• Optimization: Congestion-free, Simple, Safe
• Tow-sides search
• Host preferences → wait confirmation
• Instant Book : the better way, much simpler for guests
• Data 로 Instant book 이 좋다는 것을 host에게 설득
• Pricing
• 가격 측정이 어려움
• seasonality, listings heterogeneity (거의 유니크함), lead days
• AirBnb의 솔루션 : Pricing Tips, Smart Pricing, Price Suggestions
• Key question : How can we increase booking value for hosts without hurting the growth of the platform?
• 예약 후회는 수요, 가격 수준에 따라 다름
• Cancellation Policies
• 예약 취소는 흔한 일임, Host 에게는 cost
• 일반적 취소 정책 : Flexible, Moderate, Strict
• 취소의 경우, 예약 바로 다음날 취소하는 경우가 많음
• AirBnB의 솔루션
• Moderate free cancellation - 예약 후 48시간 이내 취소시 서비스 수수료를 제외한 전액 환불
• Flexible - 체크인 24시간 전 취소시 서비스 수수료를 제외한 전액 환불
• 정책 변경은 테스트 하기가 정말 어려움
• Flexible 과 moderate 는 host 입장에서는 정책 변화가 아님. 그러나 Strict의 경우 변화도, 다시 되돌리는데도 cost가 많이 듬
  → 양쪽의 가치를 모두 측정하는 방법은 없을까?
• AirBnB 의 솔루션 : host opt-in
• guest 가 예약할 때 선택하도록 하여 테스트 실시

세션 10) 넷플릭스 : 개인화 알고리즘 혁신 전략과 사례

세션 핵심 요약

• 개인화 서비스를 위하여 머신 러닝을 통한 넷플릭스의 추천, 검색 서비스가 어떻게 발전되고 있는지 설명하고 있음. 

세션 내용

• 넷플릭스
• > 117 M members, > 190 countries 
• 넷플릭스 오리지널 컨텐츠 공급에도 상당히 공을 들이고 있음.
  
  
• 넷플릭스에서는 "추천" 이 가장 중요한 요소임
• 2006년 우편으로 DVD 배달 → 반납 시 별점
• 2007년 스트리밍 서비스 시작
• 추천의 목표 : Help members find contents to watch and enjoy to maximize member satisfaction
• Recommendataions are driven by Machine Learning
  
  
• Machine Learning Approach
• Algorithm Areas
• Personalized Ranking
• Top-N Ranking
• Trending Now
• Continue Watching
• Video-Video Similarity
• Personalized Page Generation
• Search
• Personalized Image Selection
• ....
• Data
• Plays : Title, Length, Context: Time, Device
• Thumbs up/down rating
• Meta-data : tags, synopsis, cast,....
• Impressions
• User interactions : search, my list add
  
  
• Persionalization
• There are more than 117M different versions of Nexflix
• 시청의 다양성 증가
  
  
• Ranking algorithms & Page Construction
• 목표 : one page with a logical structure that is device aware
• Ranking algorithms
• Top Picks : 개인화
• 사용자 관심을 기반에 둔 장르 추천
• 사용자가 보았거나 좋아한 것과 유사항 작품 추천
• Page Construction
• 1 personalized page : device 별로 10~40 rows
• browsing behavior : 좌우 이동 보다 스크롤을 선호함
• Balance
• Accuracy vs. Diversity 
• Discovery vs. Continuation
• Depth vs. Coverage
• Freshness vs. Stability, etc.
• 목표 : Minimize Browsing
  
  
• Search
• 목표 : 최소한의 키 입력으로 원하는 것을 찾는 것
• 알고리즘 : matching, ranking, predicting intent, recommendations
• Instant Search : 키를 입력할 때마다 결과가 적용
  
  
• Image Selection
• 목표 : 사용자가 쉽게 찾고, 보고, 즐길 수 있도록 타이틀 이미지 선택
• Online learning framework
• 사용자가 좋아하는 장르에 따라 타이틀 이미지를 다르게 보여줌
• 특정 배우를 좋아하는 사용자에게는 해당 배우가 포함된 타이틀 이미지를 보여줌
• 넷플릭스 추천의 가치 (The value of Netflix recommendations)
• A few seconds to find somthing greate to watch.....
• Can only show a few titles
• Enjoyment directly impacts customer satisfactions.
• Generate over $1B per year of Netflix revenue
• Achieve by personalizing everything
  
  
• Improving our algorithms
• Innovation cycle
  
  
  
• Future Direction
• 넥플릭스의 추천 시스템의 변화
• Rating → Ranking → Page Optimization → Context-aware Recommendations
• ongoing areas of research
• Contextual Awareness
• Cold Start
• Presentation Effects
• Causal Modeling