2022 ACM Multimedia
Abstract
인간은 본성적으로 사회적인 동물이다. 인간 진화의 한 중요한 측면은
"허구적이든, 사실이든, 서사적 상상(narrative imagination)을 통해 이야기를 만들어 내고 다른 이들에게 전달하는 능력" 이다.
뉴스, 저널리즘, 현장 보고 등의 사실적 서사(factual narrative)는 현실 세계의 사건에 기반하며, 이를 만드는데 상당한 노력이 필요하다. 빅데이터의 시대가 오며, 비디오 caption 장치가 어디서든 존재하고, 이에 엄청난 양의 raw video가 생성된다(라이프로그, 블랙박스, 감시 등). 이에 인간이 이러한 비디오 데이터를 소화하고 분석하는 것은 사실상 불가능하다.
본 논문은 하나, 또는 여러개의 long video로부터, Text(텍스트 형태로 생성하되, 필요하면 비디오 요약이나 하이라이트 영상도 생성 가능) 형태의 목표 지향(goal-driven) 서사를 생성하는 컴퓨팅 기반의 서사 생성(computational narrative generation) 문제를 다른다. 특히 서사 생성 문제는 기존 문헌과 다르게 "사용자 목표(User goal), 서사 구조(narrative structure), 오픈 도메인 입력(open-domain input << 모든 도메인에서)에 대한 포괄적인 이해를 핵심으로 삼는다는 점에서 차별성을 가진다.
본 논문은 일반적인 narrative generation framework를 잠정적으로 제시하고, 이 방향에서의 잠재적 연구 문제들과 도전 과제들을 논의한다. 또한, 서사 생성이 실제 세상에 미치는 영향을 바탕으로, 사용자들이 목표 지향적 지능형 스토리텔링 AI 에이전트를 통해 데이터로부터 더 많은 가치를 얻을 수 있도록 돕는 Video Logging as a Service(VLaaS) 플랫폼에서의 여러 실용적 활용 사례들을 보여준다.
1. Introduction
최근 몇년간, 비디오는 매우 급증했다. 이는 Could기반 저장소, short form, 저렴하고 휴대 가능한 비디오 촬영 장치의 보급 등 때문이다. 현대에는 사람들이 디지털 콘텐츠를 소비하는 방식은 검색 서비스, 추천시스템, 또는 NLP 자연어를 통해 지능형 AI Agent와 상호작용하는 방식이다. 이때 이러한 raw data는 인간 전문가에 의해 정제되거나 고도화된 AI 모델에 의해 처리되어야 하지만, 이는 확장성, 창의성 그리고 콘텐츠의 다양성 때문에 어렵다. 가장 보편적인 비디오(long or short 다)만 봐도, 이러한 종류의 데이터가 아무런 추가 편집 없이 그대로 공개되는 경우는 거의 없다. 따라서 원본 비디오로부터 고품질의 요약을 자동 생성하는 시스템 구축이 매우 중요해진다.
인류 문명의 역사에서 narrative(서사)는 인간의 지식 전달의 핵심 매개체로 여겨지고, 이야기 하는 사람과 그거를 수용하는 사람의 삶에서 사회적, 인지적, 문화적 역할을 수행한다는 점에서 중요하다. narrative는 의사소통과 관계 형성의 효과적인 도구이며, 또한 인간이 세상을 이해하고 바라보는 방식을 변화시키는 역할도 한다.
Narration(the art of storytelling)은 벽화에서 시작해 언어적 서사 text로 진화해왔다(fig.1). 오늘날에는 영화, 연극, 소설, 전기, 뉴스릴, 연대기 등이 모두 서사의 한 형태인데, 이는 이들이 모두 일련의 사건들을 인과적(casual manner)으로 연결하고 있기 때문이다.
그러나, 좋은 서사, 설득력 있는 서사를 만들기 위해서는 흥미로운 이야기 구조, 일관성, 정보성, 시간성, 인과성, 그리고 수용자의 관심을 끌 수 있는 요소가 필요하다.
즉, 서사 생성은 인간조차 이를 숙달하는데 오래 걸릴 정도로 매우 복잡한 작업이다. 본 논문에서는 다음과 같은 근본적 질문을 탐구한다.
"Artificial Computation system이 서사를 생성할 수 있는가???"
본 논문은 narrative generation에서의 특정 사례: Long Video를 활용한 Goal-driven(목표 지향적) 서사 생성에초점을 맞춘다.
여기서의 서사 생성: factual narrative(사실적 서사)로 실제 사건에서 기반한 이야기.
제안되는 과제는 User's Query(사용자의 질의) 와 여러개의 장시간 비디오(수 시간 ~ 수일)를 Input으로 받아, 일관되고 간결한 멀티모달 서사를 생성(Coherent and Succint) 멀티모달 서사를 생성한다.
Image/Video 캡셔닝, 이미지 단락 생성(image paragraph generation), story ending생성, 비디오 스토리텔링 등을 통해 일부 연구가 초기 진전을 해 왔지만, Fully Computational Narrative Generation System은 아직 도전적이고 야심찬 목표이다.
이 Narrative Generation 과제는, unseen scenes에 대한 강건한 인지 지각 능력 뿐 아니라, User goal(사용자 목표), Narrative Structure(서사 구조), Open-domain input에 대한 포괄적인 이해가 필요한.
가장 중요한 것은, 하나의 객관적인 서사는 존재하지 않으며, 무엇이 흥미로운지는 사용자, 주제, 다른 기타 요소에 의해 결정된다.
이러한 문제를 해결하기 위해, 본 논문은 일반적인 general processing framework를 통해 research genda를 제시하고, 잠재적 연구 과제들을 논의한다. 또한, 서사와 관련된 사회과학 및 컴퓨터 과학 분야의 기존 연구를 검토한다.
Contribution:
- 본 논문은 장시간 비디오를 위한 새로운 goal-driven computational narrative generation task를 소개한다.
- Domain & Style agnostic approach를 위해 General Fraemwork를 제시하고, 연구 도전 과제 논의
- Narrative에 관한 사회과학 분야 연구를 조사하고, 해당 문헌을 본 논문이 제안하는 과제와 연결한다. 또한, 본 과제와 기존 연구 비교하여 핵심 차이점 제시
- Video Logging as a Service(VLaaS) 플랫폼에서의 user-centered(사용자 중심) 서사 생성의 여러 개념적 적용 사례 제시.
- Smart Warehouse, clain report generation, unmanned region monitoring(무인 지역)
2. Social Science Aspect of narrative
"서사적 상상(이야기)는 사고의 근본적인 도구이다. 이는 인간의 인지 작용 전반에 필수적인 문학적 능력이다 : Mark Tuner"
사회과학 분야에서 narrative는 1980년대 후방 이후로 오랫동안 연구되어 옴. Narrative: 인간 지식의 기본적인 매개체
특히, Narrative의 정의: Temporal, Casual(인과적)으로 연결된 사건들을 기호학적으로 표현한 것 (ex: 영화, 연극, 소설 등)
본 연구에서는 Narrative를 더 좁혀서 이야기한다: Linguistic Narrative Text or Visual Video or 텍스트/영상 방식으로 일련의 사건을 표현한 것. + 문학에서는 대부분의 사건이 fictional이지만, 본 논문은 factural을 기술한다.
Lingustic Narrative는 다양한 modality를 가지며, temporal, spatial modality가 가장 중요하다.
- Temporal Modality: 사건들이 시간 순서로 나타나는 것
- 시간적 관점에서, 서사는 시간에 따라 하나 뒤에 하나가 이어지는 문장의 연속
- 하지만, 단순 시간적 관계 뿐 아니라, 개념적으로나 주제적으로 연결될 수 있다.
- Casual Modality: 서사 속에서 기술되는 사건의 인과적인 관계를 의미한다.
- Casual angle of Narrative: 인간에 관련된, 인과적으로 연결된 일련의 사건들을 다루는 일련의 statement
본 논문에서 narrative를 temporal, casual를 모두 포함하는 서사를 생성하는 것을 목표로 한다.
"""""""""
예를 들어, 다음은 시간적 양식만을 가진 일련의 비디오 장면들이다:
“가방을 든 한 남자가 공원의 벤치 옆을 지나간다. 벤치 위에 가방이 놓여 있다. 경찰차가 온다.”
이러한 장면들은 그 자체로는 서사가 아닌 단순한 사건의 나열이다. 그러나 지능적인 알고리즘은 이 장면들을 서사로 엮어낼 수 있는 연결 관계를 가정할 수 있다:
“한 남자가 공원의 벤치 위에 가방을 버린다. 근처에 있던 누군가가 버려진 가방을 발견하고 경찰에 신고한다. 경찰이 확인하기 위해 공원으로 출동한다.”
이 예시에서 볼 수 있듯이, 서사를 완전한 이야기로 만들기 위해서는 인과적 연결이 필수적이다.
"""""""""
서사에서 Spatial Structure 또한 가진다고 주장한다. 서서사의 문장들은 이전문장, 이후 문장 모두 복잡하게 연결될 수 있고, 이는 서사에 공간적 구성을 부여함. 이는 mental, 다차원적 공간 내에 존재하는 관계들의 복잡한 네트워크로 볼 수 있는 서사 도식 기호학의 기반을 형성한다.
서사 구조에 영향을 미치는 요인은 많으며, 그중 가장 두드러진 것은 서술자의 목표(narrator’s goal)이다.
“무엇을 말하느냐보다 어떻게 말하느냐가 더 중요하다”라는 말처럼, 연구에서는 목표 또는 동기가 서사의 구성에 강한 영향을 미친다는 것이 밝혀졌다. 서사 구성에 내재된 유연성과 복잡성은 우리가 정보를 원하는 구조로 제시할 수 있게 한다.
서사의 구조적 다양성은 특정 목표를 향해, 여러 관점에서 다양한 상세 정보를 전달할 수 있게 한다. 예를 들어, 우리의 알고리즘에서 서사 구성에 대한 구조적 고려는 어떤 사람으로 하여금 특정 이야기 요소에 집중하게 하고, 다른 요소들은 무시하게 할 수도 있다.
""""
목표가 중요한 이유:
- 목표가 “사건 설명”이면 원인–결과에 집중
- 목표가 “재미”라면 극적인 요소 강조
- 목표가 “경고”라면 위험 요소 강조
이야기의 구조는 사실 자체보다 ‘무엇을 전달하고 싶은가(목표)’에 의해 더 강하게 결정된다. 서사는 목표에 맞게 사건을 선택·강조·배치하는 과정이다.
""""
사실, 서사가 독자의 실제 세계에 대한 신념과 태도에 영향을 미칠 수 있다는 것은 잘 알려져 있다. 이러한 현상은 서사적 설득(narrative persuasion)이라고 불린다. 전략적 정치 커뮤니케이션과 정책 결정 분야에서도, 서사와 스토리텔링의 활용이 효과적인 커뮤니케이션 전략으로 인정되고 있다. 서사적 설득은 또한 다양한 감정을 불러일으키는 것과도 연관된다. 이러한 연구들은 컴퓨터 기반 서사 생성(computational narrative generation)의 설계에 통찰을 제공하는데, 예를 들어 서사의 동기나 목표한 영향(target impact)에 따라 서사 구조를 조정하는 것과 같은 부분에 도움을 준다. << 서사적 설득: 어떤 스토리의 힘으로 사람의 생각과 태도가 변하는 것.
3. Narrative Generation Framework
3.1 Problem Definition
Narrative Generation의 목표:
하나 또는 여러개의 Long Video로부터 Coherent(일관된)하고, Succint(rksrufgks) Story를 생성하는 것이다.
구체적으로, Raw Video와 Narrated Video(영화, TV, Youtube) 압축되지 않은걸 고려한다.
본 논문에서는 Deep Learning 용어를 사용해 긴 비디오를 대상으로 하는 general Narrative Generation(NG) 프레임워크를 다룬다.
- Multimodal Query Q
- Q에 대해서 $V = {V_1,V_2,,,, V_K}$, K는 영상 개수
- NG의 목표는 언어적 서사 text $S_{nar}$과 보완하는 서사 비디오 $V_{nar}$을 생성하는 것
요약:
전처리 단계: Input Video V를 Structured semantiv Video Graph로 변환
Query Q에 대해 domain 지식 $K_{dom}$ 검색.
사용자 프로필 $K_{usr}$에 기반하여 선호하는 스토리 스타일과 스토리 템플릿 $K_{tem}$ 결정.
NG단계에서는 Framework가 Q, $K_{dom}$, $K_{usr}$, $K_{tem}$ 기반으로 N개의 핵심 서사요소 $G_1 ,,, G_N}선택.
각 서사 요소는 주요 actors, actions, relations로 구성된 그래프 형태임.
마지막으로 이에 대응하는 서사 텍스트 $S_{nar}$, 또는 서사 비디오 $V_{nar}$가 생성됨.
Input Video V
→ Semantic Video Graph로 변환
→ Query Q 기반으로 K_dom 검색
→ User Profile K_usr 기반으로 Story Template K_tem 결정
→ Q + K_dom + K_usr + K_tem으로 서사 요소 G1…GN 선택
→ S_nar 또는 V_nar 생성
비디오만 보고 “이야기”를 만들려면
단순히 장면을 나열하는 게 아니라,
- 무엇이 중요한지?
- 왜 일어났는지? (causal reasoning)
- 어떤 스타일로 설명할지?
- 어떤 템플릿으로 구조화할지?
이 모든 것이 필요함.
그 중심에는 Query가 있음.
Query가 이야기 방향을 정하고,
그에 맞는 K_domain, K_user, K_template을 불러오고,
결국 G1~GN을 선택해 서사를 만든다.
3.2 Processing Module
3.2.1 Query Encoder
Query는 사용자가 어떤 정보에 관심 있는지, 또 어떤 형태로 서사를 생성할지를 반영하는 중요한 Input이다.
본질적으로 Query는 Unstructured, Multimodal이기에 효과적인 fusion, encoding이 중요하다.
- Text: Word, or Sentence 수준 벡터화
- RNN, Transformer 등 Context모델링
- Audio: 주파수기반, 스펙트로기반을 Context(sequence)모델링
- Video: Local, Gloval aggregation
3.2.2 Video Graph Generator
Video(비정형적인 시계열 시각 데이터)는 본질적으로 장면, objects, dynamtic motion, relations 등 방대한 양의 정보를 포함한다.
Network Architeture의 발전으로 견고한 vision-based real-wold sensing이 가능한다. Knowledge Graph에서 영감을 받아, Visual Data는 Graph로 표현할 수 있다.
- Subject(주체), Attribute(속성), Relation(관계)": node o
- 1 or 2개의 edge를 추가해 <wet,dog>와 같은 구성 개념 또는 관계 triplet 형성 가능
Raw Video V를 Video Graph G로 파싱함으로써, 후속 처리 과정은 Imput Modality에 구애받지 않고, Framework가 $K_{dom}, K_{tem}$ 등 다양한 지식 source와 통합 가능.
3.2.3 Narrative Element Retrieval and Structure Modeling
Encoded Query와 Video Graph G는 이 모듈의 Input으로 활용된다.
외부 지식에 의해 안내되는 검색 과정은 Video Graph와 Story Templete에서 관련 요소를 정확히 찾아낸다. 여기서 narrative 요소(elements)는 하나의 서사를 구성하는 주요 사건들이다.
이는 Cross-modal retrieval, Video Moment Retrieval과 유사하지만, 외부 지식 제약이 포함된다는게 다르다.
특히, User Query는 생성되는 서사의 목표를 결정하고, User Profile, Domain Knowledge과 같은 다른 지식들은 더 높은 서사 요소를 검색하는데 도움을 주고, Unfamiliar topic도 다룰 수 있게 한다.
서사 요소가 검색된 후에, 시스템들이 요소들 사이의 인과 관계, 계측적 관계, 중요도 점수, 내부 구조를 분석해야 한다.
검색된 서사 요소들은 Facual material로서, 이후 Narrative Generator의 Input으로 사용된다.
"" """"""
즉, “비디오에서 어떤 사건들이 ‘이야기의 핵심’인지 골라내고, 그 사건들 사이의 인과관계를 정리해서 스토리의 뼈대를 만드는 단계”
Input Query, Video Graph G 기반으로,영상 전체 중 Input Query와 관련 있는 장면만 추출" << 서사 요소 검색
이후 사건 간의 인과 관계, 내부 구조를 Framework가 분석을 해야한다"
""""""""
3.2.4 Narrative Generator
이전 모듈들에서 생성된정보 바탕으로 Narrative Elements, Story Templates, Domain Knowledge 바탕으로 서사 텍스트, 서사 비디오를 생성해야 한다.
- 자연어 문법과 도메인 지식을 기준으로 정확해야 한다.
- Human aesthetics, User Profile 측면에서 흥미로워야한다.
- 이게 앞선 모듈들을 보다 정교하게 통합해야 한다.
Ground Truth Narrative는 존재하지 않을 수 있다. Coherent하고 Succint한 서사 변형들이 존재할 수 있기 때문. 이제 Computational narrative analysis narrative factual consistency.
3.3 External Knowledge
3.3.1 User Profile
사용자의 인구통계학적 정보와 관심사는 사용자가 어떤 형태의 서사를 선호하는지 추촌할 수 있는 중요한 정보이다. 본 연구의 맥락에서, User Profile은 User가 기대하는 서사의 특성에 영향을 미친다. 예를들어, 서사에서 사용하는 문학적 스타일, 사실적 내용 등.
추시에서 User Profile은 Tag 기반의 사용자 간 관계, Concept 가중치 등을 표현 가능
3.3.2 Story Templates
Story Templates: 서사 요소가 생성된 서사에서 어떻게 배열하는지를 제어하는 체계
""Cloze Game: 문장에서 중요한 단어를 빈칸으로 채워두고 빈칸을 채우는 방식 ""
이 템플릿은 cloze game처럼 정의될 수 있는데, 틀 속에 서사 요소들이 채워지는 방식이다. 또는 일련의 휴리스틱 규칙(heuristic rules)으로 정의될 수도 있으며, 계획 알고리즘(planning algorithm).
Interaction with human또한 스토리 구성 방식의 형성에 도움을 준다. 최근의 스토리 템플릿 학습 접근법에서는 텍스트 말뭉치(text corpus)로부터 단어들의 역할 전환(role transition)을 학습하여, 여러 문장으로 구성된 유창한 이야기를 생성하는 데 활용하기도 한다.
보다 넒은 관점에서 Story Teplate 학습을 한다. User Profile에 기반해 Aesthetically enjoyable 서사를 만들어야 한다.
이를 위해서 대규모 Text corpus에서 다양한 문학적 스타일을 학습해야 하고, User Query, External Knowledge또한 고려해야 한다.
3.3.3 Domain Knowledge
Narrative Generation은, 모델이 Similarity-based entity matching을 넘어서 knowlege-based reasoning을 수행해야 한다. 따라서 Domain Knowledge는 성공적인 Narrative Generation Frame의 핵심 요소이다. 기존의 지식 데이터베이스는 고도로 구조화된 그래프 또는 논리 제약을 사용해 도메인 지식 제공
예를 들어:
- Wikidata [77]는 *일반 상식(common sense knowledge)*을 제공하고,
- ConceptNet [74]은 단어들 사이의 분류·계층 정보(taxonomy information)를 제공한다.
- ATOMIC [37, 65]은 한 단계 더 나아가
→ 이벤트들 간의 인과 관계(causal relationships)를 제공하며,
이는 기계 추론(machine reasoning)을 위한 중요한 도메인 지식으로 사용된다.
이러한 모든 지식들은 다음과 같은 다양한 연구들의 기반을 이룬다:
- 상식 인식 기반 시각 인식(common sense-aware visual recognition) [52, 88]
- 이미지 캡셔닝(image captioning) [87, 99]
- 시각적 질문 응답(VQA) [58, 84]
- 신경-상징(neurosymbolic) 추론 [24, 90]
3.4 Evaluation Metrics
- Textual Factual Consistency Metric(RUBER, FactCC) 등
인간이 작성한 서사와, 생성된 서사를 비교해 0~1 사이 점수. 문장 품질 뿐 아닌, 서사 요소의 정확성
- Human Evaluation
생성된 서사에 대해 스타일, 유창성, 정보성 등을 주관적으로 human evaluation으로 수행하라.
4. Comparison with Related Tasks
요약하자면, 서사 생성(narrative generation)은
단순히 기존 도구들을 조합한다고 해결되는 문제가 아니다.
그 이유는 다음과 같은 내재적 난점들이 존재하기 때문이다:
- multi-hop reasoning (다단계 추론)
- 긴 문장, 긴 비디오 처리
- 사용자 쿼리(User Query)
- 인과성(Causality)
5. Research Problems
3가지 Narrative Generation에 대한 Challenge. Future work에서 다뤄라.- TV 에피소드 4편
- 7개의 1인칭(egocentric) 비디오
- 생일, 캠핑, 크리스마스, 결혼식 등
네 가지 종류의 일반적이면서도 복잡한 이벤트에 해당하는 105개 비디오 포함
향후 연구에서, 새로운 데이터셋 구성의 핵심 기준은 Long videos that has rich semantic events를 포함해야한다.
일반적인 접근으로는 서술이 포함된 비디오(영화, 티비 등), 또는 비디오 streaming platform의 사회저 이벤트 영상을 채택 가능한다.
그러나 한 가지 중요한 점은, 서술형 비디오(narrated video)는 본질적으로 이미 하나의 ‘서사’이며, 따라서 이러한 영상을 선택할 때는 충분히 복잡한(story complexity) 스토리 플롯이 포함된 비디오를 사용해야 한다는 것이다.
5.1.2 Data Annotation
그러나, 본 논문에서는 주어진 Q에 대해 완벽한 서사 (perfect narrative)를 정의하는 것은 불가능하다. 이에 다음과 같이 제안.
- 각 Query Q에 대해 N개의 Key Element $G_1,,,, G_N$ (즉, Video Graph G의 Subgraph)를 정답으로 annotate한다.
또한, 다음과 같은 ㄱ조적인 정보도 필요하다. ex) 인과 관계, 요소 간 계층 관계, 중요도 점수 등. 이러한 정보들은 사실적 일관성을 평가하기 위한 ground truth가 된다.
5.1.3 Annotation Confidence
주석 속성 attribute에 대해 Confidence score를 표시할 수 있어야 한다.
주석의 불확실성 + 비디오에서 implicit하지만 서사는 explicit하기 때문
5.2 Narrative Construction(서사 구성)
5.2.1 Briding Story Template, Contents and Domain Knowledge
앞서 말한 Narrative system은 연속(Encoded Q)되고 이산적인 정보(Knowledge Graph) 의 혼합된 형태이다. 이에 System이 end-to end로 대규모 데디터를 학습해야 하는데 이는 supervised, unsupervised를 잘 사용할 수 있어야 한다.
이산적 지식을 연속 공간(continuous space)에 임베딩하는 것은 신경-상징(neurosymbolic) 접근법을 필요로 하는데, 이 분야 자체가 여전히 해결되지 않은 문제들이 많은 새로운 연구분야이다.
5.2.2 Narrative Structure Modeling
서사는 아까 temporal, causal 방식으로 연결된 일련의 사건들을 semiotic으로 표현한 것으로 정의함.
서사 요소 $G_1 ,,, G_N$이 검색되면, 시스템은 서사를 형성하는 내재적 order, 전개 방식, 즉 구조적 framework를 추론해야 한다.
서사 구조의 유형: linear, nonlinearl, parallel, circular 등
Character, event의 관계ㅣ 안과, 갈등 계측 등
서사 요소는 중요도가 다를 수 있다.
핵심은 1. 서사 요소들과 노드들이 어떻게 연결되는가, 2. 선택된 서사 구조에 기반해 해당 요소들이 가져야 할 속성은 무엇인가를 이해해야함
5.2.3 Personalized Narrative Generation
Factural 서사는 사건의 시간, 인과적 관계를 기반으로 하지만 좋은 서사는 하나의 객관적 설명이 아닌, user의 선호도에 따라 여러가지 형태로 나타날 수 있다. 그렇기에 서사 생성 과정에서 user profile, 선호도, 상황 등을 고려해야 한다.
예를 들어:
- 사용자가 선호하는 장르, 문학적 스타일, 미학적 감각(aesthetics)에 따라 서사를 다르게 구성할 수 있다.
또한 프라이버시 고려는 어떤 요소를 포함할 수 있는지를 결정할 수 있다.
예를 들어:
- 가족 구성원을 위한 서사라면 더 개인적인 정보를 포함할 수 있지만,
- 뉴스 기사 형태라면 개인적 정보를 제외해야 한다.
아울러 서사적 설득(narrative persuasion)은 다양한 감정(emotions)을 유발할 수 있다. 이 모든 요인들은서사 구조 모델링과 서사 생성 과정에서 함께 고려되어야 한다.
5.3 Narrative Evaluation
5.2.2 Factual Consistency
Factual 서사는 주어진 사건의 시간적, 인과적 관계를
