전체 글

2025 ACM SIGIR ConferenceAbstractLLM Agent는 방대한 지식과 강력한 계획 수립 능력으로 추천 분야에서 널리 사용된다. 하지만, 기존의 방식들은 recommendation agent 또는, user agent를 개별적으로 향상시키고, 두 에이전트 간의 상호작용은 고려하지 않는다. 이를 해결하기 위해, 본 연구에서는 recommendation agent와 user agent 간의 협력을 촉진하기 위해 feedback loop를 핵심으로 하는 새로운 프레임워크 제안. 추천 에이전트 ↔ 사용자 에이전트 간 반복적 피드백 루프(AFL) 도입 즉, Recommendation Agent는 Item 추천에 대해 User Agent가 제공하는 Feedback을 분석하고, 사용자 선호에 대..

Abstract추천된 아이템에 대해서 느끼는 호감(liking)이라는 정서적 태도는, 매우 넓은 정서적 현상 스펙트럼 중 하나의 범주에 속한다. 이 스펙트럼에는 몰입, 매혹, 유쾌, 활기찬 기분, 그리고 결말에 기분 좋게 놀라는 과 같은 세밀한 정서까지 포함된다. 본 논문은 사용자가 명시적으로 원하는 정서 상태를 활용해 해당 아이템을 소비했을 때, "그러한 정서 상태를 유발할 가능성이 높은 아이템을 식별하는 새로운 추천 과제"를 제안한다. 이를 위해 book review로부터 추출한 세밀한 정서 상태를 포함하는 대규모 사용자 선호 데이터셋을 구축하고, Transformer-based architecture(ACRec)를 제안한다. 또한, 구축한 정서 상태 데이터셋을 활용해서, 사용자의 과거 아이템, 평점..

Introduction최근 LLM의 발전으로 LLM-based agent가 많이 등장했다. 이러한 에이전트들은3semantic understandingplanningdecision making skills를 바탕으로 보다 정교하고 context-aware추천을 가능하게 한다. 기존 연구들은 이런 agent를 추천시스템에 사용해 왔다. 하지만, 에이전트를 활용해 사용자 또는 아이템의 행동을 시뮬레이션하거나, single agent만을 사용한다. 하지만, 추천 시스템은 복잡한 의사결정 과정이 존재하고, 이에 single agent만으로는 부족하다. 기존에 multi-agent 추시 논문은 에이전트 유형이 제한적이며 협업 방식이 고정되어 있다. 이에 본 논문은, Multi-Agent Collaboration ..

AbstractUnimodal 도메인 일반화는 개별 모달리티 내부의 domain bias를 지우는데 초점을 두는 반면, Multimodal 도메인 일반화는 모달리티 이질성(서로 다른 특성 공간)과 안정성 불일치(도메인 변화에 따른 민감도 차이)라는 고유한 도전 과제에 직면한다.이에 본 논문은 Modality-Domain Joint Adversarial Training을 제안한다.3중 적대 모듈modality specific, multimodal representation에서 domain bias를 제거한다.안정성 기반(dynamic) 가중 조정 매커니즘도메인 간 안정성(cross-domain stability)에 따라 모달리티를 동적으로 조절하고, 불안정한 모달리티에 대한 과도한 의존을 줄인다.또한, M..

2022 ACM MultimediaAbstract인간은 본성적으로 사회적인 동물이다. 인간 진화의 한 중요한 측면은"허구적이든, 사실이든, 서사적 상상(narrative imagination)을 통해 이야기를 만들어 내고 다른 이들에게 전달하는 능력" 이다. 뉴스, 저널리즘, 현장 보고 등의 사실적 서사(factual narrative)는 현실 세계의 사건에 기반하며, 이를 만드는데 상당한 노력이 필요하다. 빅데이터의 시대가 오며, 비디오 caption 장치가 어디서든 존재하고, 이에 엄청난 양의 raw video가 생성된다(라이프로그, 블랙박스, 감시 등). 이에 인간이 이러한 비디오 데이터를 소화하고 분석하는 것은 사실상 불가능하다. 본 논문은 하나, 또는 여러개의 long video로부터, Text..

CVPR 2023 Abstract본 논문은 IMAGEBIND를 제안한다.- 이미지, 텍스트, 오디오, 깊이, 열(thermal), IMU 6가지 서로 다른 모달리티에 대해 공동 임베딩(joint embedding) 학습하는 접근법. 이러한 공동 임베딩을 학습하기 위해 모든 모달리티에대한 pair가 필요한 것이 아닌, image-paired data만으로도 모든 모달리티를 서로 결합하는데 충분함을 보여준다. IMAGEBIND는 최신 Large VLM을 활용할 수 있으며, Image와의 자연스러운 페어링만을 활용해 이들의 zero shot능력을 새로운 모달리티로 확장할 수 있다. 이 시스템은 학습 없이도 바로 사용할 수 있는(out-of-the-box) 새로운(emergent) 응용을 가능하게 한다.""Em..

Greedy: 탐욕법 알고리즘- 현재 상황에서 지금 당장 좋은 것만 고르는 방법 일단 특정한 문제를 만났을 때 단순히 현재 상황에서 가장 좋아 보이는 것만을 선택해도 문제를 풀 수 있는지 파악해야함.(정당성 분석이 중요) 3-1) 거스름돈정당성 분석: 가지고 있는 동전 중, 큰 단위가 항상 작은 단위의 배수이므로 작은 다위의 동전들을 종합해 다른 해가 나올 수 없기 때문에 가장 큰 화폐부터 돈을 거슬러 주는 것이 최적의 해를 보장한다.#500원,100원,50원,10원 무한히 존재.#손님에게 건내줘야 할 돈이 N원일 때 거슬러 줘야 할 동전의 최소 개수 구하기"""아이디어: 가장 큰 화폐단위부터 돈을 거슬러주기"""import sysn = int(sys.stdin.readline())# n = 1260co..

Abstract 심리학 연구에서 시각적 특성(visual features)과 의미적 내용(semantic conetnt)가 다양한 감정을 전달할 수 있다는 것을 보여준다. 더 나아가, 연구들은 image emotion과 aesthetics(미학: 화풍/ 스타일 등)이 매우 밀접하게 연결되어 있는 것을 입증했다. Image Aesthetic assessment process(IAA: 이미지 미적 평가 과정)에서 이미지는 개인의 감정적인 반응을 이끌어내어 정서적인 공감을 이끌어내고, 이미지의 평가에 영향을 미친다. 본 논문에서는 Hypernetwork of emotion fusion(HNEF)를 통해 Image aesthetics(이미지 심미성) 평가 방법을 제안한다. 이 방법을 달성하기 위해, aesthe..