AI서비스 고도화-1

[koreannn]

AI 서비스 고도화-1

Youtube API를 활용:

이미지를 기반으로 AI가 분석한 상황 OR 사용자가 입력한 상황을 유튜브 검색 쿼리로 활용하여, 유사도가 가장 높은 K개(예시로, 3개)를 뽑아서, 이 영상들에 대한 자막 정보를 추출하여 LLM에게 레퍼런스 정보로 넘기는 방법

문제점

1. 영상 길이가 길어지면 자막 텍스트 길이가 길어질 가능성이 높음 → LLM의 Max token을 초과하게될 수 있음
2. 사용자의 상황에 대한 해석은 (사용자가 일일이 입력하지 않은 이상)LLM에 의한 것임 → LLM의 상황 해석이 이상해지면, 덩달아서 레퍼런스 또한 이상해질 수 있음
3. 단순히 상황을 분석해서, 이를 기반으로 유튜브 검색을 한다? 이건 그냥 사용자가 유튜브에 검색하는거랑 차별성이 없음. 따라서 차별화된 포인트를 적어도 하나는 만들어야함.

각 문제점마다 생각한 해결방안

1. 일단 영상 길이가 일정 길이 이하인 영상만을 선택하도록 하는 방법, 추출된 자막 텍스트에 대해, 일정 크기 이상의 단위(문장 단위 정도?)로 유사도를 측정해서, 유사도가 낮은 문장은 필터링하는 파이프라인을 한번 더 태운다. (상황과 관계없는 텍스트 정보를 제외시키기 위함) 아니면 자막 텍스트를 요약해서 LLM에 전달하는 방식도 있음.(이게 제일 나을것같음)
2. LLM이 사용자의 상황을 최대한 잘 파악할 수 있도록 일단 프롬프트 최적화부터 잘 한다.
3. 메타 데이터를 추가적으로 활용한다(좋아요 수, 조회수, 댓글, 최신성.. 등)

[koreannn]

유튜브 API 사용 관련

매일 10000 유닛의 기본 할당량을 받고, 검색 요청은 100유닛을 소모한다고 함 (모두 사용 시 API 사용 제한(비용은 청구되지x))

[koreannn]

세상에서 제일 똑똑한 사람들이 만든 gpt같은 애들도, 사용자가 충분한 정보를 전달해주지 않는다면 사용자에게 만족스러운 답변을 만들어줄 수 없음. 따라서 사용자에 대해 정보를 충분히 파악할 수 있도록 유도해야함

[koreannn]

• 유튜브 스크립트를 레퍼런스 정보로 전달하려면, 검색 쿼리부터 잘 만들어야함.
• 검색 쿼리부터 사용자의 의도와 벗어나게된다면, 사용자가 원하는 값과 크게 달라질것임

어떻게 해야 "잘" 만들 수 있을까?

• 사용자와 상호작용을 통해 최대한 정확한 정보를 만들고, 최종적으로 선택된, 가장 올바른 상황/말투/용도/디테일정보 에 관한 정보를 기반으로 쿼리가 만들어져야함.
• 영상의 선택에 대한 고민: 단순히 유튜브에서 상위 결과에 뜨는 것이 가장 정확한 정보일것인가에 대해 한번 의심해볼 필요가 O