[20230924] Weekly AI ArXiv 만담 시즌2 - 27회차 #93
Description
Zoom 웨비나 주소: https://navercorp.zoom.us/j/92208940283
News
-
Conferences
- NeurIPS 2023 (D&B 트랙 포함) 결과발표: 억셉되신 분들 모두 축하드리고 아쉽게 리젝된 분들 ICLR 24 로 ㄱㄱ!
- ICLR 2024: 오늘 밤 9시가 abstract 마감입니다. Full paper는 29일 밤 9시 입니다.
- ICCV 2023: 10월 2일 (명절 임시 공휴일) 부터 6일까지 프랑스 파리에서!
-
How much energy does AI use compared to humans? Surprising study ignites controversy
- The paper found that when producing a page of text, an AI system such as ChatGPT emits 130 to 1500 times fewer carbon dioxide equivalents (CO2e) compared to a human???
- Similarly, in the case of creating an image, an AI system such as Midjourney or OpenAI’s DALL-E 2 emits 310 to 2900 times less CO2e.
- UC Irvine과 MIT에서 연초에 arxiv에 올린논문
- The Carbon Emissions of Writing and Illustrating Are Lower for AI than for Humans
- 여기서 쓰는 AI는 ChatGPT, Bloom, DALLE2, Midjourney
- 여기서 CO2 배출은 training은 제외하고 쿼리당 inference 때 쓰는 에너지를 기준으
-
Amazon leader says new Gen AI Alexa is a ‘super agent’
- Amazon의 LLM을 Alexa에 붙인다고...
- 호출수가 많아졌을 때 운영비는? 좀 슬림한 모델일 것인
ArXiv
- LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
- CHUK 와 MIT (Song Han) 협업 연구
- Shift short attention 과 LoRA를 합해서 PEFT 형태로 long-context FT를 진행
- Short attention은 전체 context leangth의 1/4만.. 이걸 shift로 커버
- LoRA 외에 embedding 과 Norm을 추가 학습 하는 셋업을 LoRA+ 라고 --> 요건 context 길 때 유효
- 주로 실험은 LLaMA 7B, 13B, 70B (8 A100 1대로 모든 실험)
- 일단 숫자는 경쟁력 있어보이긴 한데 얼마나 워킹할지는 테스트 필요
