huggingface/transformers: AI ํ์ต ์๋ฃ ๋ชจ์
5์ค ์์ฝ
- โธhuggingface/transformers๋ ํ ์คํธ, ๋น์ , ์ค๋์ค ๋ฐ ๋ค์ค ๋ชจ๋ฌ ๋ชจ๋ธ์ ์ํ ์ต์ฒจ๋จ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ์ ์ ํ๋ ์์ํฌ์ ๋๋ค.
- โธ์ด ํ๋ ์์ํฌ๋ ์ถ๋ก (inference)๊ณผ ํ์ต(training) ๋ชจ๋๋ฅผ ์ง์ํ๋ ๊ฒ์ ํต์ฌ ๋ชฉํ๋ก ํฉ๋๋ค.
- โธํ์ฌ 16๋ง 2์ฒ ๊ฐ ์ด์์ ์คํ(stars)์ 3๋ง 3์ฒ ๊ฐ ์ด์์ ํฌํฌ(forks)๋ฅผ ๊ธฐ๋กํ๋ฉฐ ๋์ ๊ด์ฌ์ ๋ฐ๊ณ ์์ต๋๋ค.
- โธ์ฃผ๋ก Python ์ธ์ด๋ก ๊ฐ๋ฐ๋์์ผ๋ฉฐ, Apache-2.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๊ณ ์์ต๋๋ค.
- โธ๋ฅ๋ฌ๋, ์์ฐ์ด ์ฒ๋ฆฌ, LLM ๋ฑ ๋ค์ํ AI ๋ถ์ผ์์ ๋ชจ๋ธ์ ๊ตฌ์ถํ๊ณ ํ์ฉํ๋ ค๋ ๊ฐ๋ฐ์๋ค์๊ฒ ์ ์ฉํฉ๋๋ค.
์ค๋ช
huggingface/transformers๋ ์ต์ฒจ๋จ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ ์ํ๊ณ ํ์ฉํ๊ธฐ ์ํ ํ๋ ์์ํฌ์ ๋๋ค. ์ด ์ ์ฅ์์ ์ค๋ช ์ ๋ฐ๋ฅด๋ฉด, ํ ์คํธ, ๋น์ , ์ค๋์ค, ๊ทธ๋ฆฌ๊ณ ๋ค์ค ๋ชจ๋ฌ(multimodal) ๋ชจ๋ธ์ ์ง์ํ๋ฉฐ, ์ถ๋ก ๊ณผ ํ์ต์ด๋ผ๋ ๋ ๊ฐ์ง ์ฃผ์ ๋ชฉ์ ์ ๋ชจ๋ ์ถฉ์กฑํ๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ด๋ ๋จ์ผ ํ๋ ์์ํฌ ๋ด์์ ๋ค์ํ ํํ์ AI ๋ชจ๋ธ์ ๊ฐ๋ฐํ๊ณ ๋ฐฐํฌํ ์ ์๋ ์ ์ฐ์ฑ์ ์ ๊ณตํจ์ ์๋ฏธํฉ๋๋ค.
์ด ํ๋ ์์ํฌ๋ ๋ฅ๋ฌ๋(deep-learning), LLM(Large Language Models), ์์ฐ์ด ์ฒ๋ฆฌ(natural-language-processing)์ ๊ฐ์ ๋ค์ํ ํ ํฝ์ ํฌ๊ดํ๊ณ ์์ต๋๋ค. ๋ํ, deepseek, gemma, glm๊ณผ ๊ฐ์ ํน์ ๋ชจ๋ธ๋ช ๋ ํ ํฝ์ผ๋ก ์ธ๊ธ๋์ด ์์ด, ์ต์ ๋ชจ๋ธ ์ํคํ ์ฒ๋ฅผ ์ง์ํ๋ ค๋ ๋ ธ๋ ฅ์ ์ฟ๋ณผ ์ ์์ต๋๋ค. ์ด์ฒ๋ผ ๊ด๋ฒ์ํ ์์ญ์ ๋ค๋ฃจ๋ ๊ฒ์ AI ์ฐ๊ตฌ ๋ฐ ๊ฐ๋ฐ ์ปค๋ฎค๋ํฐ์์ ํ์์ ์ธ ๋๊ตฌ๋ก ์๋ฆฌ๋งค๊นํ๊ณ ์์์ ์์ฌํฉ๋๋ค.
ํต์ฌ ๊ธฐ๋ฅ
huggingface/transformers์ ํต์ฌ ๊ธฐ๋ฅ์ ์ต์ฒจ๋จ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ํ ๋ชจ๋ธ ์ ์ ํ๋ ์์ํฌ๋ผ๋ ์ ์ ๋๋ค. ์ด๋ ์ฌ์ฉ์๊ฐ ๋ณต์กํ AI ๋ชจ๋ธ์ ์ง์ ๋ฐ๋ฅ๋ถํฐ ๊ตฌํํ๋ ๋์ , ์ด๋ฏธ ์ ์ ์๋ ๊ตฌ์กฐ์ ๋๊ตฌ๋ฅผ ํ์ฉํ์ฌ ๋ชจ๋ธ์ ๊ตฌ์ถํ๊ณ ์คํํ ์ ์๋๋ก ๋๋๋ค๋ ์๋ฏธ์ ๋๋ค. ํนํ ์ถ๋ก ๊ณผ ํ์ต์ ๋ชจ๋ ์ง์ํจ์ผ๋ก์จ, ๊ฐ๋ฐ๋ ๋ชจ๋ธ์ ์ค์ ์๋น์ค์ ์ ์ฉํ๊ฑฐ๋ ์ถ๊ฐ์ ์ธ ๋ฐ์ดํฐ๋ก ๋ฏธ์ธ ์กฐ์ (fine-tuning)ํ๋ ๊ณผ์ ์ ์ฉ์ดํ๊ฒ ํฉ๋๋ค.
์ด ํ๋ ์์ํฌ๋ ํ ์คํธ, ๋น์ , ์ค๋์ค ๋ฐ ๋ค์ค ๋ชจ๋ฌ ๋ชจ๋ธ์ ํฌ๊ดํ๋ฏ๋ก, ๋ค์ํ ์ ํ์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ ํ์ฉ๋ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ์์ฐ์ด ์ดํด ๋ชจ๋ธ, ์ด๋ฏธ์ง๋ฅผ ๋ถ์ํ๋ ์ปดํจํฐ ๋น์ ๋ชจ๋ธ, ์์ฑ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ์ค๋์ค ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ ์ด๋ค์ ๊ฒฐํฉํ ๋ณตํฉ์ ์ธ AI ์์คํ ์ ๊ตฌ์ถํ๋ ๋ฐ ์ฌ์ฉ๋ ์ ์์ต๋๋ค. ์ด๋ฌํ ๋ค๊ธฐ๋ฅ์ฑ์ ๊ฐ๋ฐ์๋ค์ด ํน์ ๋๋ฉ์ธ์ ๊ตฌ์ ๋ฐ์ง ์๊ณ ํญ๋์ AI ํ๋ก์ ํธ๋ฅผ ์ํํ ์ ์๋๋ก ์ง์ํฉ๋๋ค.
๋ํ, GitHub ํธ๋ ๋ฉ ์ ์ฅ์ ์ค kvcache-ai/ktransformers๋ "์ด์ข LLM ์ถ๋ก /๋ฏธ์ธ ์กฐ์ ์ต์ ํ๋ฅผ ๊ฒฝํํ๊ธฐ ์ํ ์ ์ฐํ ํ๋ ์์ํฌ"๋ก ์ค๋ช ๋์ด ์์ผ๋ฉฐ, handy-computer/transcribe.cpp๋ "16๊ฐ ์ด์์ ๋ชจ๋ธ ํจ๋ฐ๋ฆฌ๋ฅผ ์ํ ggml ์์ฑ-ํ ์คํธ ์ถ๋ก "์ ์ ๊ณตํฉ๋๋ค. moonshine-ai/moonshine์ "์์ฑ ์์ด์ ํธ ๋ฐ ์ธํฐํ์ด์ค ๊ตฌ์ถ์ ์ํ ๋งค์ฐ ๋ฎ์ ์ง์ฐ ์๊ฐ์ ์์ฑ-ํ ์คํธ, ์๋ ์ธ์ ๋ฐ ํ ์คํธ-์์ฑ" ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ค๊ณ ํฉ๋๋ค. ์ด๋ค์ huggingface/transformers์ ์ง์ ์ ์ธ ๊ด๊ณ๊ฐ ๋ช ์๋์ด ์์ง๋ ์์ง๋ง, LLM ์ถ๋ก , ์์ฑ-ํ ์คํธ ๋ณํ๊ณผ ๊ฐ์ ํน์ AI ์์ญ์์ ์ถ๋ก ๋ฐ ์ต์ ํ๊ฐ ์ค์ํ ๊ด์ฌ์ฌ์์ ๋ณด์ฌ์ค๋๋ค. huggingface/transformers ์ญ์ ์ด๋ฌํ ์ถ๋ก ๋ฐ ํ์ต์ ํต์ฌ ๊ธฐ๋ฅ์ ์ ๊ณตํจ์ผ๋ก์จ ๊ด๋ฒ์ํ AI ๊ฐ๋ฐ ์ํ๊ณ์ ๊ธฐ์ฌํ๊ณ ์์ต๋๋ค.
๋ผ์ด์ ์ค์ ์์ ์ ์ด์ฉ
huggingface/transformers๋ Apache-2.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฅด๊ณ ์์ต๋๋ค. Apache-2.0 ๋ผ์ด์ ์ค๋ ์ผ๋ฐ์ ์ผ๋ก ์ํํธ์จ์ด์ ์์ ์ ์ด์ฉ, ๋ฐฐํฌ, ์์ , ํนํ ์ฌ์ฉ์ ํ์ฉํ๋ ๋งค์ฐ ์ ์ฐํ ๋ผ์ด์ ์ค์ ๋๋ค. ์ด ๋ผ์ด์ ์ค์ ๋ฐ๋ผ ์ฌ์ฉ์๋ค์ ํด๋น ์ํํธ์จ์ด๋ฅผ ์์ ๋กญ๊ฒ ์ฌ์ฉํ๊ณ ์์ ํ๋ฉฐ ์์ ์ ํ๋ก์ ํธ์ ํตํฉํ ์ ์์ต๋๋ค. ์์ ์ ๋ชฉ์ ์ผ๋ก๋ ํ์ฉํ ์ ์์ง๋ง, ์ผ๋ฐ์ ์ผ๋ก ์๋ณธ ๋ผ์ด์ ์ค ๋ฐ ์ ์๊ถ ๊ณ ์ง๋ฅผ ์ ์งํด์ผ ํฉ๋๋ค. ๊ทธ๋ฌ๋ ๊ตฌ์ฒด์ ์ธ ๋ฒ์ ํด์ ๋ฐ ์ ์ฉ์ ๋ํด์๋ ์ ๋ฌธ๊ฐ์ ์๋ฌธ์ ๊ตฌํ๋ ๊ฒ์ด ๋ฐ๋์งํฉ๋๋ค.
์ฌ๋๋ค์ ํ๊ฐ
huggingface/transformers๋ GitHub์์ 162,762๊ฐ์ ์คํ(stars)์ 33,948๊ฐ์ ํฌํฌ(forks)๋ฅผ ๊ธฐ๋กํ๋ฉฐ ๋งค์ฐ ๋์ ๊ด์ฌ๊ณผ ํ๋ฐํ ์ฐธ์ฌ๋ฅผ ๋ฐ๊ณ ์์ต๋๋ค. ์ด๋ฌํ ์์น๋ ์ด ํ๋ ์์ํฌ๊ฐ AI ๊ฐ๋ฐ ์ปค๋ฎค๋ํฐ ๋ด์์ ์ผ๋ง๋ ์ค์ํ ์ญํ ์ ํ๊ณ ์์ผ๋ฉฐ, ๋ง์ ๊ฐ๋ฐ์๋ค์๊ฒ ์ ์ฉํ๊ฒ ํ์ฉ๋๊ณ ์๋์ง๋ฅผ ๋ณด์ฌ์ค๋๋ค. ๋์ ์คํ ์๋ ํ๋ก์ ํธ์ ์ธ๊ธฐ์ ์ํฅ๋ ฅ์ ๋ํ๋ด๋ฉฐ, ๋ง์ ํฌํฌ ์๋ ๊ฐ๋ฐ์๋ค์ด ์ด ์ฝ๋๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ ๋ง์ ํ๋ก์ ํธ๋ฅผ ๋ง๋ค๊ฑฐ๋ ๊ธฐ์ฌํ๋ ค๋ ์์ง๊ฐ ๋์์ ์๋ฏธํฉ๋๋ค.
๋ํ, ์ด ํ๋ก์ ํธ์ ํ ํฝ ๋ชฉ๋ก์ audio, deep-learning, deepseek, gemma, glm, hacktoberfest, llm, machine-learning, model-hub, natural-language-processing๊ณผ ๊ฐ์ ๋ค์ํ ํค์๋๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ์ด๋ ํด๋น ํ๋ ์์ํฌ๊ฐ ๊ด๋ฒ์ํ AI ๋ถ์ผ์ ๊ฑธ์ณ ํ์ฉ๋๊ณ ์์ผ๋ฉฐ, ์ต์ ๊ธฐ์ ํธ๋ ๋์ ๋ชจ๋ธ๋ค์ ์ ๊ทน์ ์ผ๋ก ์์ฉํ๊ณ ์์์ ์์ฌํฉ๋๋ค. ํนํ LLM๊ณผ ๊ฐ์ ํ์ฌ ๊ฐ์ฅ ์ฃผ๋ชฉ๋ฐ๋ AI ๋ถ์ผ๋ฅผ ํฌํจํ๊ณ ์๋ค๋ ์ ์ ์ด ํ๋ก์ ํธ์ ํ์ฌ์ฑ๊ณผ ์ค์์ฑ์ ๋์ฑ ๊ฐ์กฐํฉ๋๋ค.
์ฐธ๊ณ
- GitHub | GitHub ๊ธ์์น AI ๋ ํฌ: huggingface/transformers
- ๋งํฌ: https://github.com/huggingface/transformers
- GitHub Trending | GitHub ํธ๋ ๋ฉ AI ๋ ํฌ: kvcache-ai/ktransformers
- ๋งํฌ: https://github.com/kvcache-ai/ktransformers
- GitHub Trending | GitHub ํธ๋ ๋ฉ AI ๋ ํฌ: handy-computer/transcribe.cpp
- ๋งํฌ: https://github.com/handy-computer/transcribe.cpp
- GitHub Trending | GitHub ํธ๋ ๋ฉ AI ๋ ํฌ: moonshine-ai/moonshine
- ๋งํฌ: https://github.com/moonshine-ai/moonshine
๐งช ์ฌ๋ฆฌ ํ ์คํธ ํด๋ณด๊ธฐ
๋๊ธ