분류 전체보기168 dgx spark 로 LLM 서버 구축. SGLang. https://build.nvidia.com/spark/connect-to-your-spark/sync Set Up Local Network Access | DGX SparkNVIDIA Sync helps set up and configure SSH accessbuild.nvidia.com 먼저 로컬 연결을 시도했다. 동일 네트워크로 내 맥북에 nvidia sync 깔고 호스트는 quick guide에 써있는거로 접근시도!근데 default 로 ssh 가 inactive였다.!!!!! spark 에서 ssh 활성화 해줬음. (안해도 됨.)아무튼 연결 성공. 근데 굳이 로컬 연결 안하고싶다. iterm으로 ssh연결 관리하고있어서 포트포워딩 열어줬다. 다시 spark로 와서, https://build.nv.. 2025. 12. 10. LLM 서비스를 위한 개념 정리 1. 모델 관련 개념1. 파라미터(Parameter) / 모델 크기모델은 입력에따른 출력을 내놓는 함수같은녀석.판단하거나 예측하거나 답변함. 뇌처럼 여러계산단계로 구성되어있는것이 신경망이라고 한다.사람처럼 자연스래 추론하도록 할면 수많은 규칙,패턴을 학습해야함. 더 많은 층, 뉴런, 파라미터!를 넣기시작함.“7B, 13B, 70B” 이런 숫자숫자 커질수록 더 똑똑함대신 GPU 메모리(VRAM) 많이 먹음모델 커질수록(레이어, 파라미터 커질수록)계산량 폭발. 100B면 천억개 가중치 전부 계산해야함.GPU여러대 필요. 더 많은 vram 필요.2. Context window (문맥 길이)LLM이 한 번에 읽을 수 있는 글자 수 제한예: 128k, 1M긴 문서 읽는 서비스 만들면 중요3. Token (토큰)L.. 2025. 12. 9. 플러터 개발자의 LLM 서비스 개발 로드맵 DGX Spark는 풀사이즈 DGX 서버(H100/H200 8GPU)와 다르게단일 GPU + 소형 메모리 기반 엣지 AI 장비이다.따라서 70B 모델 로드나 TP/PP 병렬 처리는 불가능하지만,AI 기능을 서비스에 녹이는 데에는 가능성을 갖고 있다. 1. LLM이 뭔지 정확히 이해하기DGX Spark는 단일 GPU 장비라서:NVLink 기반 멀티 GPU 병렬 처리는 지원하지 않음거대한 모델(70B, 405B) 로딩은 불가능대신 경량 LLM 또는 **양자화된 모델(1B ~ 8B급)**을 빠르게 돌릴 수 있음도입 가능한 모델 선택 기준:Llama 3.1 1B / 3BQwen 2.5 1.5B / 3B / 7B (4bit 시 가능)DeepSeek-R1 Distill 1.5B / 7B (양자화 필수)Phi-3.5.. 2025. 12. 9. 프론트앤드 발전 이해하기2 with Next.js 리액트 발전은 처음에 싱글 페이지. 최소 html받아서 텅빈 div태그, 근데 js bundle 참조함. 번들은 리액트 라이브러리, 코드, 실행에 필ㅇ요한 모든것. 브라우저는 html 실행되자마자 js 번들 다운받을것. 다운받은 js 스크립트는html 만들고 dom에 투입함 CSR Client가 요청후 html+js 참조 받음. 그리고 js 번들 요청해서 다운받음. 다운받은걸로 html 생성해고 돔트리에 밀어넣음/. seo망함 - 일단 html콘텐츠가 텅 비어있을거고, 컴포넌트가 많고 각각이 api호출하면 중요컨텐츠 너무 늦게로드돼서 검색엔진(크롤러?)가 그냥 지나칠수도 있음. 퍼포먼스 안좋음. 큰규모는 번들 받는데만 오래걸림. 그래서 서버사이드에서 다시 해결보자고 함. (원래 서버에서 처.. 2025. 12. 9. 프론트엔드 이해하기 (feat. next.js) html , css, 그리고 js 가 등장했다. JavaScript와 DOM브라우저는 HTML을 읽어 DOM(Document Object Model)이라는 트리 구조로 만든다.DOM은 “HTML의 객체 버전”이라고 보면 된다.브라우저는 이 DOM을 메모리에 저장해 관리한다.JavaScript는 이 DOM을 조작해 화면을 변경한다.브라우저가 제공하는 Web API(DOM API)를 사용해 dom 조작. ajax -페이지 새로고침에서의 해방. (asynchronous javascript and xml) 비동기로 서버와 통신기술. 비동기 -> 새로고침 없이 정보주고받음.필요한 데이터만 받아서 DOM 일부만 업데이트 가능사용하기 어려워서 Fetch(웹 api),jQuery, axios SPA(Singl.. 2025. 11. 19. Flutter FCM 활용 총정리 (서버연동까지) 아래 두개는 테스트용 템플릿입니다.[서버템플릿]https://github.com/dusagong/FCM_SERVER GitHub - dusagong/FCM_SERVER: simple node serversimple node server. Contribute to dusagong/FCM_SERVER development by creating an account on GitHub.github.com [클라이언트 템플릿]https://github.com/dusagong/FCM_APP-Flutter-with-AOS-IOS- GitHub - dusagong/FCM_APP-Flutter-with-AOS-IOS-Contribute to dusagong/FCM_APP-Flutter-with-AOS-IOS- develo.. 2025. 9. 16. 이전 1 2 3 4 ··· 28 다음
