PRISM (6) 썸네일형 리스트형 [기술 블로그] 음성 AI 모델을 프로덕션에 올리기까지: Kanana-O 서빙 최적화 여정 카카오테크의 「음성 AI 모델을 프로덕션에 올리기까지: Kanana-O 서빙 최적화 여정」을 읽고, AI 모델을 만드는 것과 실제 사용자에게 서비스하는 것은 전혀 다른 문제라는 점을 다시 생각하게 되었다. 처음에는 “모델이 완성되면 API로 감싸서 서비스하면 되는 것 아닌가?”라고 단순하게 생각할 수 있다. 하지만 이 글을 읽어보니, 특히 음성 AI처럼 실시간 응답이 중요한 모델은 단순히 추론이 가능하다는 것만으로는 부족했다. 사용자는 수백 밀리초 안에 첫 음성 응답을 기대하고, 서버는 동시에 여러 사용자의 요청을 처리해야 하며, 텍스트 생성과 음성 합성이 끊김 없이 이어져야 한다. 또한 각각의 모델 컴포넌트가 사용하는 GPU 메모리와 실행 방식도 다르기 때문에, 이를 하나의 서비스로 안정적으로 운영하기.. [기술 블로그] 누적식 보안의 위험: 취약점 클리닝 서비스에서 발견된 RCE 사례 티오리 Frontier Squad 팀의 「누적식 보안의 위험: 취약점 클리닝 서비스에서 발견된 RCE 사례」를 읽고, 보안 프로그램이 사용자 PC에서 어떤 권한으로 동작하는지, 그리고 그 권한이 잘못 설계되었을 때 얼마나 큰 위험으로 이어질 수 있는지를 다시 생각하게 되었다. 이번 글에서 가장 인상적이었던 부분은 ‘누적식 보안’이라는 개념이었다. 처음 접한 개념이었는데, 새로운 보안 위협이 생길 때마다 기존 시스템 위에 보안 기능을 하나씩 더 추가하는 방식이 오히려 시간이 지나면서 새로운 공격 표면이 될 수 있다는 점이 흥미로웠다. 보안 취약점 클리닝 서비스는 사용자 PC에 설치된 오래된 소프트웨어나 취약한 버전을 찾아내고, 이를 최신 버전으로 업데이트하도록 돕는 서비스다. 취지 자체는 분명히 필요하다... [기술 블로그] 뱅크샐러드에서 합법적으로 Vibe Coding 하는 법 최근 생성형 AI와 LLM 기반 개발 도구가 빠르게 확산되면서, 개발 과정에서도 “Vibe Coding”이라는 표현이 자주 사용되고 있다. Vibe Coding은 자연어로 원하는 기능을 설명하고, LLM이 코드를 생성하도록 하는 개발 방식을 의미한다. 개발자가 모든 코드를 직접 작성하지 않아도 빠르게 결과물을 만들 수 있다는 점에서 매력적인 방식이다. 하지만 실제 서비스 운영 환경에서도 LLM이 생성한 코드를 그대로 사용할 수 있을까?뱅크샐러드 기술블로그의 「뱅크샐러드에서 합법적으로 Vibe Coding 하는 법」은 이 질문에 대해 흥미로운 답을 제시한다. 원문은 샐러드게임이라는 서비스에서 운영자가 새로운 미션과 규칙을 빠르게 만들 수 있도록 하면서도, 시스템 안정성을 해치지 않기 위해 DSL, 즉 Do.. [기술 블로그] “생각하고 답변하는” 카카오의 하이브리드 멀티모달 언어모델, Kanana-v-4b-hybrid 개발기 최근 생성형 AI는 단순히 자연스러운 문장을 만들어내는 수준을 넘어, 다양한 형태의 데이터를 이해하고 그 위에서 스스로 판단하는 방향으로 빠르게 발전하고 있다. 이런 흐름 속에서 카카오가 공개한 Kanana-v-4b-hybrid 개발기는 단순한 모델 소개를 넘어, 앞으로의 AI가 어떤 방향으로 진화하고 있는지를 보여주는 중요한 사례라고 느껴졌다. 이 글이 인상적이었던 이유는 단순히 “더 성능이 좋은 멀티모달 모델을 만들었다”는 식의 설명에 머무르지 않고, 실제 사용자가 원하는 AI가 무엇인지부터 다시 짚고 있다는 점이다. 카카오는 현장에서 사용자가 더 이상 단순히 이미지를 읽어주는 AI가 아니라, 스스로 근거를 찾고, 생각하고, 검증한 뒤 답변하는 AI를 원하고 있다는 점을 확인했다고 설명한다. 그리고 .. [기술 블로그] 개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation) 최근 커머스 서비스에서는 단순히 많은 상품을 보여주는 것만으로는 충분하지 않다. 이제는 사용자가 원하는 상품을 얼마나 빠르고 정확하게 찾아주느냐가 서비스 경험과 매출을 좌우하는 핵심 경쟁력이 되고 있다. 특히 상품 수가 많아질수록 사용자는 선택 피로를 느끼기 쉽다. 검색이나 인기순 정렬만으로는 각자의 취향과 상황을 충분히 반영하기 어렵기 때문이다.결국 중요한 것은 사용자가 원하는 상품을 제때 발견하도록 돕는 일이며, 이 지점에서 개인화 추천 시스템의 역할이 커진다. 이번 글에서는 컬리 기술블로그의 「개인화 추천 시스템 1편 - 유저의 행동은 ‘언어’일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)」를 바탕으로, 유저의 행동을 하나의 언어처.. [기술 블로그] 흩어져 있는 AI 자산, ‘MCP stdio’로 헤쳐모여! 최근 AI 에이전트와 코딩 도구를 함께 사용하는 환경이 빠르게 확산되면서, 이제는 단순히 “AI를 잘 쓰는 방법”을 넘어서 AI가 참고하는 자산을 어떻게 관리할 것인가도 중요한 문제가 되고 있다고 느꼈다. 프롬프트, 스킬, 규칙 문서, 페르소나 같은 AI 자산은 한 번 만들고 끝나는 것이 아니라 계속 수정되고 개선되기 때문에, 팀 단위로 활용할수록 최신 버전 관리와 일관성 유지가 더 중요해진다. 실제 원문에서도 흩어져 있는 AI 자산을 중앙화해 관리하고, 구성원들이 최신 자산을 쉽게 사용할 수 있는 방법으로 Agent Sync와 MCP stdio를 비교하고 있다. ※ 본 글은 우아한형제들 기술블로그의 「흩어져 있는 AI 자산, ‘MCP stdio’로 헤쳐모여!」 글을 참고하여 작성하였습니다. https:.. 이전 1 다음