말구링의 잡동사니

AI 자동화 도입 전에 챙겨야 할 보안 이슈들AI 자동화를 업무에 도입할 때 기능과 편의성에 집중하다 보면 보안은 나중에 생각하게 되는 경우가 많습니다. 그런데 AI와 자동화가 결합되면 데이터가 이동하는 경로가 늘어나고 외부 서비스와의 연결 지점이 많아집니다. 작은 실수가 생각보다 큰 문제로 이어질 수 있습니다. 도입 전에 한 번은 짚고 넘어가야 할 보안 이슈들을 정리했습니다.API 키 관리가 가장 기본입니다API 키는 외부 서비스에 접근하는 비밀번호와 같습니다. 노출되면 다른 사람이 내 계정으로 API를 호출할 수 있고 그 비용은 내가 부담합니다. 실제로 GitHub에 코드를 올리다가 API 키가 노출돼서 수백만 원의 청구서를 받은 사례가 종종 있습니다.코드에 API 키를 직접 넣으면 안 됩니다. 환경..

API 비용 생각보다 많이 나올 때 줄이는 방법Claude API를 쓰다 보면 처음에는 비용이 얼마 안 나오다가 자동화 워크플로우를 늘리거나 사용자가 많아지면 어느 순간 청구서가 예상보다 많이 나옵니다. 토큰 기반 과금 구조라 사용량이 늘수록 선형으로 비용이 올라갑니다. 실제로 비용을 줄이면서 쓸 수 있는 방법들을 정리했습니다.비용 구조부터 이해하면Claude API 비용은 입력 토큰과 출력 토큰으로 나뉩니다. 입력 토큰은 Claude에 보내는 텍스트의 양이고 출력 토큰은 Claude가 생성하는 응답의 양입니다. 모델마다 가격이 다르고 입력보다 출력 토큰이 더 비쌉니다.현재 기준으로 Claude Sonnet이 Opus보다 훨씬 저렴하고 Haiku는 Sonnet보다 훨씬 저렴합니다. 같은 작업을 어떤 모델..

벡터 DB — AI가 긴 문서를 어떻게 기억하는지 원리 (Pinecone·Chroma)Claude나 ChatGPT에 긴 문서를 넣으면 잘 처리하는데, 문서가 수백 개, 수천 개가 되면 한 번에 다 넣을 수가 없습니다. 컨텍스트 윈도우에 한계가 있기 때문입니다. 그렇다고 매번 관련 문서를 사람이 골라서 넣는 것도 현실적이지 않습니다. 벡터 데이터베이스가 이 문제를 해결합니다. RAG 글에서 잠깐 언급했는데, 이번에는 원리부터 실제 사용법까지 깊게 들어가보겠습니다.벡터가 뭔지부터 짚으면벡터는 숫자의 배열입니다. 텍스트를 벡터로 변환한다는 건 문장이나 단어를 수백 개에서 수천 개의 숫자로 표현한다는 뜻입니다. 이 변환 과정을 임베딩(Embedding)이라고 합니다.임베딩의 핵심은 의미가 비슷한 텍스트는 비슷한..

AI 앱 개발을 시작하면 Langchain과 LlamaIndex 이름이 계속 나옵니다. 둘 다 LLM 기반 애플리케이션을 만들 때 쓰는 프레임워크인데, 처음에는 뭐가 다른지 명확하게 구분이 안 됩니다. 직접 써보면서 헷갈렸던 부분을 중심으로 정리해봤습니다.한 줄로 정리하면Langchain은 LLM을 활용한 워크플로우와 에이전트를 만드는 프레임워크입니다. LlamaIndex는 데이터를 LLM이 쓸 수 있는 형태로 연결하고 검색하는 데 특화된 프레임워크입니다.같은 카테고리처럼 보이지만 핵심 강점이 다릅니다. Langchain은 여러 컴포넌트를 연결해서 복잡한 흐름을 만드는 데 강하고, LlamaIndex는 문서나 데이터를 LLM에 연결해서 질의응답하는 데 강합니다.Langchain이 잘하는 것Langchai..