Not: Bu dosya makine tarafından çevrilmiştir. Çeviri iyileştirmelerine katkılarınız memnuniyetle karşılanır!
Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe
Opik, prototipten üretime kadar daha iyi çalışan üretken yapay zeka uygulamaları oluşturmanıza, test etmenize ve optimize etmenize yardımcı olur. RAG sohbet robotlarından kod asistanlarına ve karmaşık aracı sistemlere kadar Opik, yapay zeka geliştirmede tahmine dayalı çalışmayı ortadan kaldırmak için kapsamlı izleme, değerlendirme ve otomatik bilgi istemi ve araç optimizasyonu sağlar.
Web sitesi • Slack Topluluğu • Twitter • Değişiklik günlüğü • Belgeler
🧑⚖️ Hakim Olarak Yüksek Lisans • 🔍 Başvurunuzu Değerlendirme • ⭐ Bize Yıldız Verin • 🤝 Katkıda Bulunma
Opik (Comet) tarafından oluşturulmuştur, LLM uygulamalarının tüm yaşam döngüsünü kolaylaştırmak için tasarlanmış açık kaynaklı bir platformdur. Geliştiricilere modellerini ve aracı sistemlerini değerlendirme, test etme, izleme ve optimize etme yetkisi verir. Anahtar teklifler şunları içerir:
- Kapsamlı Gözlemlenebilirlik: LLM çağrılarının, konuşma günlüğünün ve temsilci etkinliğinin derinlemesine izlenmesi.
- Gelişmiş Değerlendirme: Güçlü anında değerlendirme, yargıç olarak Yüksek Lisans ve deney yönetimi.
- Üretime Hazır: Ölçeklenebilir izleme kontrol panelleri ve üretim için çevrimiçi değerlendirme kuralları.
- Opik Agent Optimizer: İstemleri ve aracıları geliştirmek için özel SDK ve optimize ediciler seti.
- Opik Guardrails: Güvenli ve sorumlu yapay zeka uygulamalarını hayata geçirmenize yardımcı olacak özellikler.
Temel yetenekler şunları içerir:
-
Geliştirme ve İzleme:
-
Geliştirme ve üretim sırasında tüm LLM çağrılarını ve izlemelerini ayrıntılı bağlamla takip edin (Hızlı Başlangıç).
-
Kolay gözlemlenebilirlik için kapsamlı 3. taraf entegrasyonları: En büyük ve en popüler çerçevelerin çoğunu yerel olarak destekleyen (Google ADK, Autogen ve Flowise AI gibi son eklemeler dahil) büyüyen çerçeve listesiyle sorunsuz bir şekilde entegre olun. (Entegrasyonlar)
-
Python aracılığıyla izlere ve yayılmalara geri bildirim puanlarıyla açıklama ekleyin SDK veya Kullanıcı arayüzü.
-
Prompt Playground'daki istemler ve modellerle denemeler yapın.
-
Değerlendirme ve Test:
-
LLM başvuru değerlendirmenizi Datasets ile otomatikleştirin ve Deneyler.
-
Halüsinasyon tespiti gibi karmaşık görevler için güçlü Yargıç Olarak Yüksek Lisans metriklerinden yararlanın, moderation ve RAG değerlendirmesi (Answer Uygunluk, Bağlam Hassasiyet).
-
PyTest entegrasyonumuzla değerlendirmeleri CI/CD ardışık düzeninize entegre edin.
-
Üretim İzleme ve Optimizasyon:
-
Yüksek hacimli üretim izlerini günlüğe kaydedin: Opik ölçek için tasarlanmıştır (günde 40 milyonun üzerinde iz).
-
Opik Kontrol Panelinden geri bildirim puanlarını, iz sayılarını ve zaman içindeki jeton kullanımını izleyin.
-
Üretim sorunlarını belirlemek için LLM-as-a-Judge metrikleriyle Çevrimiçi Değerlendirme Kurallarını kullanın.
-
Üretimdeki LLM uygulamalarınızı sürekli olarak iyileştirmek ve güvence altına almak için Opik Agent Optimizer ve Opik Guardrails'ten yararlanın.
Tip
Opik'in bugün sahip olmadığı özellikleri arıyorsanız lütfen yeni bir Özellik isteği 🚀
Opik sunucunuzu dakikalar içinde çalışır hale getirin. İhtiyaçlarınıza en uygun seçeneği seçin:
Opik'e hiçbir kurulum yapmadan anında erişin. Hızlı başlatma ve sorunsuz bakım için idealdir.
👉 Ücretsiz Comet hesabınızı oluşturun
Opik'i kendi ortamınızda konuşlandırın. Yerel kurulumlar için Docker'ı veya ölçeklenebilirlik için Kubernetes'i seçin.
Bu, yerel bir Opik örneğini çalıştırmanın en basit yoludur. Yeni ./opik.sh kurulum komut dosyasına dikkat edin:
Linux veya Mac Ortamında:
# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git
# Navigate to the repository
cd opik
# Start the Opik platform
./opik.shWindows Ortamında:
# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git
# Navigate to the repository
cd opik
# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"Geliştirmeye Yönelik Hizmet Profilleri
Opik kurulum komut dosyaları artık farklı geliştirme senaryolarına yönelik hizmet profillerini destekliyor:
# Start full Opik suite (default behavior)
./opik.sh
# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra
# Start infrastructure + backend services
./opik.sh --backend
# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backendSorunları gidermek için "--help" veya "--info" seçeneklerini kullanın. Dockerfiles artık gelişmiş güvenlik için konteynerlerin root olmayan kullanıcılar olarak çalışmasını sağlıyor. Her şey hazır ve çalışır durumda olduğunda, artık tarayıcınızda localhost:5173 adresini ziyaret edebilirsiniz! Ayrıntılı talimatlar için Yerel Dağıtım Kılavuzuna bakın.
Üretim veya daha büyük ölçekli kendi kendine barındırılan dağıtımlar için Opik, Helm grafiğimizi kullanarak bir Kubernetes kümesine kurulabilir. Helm Kullanarak Kubernetes Kurulum Kılavuzu için rozeti tıklayın.
Important
Sürüm 1.7.0 Değişiklikleri: Önemli güncellemeler ve son değişiklikler için lütfen changelog'u kontrol edin.
Opik, Opik sunucusuyla etkileşime geçmek için bir istemci kitaplıkları paketi ve bir REST API sağlar. Buna Python, TypeScript ve Ruby (OpenTelemetry aracılığıyla) için SDK'lar dahildir ve iş akışlarınızla kusursuz entegrasyona olanak tanır. Ayrıntılı API ve SDK referansları için Opik İstemci Referans Belgelerine bakın.
Python SDK'yı kullanmaya başlamak için:
Paketi yükleyin:
# install using pip
pip install opik
# or install with uv
uv pip install opikPython SDK'sını, sizden Opik sunucu adresinizi (kendi kendine barındırılan örnekler için) veya API anahtarınızı ve çalışma alanınızı (Comet.com için) isteyecek olan "opik yapılandırma" komutunu çalıştırarak yapılandırın:
opik configureTip
SDK'yı yerel olarak kendi kendine barındırılan bir kurulumda çalışacak şekilde yapılandırmak için Python kodunuzdan opik.configure(use_local=True) çağrısını da yapabilirsiniz veya doğrudan Comet.com için API anahtarı ve çalışma alanı ayrıntılarını sağlayabilirsiniz. Daha fazla yapılandırma seçeneği için Python SDK belgelerine bakın.
Artık Python SDK kullanarak izleri günlüğe kaydetmeye başlamaya hazırsınız.
İzleri kaydetmenin en kolay yolu doğrudan entegrasyonlarımızdan birini kullanmaktır. Opik, Google ADK, Autogen, AG2 ve Flowise AI gibi son eklemeler de dahil olmak üzere çok çeşitli çerçeveleri destekler:
| Entegrasyon | Açıklama | Belgeler |
|---|---|---|
| ADK | Google Agent Geliştirme Kiti (ADK) için günlük izlemeleri | Belgeler |
| AG2 | AG2 LLM çağrıları için günlük izlemeleri | Belgeler |
| Yapay Zeka Süiti | aisuite LLM çağrıları için günlük izlemeleri | Belgeler |
| Agno | Agno aracı düzenleme çerçevesi çağrılarına yönelik günlük izlemeleri | Belgeler |
| Antropik | Anthropic LLM çağrıları için günlük izlemeleri | Belgeler |
| Otojen | Autogen aracılı iş akışları için günlük izlemeleri | Belgeler |
| Ana kaya | Amazon Bedrock LLM çağrılarına ilişkin izlemeleri günlüğe kaydedin | Belgeler |
| BeeAI (Python) | BeeAI Python aracısı çerçeve çağrıları için izlemeleri günlüğe kaydedin | Belgeler |
| BeeAI (TypeScript) | BeeAI TypeScript aracısı çerçeve çağrıları için günlük izlemeleri | Belgeler |
| BytePlus | BytePlus LLM çağrıları için günlük izlemeleri | Belgeler |
| Cloudflare Çalışanları Yapay Zeka | Cloudflare Workers AI çağrılarının günlük izlemeleri | Belgeler |
| Tutarlı | Cohere LLM çağrılarının günlük izlemeleri | Belgeler |
| MürettebatAI | CrewAI çağrıları için izlemeleri günlüğe kaydet | Belgeler |
| İmleç | İmleç konuşmaları için günlük izlemeleri | Belgeler |
| Derin Arama | DeepSeek LLM çağrılarının günlük izlemeleri | Belgeler |
| Tanımla | Dify aracısı çalıştırmaları için günlük izlemeleri | Belgeler |
| DSPY | DSPy çalıştırmaları için günlük izlemeleri | Belgeler |
| Havai Fişek Yapay Zeka | Fireworks AI LLM çağrıları için günlük izlemeleri | Belgeler |
| Flowise Yapay Zeka | Flowise AI görsel LLM oluşturucu için günlük izlemeleri | Belgeler |
| İkizler (Python) | Google Gemini LLM çağrılarına ilişkin izlemeleri günlüğe kaydedin | Belgeler |
| İkizler (TypeScript) | Google Gemini TypeScript SDK çağrılarına ilişkin izlemeleri günlüğe kaydedin | Belgeler |
| Büyük | Groq LLM çağrılarının günlük izlemeleri | Belgeler |
| Korkuluklar | Guardrails AI doğrulamaları için günlük izlemeleri | Belgeler |
| Saman yığını | Haystack çağrıları için günlük izlemeleri | Belgeler |
| Liman | Harbor kıyaslama değerlendirme denemeleri için günlük izlemeleri | Belgeler |
| eğitmen | Eğitmen ile yapılan LLM çağrılarının günlük izlemeleri | Belgeler |
| LangChain (Python) | LangChain LLM çağrılarının günlük izlemeleri | Belgeler |
| LangChain (JS/TS) | LangChain JavaScript/TypeScript çağrıları için izlemeleri günlüğe kaydet | Belgeler |
| LangGrafik | LangGraph yürütmeleri için günlük izlemeleri | Belgeler |
| Langflow | Langflow görsel yapay zeka oluşturucu için günlük izlemeleri | Belgeler |
| LiteLLM | LiteLLM model çağrıları için günlük izlemeleri | Belgeler |
| LiveKit Temsilcileri | LiveKit Agents AI aracısı çerçeve çağrıları için izlemeleri günlüğe kaydedin | Belgeler |
| LlamaIndex | LlamaIndex LLM çağrıları için günlük izlemeleri | Belgeler |
| Mastra | Mastra AI iş akışı çerçeve çağrıları için izlemeleri günlüğe kaydedin | Belgeler |
| Microsoft Agent Çerçevesi (Python) | Microsoft Agent Framework çağrılarına ilişkin izlemeleri günlüğe kaydet | Belgeler |
| Microsoft Agent Çerçevesi (.NET) | Microsoft Agent Framework .NET çağrılarına ilişkin izlemeleri günlüğe kaydet | Belgeler |
| Mistral AI | Mistral AI LLM çağrılarının günlük izlemeleri | Belgeler |
| n8n | n8n iş akışı yürütmeleri için günlük izlemeleri | Belgeler |
| Novita AI | Novita AI LLM çağrılarının günlük izlemeleri | Belgeler |
| Olma | Ollama LLM çağrılarının günlük izlemeleri | Belgeler |
| OpenAI (Python) | OpenAI LLM çağrıları için günlük izlemeleri | Belgeler |
| OpenAI (JS/TS) | OpenAI JavaScript/TypeScript çağrıları için izlemeleri günlüğe kaydedin | Belgeler |
| OpenAI Temsilcileri | OpenAI Agents SDK çağrıları için günlük izlemeleri | Belgeler |
| OpenClaw | OpenClaw ajan çalıştırmaları için günlük izlemeleri | Belgeler |
| OpenRouter | OpenRouter LLM çağrıları için günlük izlemeleri | Belgeler |
| Açık Telemetri | OpenTelemetry destekli çağrılar için günlük izlemeleri | Belgeler |
| OpenWebUI | OpenWebUI konuşmaları için izlemeleri günlüğe kaydedin | Belgeler |
| Pipecat | Pipecat gerçek zamanlı sesli aracı aramaları için izlemeleri günlüğe kaydedin | Belgeler |
| Önditaban | Predibase LLM çağrılarının günlük izlemeleri | Belgeler |
| Pydantic Yapay Zeka | PydanticAI temsilcisi çağrılarının günlük izlemeleri | Belgeler |
| Ragalar | Ragas değerlendirmeleri için günlük izlemeleri | Belgeler |
| Anlamsal Çekirdek | Microsoft Anlamsal Çekirdek çağrıları için günlük izlemeleri | Belgeler |
| Smolajanlar | Smolagents ajanları için günlük izlemeleri | Belgeler |
| Bahar AI | Spring AI çerçeve çağrılarına ilişkin izlemeleri günlüğe kaydet | Belgeler |
| Strands Acenteleri | Strands acente çağrılarının günlük izlemeleri | Belgeler |
| Birlikte AI | Together AI LLM çağrılarının günlük izlemeleri | Belgeler |
| Vercel AI SDK'sı | Vercel AI SDK çağrıları için izlemeleri günlüğe kaydet | Belgeler |
| VoltAjan | VoltAgent aracısı çerçeve çağrılarına ilişkin izlemeleri günlüğe kaydet | Belgeler |
| WatsonX | IBM watsonx LLM çağrıları için günlük izlemeleri | Belgeler |
| xAI Grok | xAI Grok LLM çağrıları için günlük izlemeleri | Belgeler |
Tip
Kullandığınız çerçeve yukarıda listelenmiyorsa bir sorun açmaktan veya entegrasyonla ilgili bir PR göndermekten çekinmeyin.
Yukarıdaki çerçevelerden herhangi birini kullanmıyorsanız, izleri günlüğe kaydetmek için "izleme" işlevi dekoratörünü de kullanabilirsiniz:
import opik
opik.configure(use_local=True) # Run locally
@opik.track
def my_llm_function(user_question: str) -> str:
# Your LLM code here
return "Hello"Tip
Parça dekoratörü herhangi bir entegrasyonumuzla birlikte kullanılabilir ve aynı zamanda iç içe geçmiş işlev çağrılarını izlemek için de kullanılabilir.
Python Opik SDK'sı, LLM başvurunuzu değerlendirmenize yardımcı olacak bir dizi LLM değerlendirme ölçütü içerir. Bu konu hakkında daha fazla bilgiyi metrik belgelerine bakarak öğrenebilirsiniz.
Bunları kullanmak için ilgili metriği içe aktarmanız ve "puan" işlevini kullanmanız yeterlidir:
from opik.evaluation.metrics import Hallucination
metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)Opik ayrıca bir dizi önceden oluşturulmuş buluşsal ölçümün yanı sıra kendi ölçümünüzü oluşturma yeteneğini de içerir. Bu konu hakkında daha fazla bilgiyi metrik belgelerine bakarak öğrenebilirsiniz.
Opik, LLM başvurunuzu geliştirme sırasında Datasets aracılığıyla değerlendirmenize olanak tanır ve Deneyler. Opik Dashboard, deneyler ve büyük izlerin daha iyi işlenmesi için geliştirilmiş grafikler sunar. Ayrıca PyTest entegrasyonumuzu kullanarak CI/CD ardışık düzeninizin bir parçası olarak değerlendirmeler çalıştırabilirsiniz.
Opik'i yararlı buluyorsanız lütfen bize bir yıldız vermeyi düşünün! Desteğiniz topluluğumuzu büyütmemize ve ürünü geliştirmeye devam etmemize yardımcı oluyor.
Opik'e katkıda bulunmanın birçok yolu vardır:
- Hata raporlarını ve özellik isteklerini gönderin
- Belgeleri inceleyin ve geliştirmek için Çekme İsteklerini gönderin
- Opik hakkında konuşmak veya yazmak ve bize bilgi vermek
- Desteğinizi göstermek için popüler özellik isteklerine olumlu oy verme
Opik'e nasıl katkıda bulunacağınız hakkında daha fazla bilgi edinmek için lütfen katkıda bulunma yönergelerimize bakın.