Skip to content

Latest commit

 

History

History
322 lines (237 loc) · 32 KB

File metadata and controls

322 lines (237 loc) · 32 KB

Not: Bu dosya makine tarafından çevrilmiştir. Çeviri iyileştirmelerine katkılarınız memnuniyetle karşılanır!

Comet Opik logosu
Opik

Açık Kaynak Yapay Zeka Gözlemlenebilirliği, Değerlendirmesi ve Optimizasyonu

Opik, prototipten üretime kadar daha iyi çalışan üretken yapay zeka uygulamaları oluşturmanıza, test etmenize ve optimize etmenize yardımcı olur. RAG sohbet robotlarından kod asistanlarına ve karmaşık aracı sistemlere kadar Opik, yapay zeka geliştirmede tahmine dayalı çalışmayı ortadan kaldırmak için kapsamlı izleme, değerlendirme ve otomatik bilgi istemi ve araç optimizasyonu sağlar.

Python SDK'sı Lisans Derleme

Web sitesiSlack TopluluğuTwitterDeğişiklik günlüğüBelgeler


Opik platformu ekran görüntüsü (küçük resim)

🚀 Opik Nedir?

Opik (Comet) tarafından oluşturulmuştur, LLM uygulamalarının tüm yaşam döngüsünü kolaylaştırmak için tasarlanmış açık kaynaklı bir platformdur. Geliştiricilere modellerini ve aracı sistemlerini değerlendirme, test etme, izleme ve optimize etme yetkisi verir. Anahtar teklifler şunları içerir:

  • Kapsamlı Gözlemlenebilirlik: LLM çağrılarının, konuşma günlüğünün ve temsilci etkinliğinin derinlemesine izlenmesi.
  • Gelişmiş Değerlendirme: Güçlü anında değerlendirme, yargıç olarak Yüksek Lisans ve deney yönetimi.
  • Üretime Hazır: Ölçeklenebilir izleme kontrol panelleri ve üretim için çevrimiçi değerlendirme kuralları.
  • Opik Agent Optimizer: İstemleri ve aracıları geliştirmek için özel SDK ve optimize ediciler seti.
  • Opik Guardrails: Güvenli ve sorumlu yapay zeka uygulamalarını hayata geçirmenize yardımcı olacak özellikler.

Temel yetenekler şunları içerir:

Tip

Opik'in bugün sahip olmadığı özellikleri arıyorsanız lütfen yeni bir Özellik isteği 🚀


🛠️ Opik Sunucu Kurulumu

Opik sunucunuzu dakikalar içinde çalışır hale getirin. İhtiyaçlarınıza en uygun seçeneği seçin:

Seçenek 1: Comet.com Bulutu (En Kolay ve Önerilen)

Opik'e hiçbir kurulum yapmadan anında erişin. Hızlı başlatma ve sorunsuz bakım için idealdir.

👉 Ücretsiz Comet hesabınızı oluşturun

Seçenek 2: Tam Kontrol için Kendi Kendine Barındıran Opik

Opik'i kendi ortamınızda konuşlandırın. Yerel kurulumlar için Docker'ı veya ölçeklenebilirlik için Kubernetes'i seçin.

Docker Compose ile Kendi Kendine Barındırma (Yerel Geliştirme ve Test için)

Bu, yerel bir Opik örneğini çalıştırmanın en basit yoludur. Yeni ./opik.sh kurulum komut dosyasına dikkat edin:

Linux veya Mac Ortamında:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

Windows Ortamında:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

Geliştirmeye Yönelik Hizmet Profilleri

Opik kurulum komut dosyaları artık farklı geliştirme senaryolarına yönelik hizmet profillerini destekliyor:

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

Sorunları gidermek için "--help" veya "--info" seçeneklerini kullanın. Dockerfiles artık gelişmiş güvenlik için konteynerlerin root olmayan kullanıcılar olarak çalışmasını sağlıyor. Her şey hazır ve çalışır durumda olduğunda, artık tarayıcınızda localhost:5173 adresini ziyaret edebilirsiniz! Ayrıntılı talimatlar için Yerel Dağıtım Kılavuzuna bakın.

Kubernetes ve Helm ile Kendi Kendine Barındırma (Ölçeklenebilir Dağıtımlar için)

Üretim veya daha büyük ölçekli kendi kendine barındırılan dağıtımlar için Opik, Helm grafiğimizi kullanarak bir Kubernetes kümesine kurulabilir. Helm Kullanarak Kubernetes Kurulum Kılavuzu için rozeti tıklayın.

Kubernetes

Important

Sürüm 1.7.0 Değişiklikleri: Önemli güncellemeler ve son değişiklikler için lütfen changelog'u kontrol edin.

💻 Opik İstemci SDK'sı

Opik, Opik sunucusuyla etkileşime geçmek için bir istemci kitaplıkları paketi ve bir REST API sağlar. Buna Python, TypeScript ve Ruby (OpenTelemetry aracılığıyla) için SDK'lar dahildir ve iş akışlarınızla kusursuz entegrasyona olanak tanır. Ayrıntılı API ve SDK referansları için Opik İstemci Referans Belgelerine bakın.

Python SDK Hızlı Başlangıç

Python SDK'yı kullanmaya başlamak için:

Paketi yükleyin:

# install using pip
pip install opik

# or install with uv
uv pip install opik

Python SDK'sını, sizden Opik sunucu adresinizi (kendi kendine barındırılan örnekler için) veya API anahtarınızı ve çalışma alanınızı (Comet.com için) isteyecek olan "opik yapılandırma" komutunu çalıştırarak yapılandırın:

opik configure

Tip

SDK'yı yerel olarak kendi kendine barındırılan bir kurulumda çalışacak şekilde yapılandırmak için Python kodunuzdan opik.configure(use_local=True) çağrısını da yapabilirsiniz veya doğrudan Comet.com için API anahtarı ve çalışma alanı ayrıntılarını sağlayabilirsiniz. Daha fazla yapılandırma seçeneği için Python SDK belgelerine bakın.

Artık Python SDK kullanarak izleri günlüğe kaydetmeye başlamaya hazırsınız.

📝 Entegrasyonlarla İzlerin Günlüğe Kaydedilmesi

İzleri kaydetmenin en kolay yolu doğrudan entegrasyonlarımızdan birini kullanmaktır. Opik, Google ADK, Autogen, AG2 ve Flowise AI gibi son eklemeler de dahil olmak üzere çok çeşitli çerçeveleri destekler:

Entegrasyon Açıklama Belgeler
ADK Google Agent Geliştirme Kiti (ADK) için günlük izlemeleri Belgeler
AG2 AG2 LLM çağrıları için günlük izlemeleri Belgeler
Yapay Zeka Süiti aisuite LLM çağrıları için günlük izlemeleri Belgeler
Agno Agno aracı düzenleme çerçevesi çağrılarına yönelik günlük izlemeleri Belgeler
Antropik Anthropic LLM çağrıları için günlük izlemeleri Belgeler
Otojen Autogen aracılı iş akışları için günlük izlemeleri Belgeler
Ana kaya Amazon Bedrock LLM çağrılarına ilişkin izlemeleri günlüğe kaydedin Belgeler
BeeAI (Python) BeeAI Python aracısı çerçeve çağrıları için izlemeleri günlüğe kaydedin Belgeler
BeeAI (TypeScript) BeeAI TypeScript aracısı çerçeve çağrıları için günlük izlemeleri Belgeler
BytePlus BytePlus LLM çağrıları için günlük izlemeleri Belgeler
Cloudflare Çalışanları Yapay Zeka Cloudflare Workers AI çağrılarının günlük izlemeleri Belgeler
Tutarlı Cohere LLM çağrılarının günlük izlemeleri Belgeler
MürettebatAI CrewAI çağrıları için izlemeleri günlüğe kaydet Belgeler
İmleç İmleç konuşmaları için günlük izlemeleri Belgeler
Derin Arama DeepSeek LLM çağrılarının günlük izlemeleri Belgeler
Tanımla Dify aracısı çalıştırmaları için günlük izlemeleri Belgeler
DSPY DSPy çalıştırmaları için günlük izlemeleri Belgeler
Havai Fişek Yapay Zeka Fireworks AI LLM çağrıları için günlük izlemeleri Belgeler
Flowise Yapay Zeka Flowise AI görsel LLM oluşturucu için günlük izlemeleri Belgeler
İkizler (Python) Google Gemini LLM çağrılarına ilişkin izlemeleri günlüğe kaydedin Belgeler
İkizler (TypeScript) Google Gemini TypeScript SDK çağrılarına ilişkin izlemeleri günlüğe kaydedin Belgeler
Büyük Groq LLM çağrılarının günlük izlemeleri Belgeler
Korkuluklar Guardrails AI doğrulamaları için günlük izlemeleri Belgeler
Saman yığını Haystack çağrıları için günlük izlemeleri Belgeler
Liman Harbor kıyaslama değerlendirme denemeleri için günlük izlemeleri Belgeler
eğitmen Eğitmen ile yapılan LLM çağrılarının günlük izlemeleri Belgeler
LangChain (Python) LangChain LLM çağrılarının günlük izlemeleri Belgeler
LangChain (JS/TS) LangChain JavaScript/TypeScript çağrıları için izlemeleri günlüğe kaydet Belgeler
LangGrafik LangGraph yürütmeleri için günlük izlemeleri Belgeler
Langflow Langflow görsel yapay zeka oluşturucu için günlük izlemeleri Belgeler
LiteLLM LiteLLM model çağrıları için günlük izlemeleri Belgeler
LiveKit Temsilcileri LiveKit Agents AI aracısı çerçeve çağrıları için izlemeleri günlüğe kaydedin Belgeler
LlamaIndex LlamaIndex LLM çağrıları için günlük izlemeleri Belgeler
Mastra Mastra AI iş akışı çerçeve çağrıları için izlemeleri günlüğe kaydedin Belgeler
Microsoft Agent Çerçevesi (Python) Microsoft Agent Framework çağrılarına ilişkin izlemeleri günlüğe kaydet Belgeler
Microsoft Agent Çerçevesi (.NET) Microsoft Agent Framework .NET çağrılarına ilişkin izlemeleri günlüğe kaydet Belgeler
Mistral AI Mistral AI LLM çağrılarının günlük izlemeleri Belgeler
n8n n8n iş akışı yürütmeleri için günlük izlemeleri Belgeler
Novita AI Novita AI LLM çağrılarının günlük izlemeleri Belgeler
Olma Ollama LLM çağrılarının günlük izlemeleri Belgeler
OpenAI (Python) OpenAI LLM çağrıları için günlük izlemeleri Belgeler
OpenAI (JS/TS) OpenAI JavaScript/TypeScript çağrıları için izlemeleri günlüğe kaydedin Belgeler
OpenAI Temsilcileri OpenAI Agents SDK çağrıları için günlük izlemeleri Belgeler
OpenClaw OpenClaw ajan çalıştırmaları için günlük izlemeleri Belgeler
OpenRouter OpenRouter LLM çağrıları için günlük izlemeleri Belgeler
Açık Telemetri OpenTelemetry destekli çağrılar için günlük izlemeleri Belgeler
OpenWebUI OpenWebUI konuşmaları için izlemeleri günlüğe kaydedin Belgeler
Pipecat Pipecat gerçek zamanlı sesli aracı aramaları için izlemeleri günlüğe kaydedin Belgeler
Önditaban Predibase LLM çağrılarının günlük izlemeleri Belgeler
Pydantic Yapay Zeka PydanticAI temsilcisi çağrılarının günlük izlemeleri Belgeler
Ragalar Ragas değerlendirmeleri için günlük izlemeleri Belgeler
Anlamsal Çekirdek Microsoft Anlamsal Çekirdek çağrıları için günlük izlemeleri Belgeler
Smolajanlar Smolagents ajanları için günlük izlemeleri Belgeler
Bahar AI Spring AI çerçeve çağrılarına ilişkin izlemeleri günlüğe kaydet Belgeler
Strands Acenteleri Strands acente çağrılarının günlük izlemeleri Belgeler
Birlikte AI Together AI LLM çağrılarının günlük izlemeleri Belgeler
Vercel AI SDK'sı Vercel AI SDK çağrıları için izlemeleri günlüğe kaydet Belgeler
VoltAjan VoltAgent aracısı çerçeve çağrılarına ilişkin izlemeleri günlüğe kaydet Belgeler
WatsonX IBM watsonx LLM çağrıları için günlük izlemeleri Belgeler
xAI Grok xAI Grok LLM çağrıları için günlük izlemeleri Belgeler

Tip

Kullandığınız çerçeve yukarıda listelenmiyorsa bir sorun açmaktan veya entegrasyonla ilgili bir PR göndermekten çekinmeyin.

Yukarıdaki çerçevelerden herhangi birini kullanmıyorsanız, izleri günlüğe kaydetmek için "izleme" işlevi dekoratörünü de kullanabilirsiniz:

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

Tip

Parça dekoratörü herhangi bir entegrasyonumuzla birlikte kullanılabilir ve aynı zamanda iç içe geçmiş işlev çağrılarını izlemek için de kullanılabilir.

🧑‍⚖️ Hakim Olarak Yüksek Lisans ölçümleri

Python Opik SDK'sı, LLM başvurunuzu değerlendirmenize yardımcı olacak bir dizi LLM değerlendirme ölçütü içerir. Bu konu hakkında daha fazla bilgiyi metrik belgelerine bakarak öğrenebilirsiniz.

Bunları kullanmak için ilgili metriği içe aktarmanız ve "puan" işlevini kullanmanız yeterlidir:

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

Opik ayrıca bir dizi önceden oluşturulmuş buluşsal ölçümün yanı sıra kendi ölçümünüzü oluşturma yeteneğini de içerir. Bu konu hakkında daha fazla bilgiyi metrik belgelerine bakarak öğrenebilirsiniz.

🔍 Yüksek Lisans Başvurularınızı Değerlendirme

Opik, LLM başvurunuzu geliştirme sırasında Datasets aracılığıyla değerlendirmenize olanak tanır ve Deneyler. Opik Dashboard, deneyler ve büyük izlerin daha iyi işlenmesi için geliştirilmiş grafikler sunar. Ayrıca PyTest entegrasyonumuzu kullanarak CI/CD ardışık düzeninizin bir parçası olarak değerlendirmeler çalıştırabilirsiniz.

⭐ GitHub'da Bize Yıldız Verin

Opik'i yararlı buluyorsanız lütfen bize bir yıldız vermeyi düşünün! Desteğiniz topluluğumuzu büyütmemize ve ürünü geliştirmeye devam etmemize yardımcı oluyor.

Yıldız Geçmişi Tablosu

🤝 Katkıda Bulunmak

Opik'e katkıda bulunmanın birçok yolu vardır:

Opik'e nasıl katkıda bulunacağınız hakkında daha fazla bilgi edinmek için lütfen katkıda bulunma yönergelerimize bakın.