Agent Reliability Engineer (AI / LLM)

Orbislabs.ai

📍 Türkiye On-Site ⏳ 7h ago
AI assistant

Job Description

Şirket Hakkında

Orbislabs AI Teknoloji A.Ş., bankacılık, sigortacılık, havacılık ve üretim gibi regüle sektörlerde faaliyet gösteren kurumlara yönelik kurumsal yapay zekâ ajan orkestrasyon platformu OrbisAgents'ı geliştirmektedir. Bulut ve şirket içi (on-premise) kurulum seçenekleri sunan platformumuz; veri egemenliği, insan onaylı (HITL) iş akışları, denetim izleri ve çoklu ajan orkestrasyonu yetkinlikleriyle kurumların yapay zekâyı güvenli ve kontrollü biçimde kullanmasını sağlamaktadır.


Görev ve Sorumluluklar

  • OrbisAgents üzerinde geliştirilen yapay zekâ ajanlarının kalite standartlarının belirlenmesi ve canlıya çıkış kararlarının verilmesi
  • Çok adımlı ajanlar için değerlendirme (eval) yöntemlerinin tasarlanması; deterministik kontroller, LLM-as-judge ve insan incelemesiyle görev tamamlama, araç çağrısı doğruluğu ve güvenliğin ölçülmesi
  • Ekibin ajan testlerini yazıp çalıştıracağı test