Модели решений

Модель решений получает данные и вопросы с вариантами ответа, а возвращает выбранный вариант и вероятность каждого. Вызывается она одним запросом на адрес /v1/decisions: ответ приходит на этот же запрос, задачу ставить и опрашивать не нужно. Поставщик — TypeSafe AI.

Модели

Попробовать

{ }

Вызов

"instructions": {
  "potential_duplicate": {
    "name": "John Smith",
    "location": "Oakland, California",
    "last_employer": "Google"
  },
  "question": "Is the resume for the same person as `potential_duplicate`?"
}

curl https://api.gen202.com/v1/decisions \
  -H "Authorization: Bearer sk-ваш-ключ" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jev/1-14",
    "state": "Help! My payouts have been failing for 3 days.",
    "questions": {
      "is_urgent": {
        "type": "noul",
        "instructions": "Does this convey urgency?",
        "criteria": {
          "true": "Explicitly time-sensitive",
          "false": "No urgency expressed"
        }
      },
      "department": {
        "type": "choice",
        "instructions": "Which team should handle this?",
        "criteria": {
          "billing": "Payments, invoicing, refunds",
          "technical": "Bugs, outages, integrations",
          "sales": "Pricing, upgrades, new accounts"
        }
      },
      "frustration": {
        "type": "score",
        "instructions": "How frustrated is the customer?",
        "criteria": ["Calm", "Frustrated", "Very angry"]
      }
    }
  }'

import requests

answer = requests.post(
    "https://api.gen202.com/v1/decisions",
    headers={"Authorization": "Bearer sk-ваш-ключ"},
    json={
        "model": "jev/1-14",
        "state": "Help! My payouts have been failing for 3 days.",
        "questions": {
            "is_urgent": {
                "type": "noul",
                "instructions": "Does this convey urgency?",
                "criteria": {
                    "true": "Explicitly time-sensitive",
                    "false": "No urgency expressed",
                },
            },
            "department": {
                "type": "choice",
                "instructions": "Which team should handle this?",
                "criteria": {
                    "billing": "Payments, invoicing, refunds",
                    "technical": "Bugs, outages, integrations",
                    "sales": "Pricing, upgrades, new accounts",
                },
            },
            "frustration": {
                "type": "score",
                "instructions": "How frustrated is the customer?",
                "criteria": ["Calm", "Frustrated", "Very angry"],
            },
        },
    },
).json()

print(answer["answers"]["department"]["choice"])  # billing
print(answer["usage"])  # по нему выставлен счёт

{
  "model": "jev/1-14",
  "answers": {
    "is_urgent": { "type": "noul", "noul": 0.95 },
    "department": {
      "type": "choice",
      "choice": "billing",
      "probabilities": { "billing": 0.86, "technical": 0.14, "sales": 0 },
      "confidence": 0.79
    },
    "frustration": {
      "type": "score",
      "score": 1.05,
      "legend": { "0": "Calm", "1": "Frustrated", "2": "Very angry" },
      "probabilities": { "0": 0, "1": 0.95, "2": 0.05 },
      "confidence": 0.93
    }
  },
  "usage": { "input_tokens": 426, "output_tokens": 73 },
  "credits_consumed": 0.02
}

Картинки

Картинки принимают обе модели решений — jev/1-14 и jev/1-13. Картинку кодируют в base64 и кладут в state частью image_url рядом с текстом. Отвечают по картинке вопросы всех видов, а вопрос box находит на ней нужный предмет.

Запрос с картинкой

Фотография читается с диска, кодируется в base64 и подставляется в поле url. Вопросы ссылаются на картинку по имени поля в обратных кавычках.

IMAGE=$(base64 < photo.jpg | tr -d '\n')

curl https://api.gen202.com/v1/decisions \
  -H "Authorization: Bearer sk-ваш-ключ" \
  -H "Content-Type: application/json" \
  -d @- <<EOF
{
  "model": "jev/1-14",
  "state": {
    "listing": "Photo from a listing.",
    "photo": { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,$IMAGE" } }
  },
  "questions": {
    "animal": { "type": "noul", "instructions": "There is a cat in \`photo\`." },
    "face": { "type": "box", "instructions": "the cat's face in \`photo\`" }
  }
}
EOF

Ответ — под именем каждого вопроса. Поля usage и credits_consumed приходят те же, что в ответе выше, и здесь опущены.

{
  "model": "jev/1-14",
  "answers": {
    "animal": { "type": "noul", "noul": 0.95 },
    "face": {
      "type": "box",
      "box": { "top": 0.29, "bottom": 0.47, "left": 0.45, "right": 0.61 },
      "confidence": 0.86
    }
  }
}

Числа — из нашего запроса 17 октября 2026 года с фотографией 900 × 900 пикселей в JPEG. В том запросе стоял ещё вопрос choice, и весь запрос — фотография, подпись и три вопроса — занял 2 597 входных токенов.

Как передать картинку

• Картинка — объект {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,…"}}.
• В url стоит строка base64 с приставкой data:image/png;base64, или data:image/jpeg;base64,. Принимаются PNG и JPEG. Ссылки http(s) не скачиваются.
• Картинка лежит в state на любой глубине: элементом списка или значением поля объекта. Её можно положить и в вопрос — в instructions или в описание варианта в criteria.
• Картинка в instructions уходит модели с каждым вопросом, в котором стоит, и каждый раз считается в токены. Картинку, нужную нескольким вопросам, кладут в state один раз и называют по имени поля.
• Текст рядом с картинкой — обычные строки, а не части {"type": "text"}.
• Вопрос box отвечает только jev/1-14.

Картинкой не считаются:

• поле images на верхнем уровне запроса;
• поле assets;
• часть input_image;
• строка base64 без приставки data:image/…;base64, — прямо в state модель прочтёт её как текст;
• картинка WebP, GIF или в другом формате, кроме PNG и JPEG.

На поля images и assets, на часть input_image и на часть image_url со ссылкой, другим форматом или строкой без приставки шлюз отвечает 400 invalid_image. В сообщении названо место в запросе.

Пределы картинок

• Картинку за этими пределами модель отклоняет, а не уменьшает, и тогда не проходит весь запрос: меньше нижней границы — 400 invalid_request, больше верхней — 413 invalid_request, оба со словами модели.
• Поворот из EXIF модель не применяет: фотографию поворачивают до кодирования.
• Картинка оплачивается входными токенами по ставке модели, отдельной платы за неё нет. Сколько токенов ушло, показывает usage.input_tokens.

Вопрос box

Вопрос box находит на картинке один предмет и отвечает рамкой вокруг него — четырьмя краями в долях ширины и высоты картинки — и уверенностью. Отвечает на него только jev/1-14: такой вопрос к jev/1-13 шлюз отклоняет сам, отказом 400 invalid_questions. В одном запросе box стоит рядом с вопросами других видов, и все они относятся к одним данным.

Поля вопроса

{
  "model": "jev/1-14",
  "state": {
    "listing": "Photo from a listing.",
    "photo": { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,/9j/4AAQ..." } }
  },
  "questions": {
    "face": { "type": "box", "instructions": "the cat's face in `photo`" }
  }
}

Ответ

Края рамки лежат в поле box. Ответ — из того же нашего запроса.

"face": {
  "type": "box",
  "box": { "top": 0.29, "bottom": 0.47, "left": 0.45, "right": 0.61 },
  "confidence": 0.86
}

Как прочитать рамку

Чтобы обрезать картинку по рамке или нарисовать её, каждый край умножают на ширину или высоту картинки в пикселях. На фотографии 900 × 900 рамка из ответа выше — это прямоугольник от 405 до 549 пикселей по ширине и от 261 до 423 по высоте.

from PIL import Image

image = Image.open("photo.jpg")
width, height = image.size
edges = answer["answers"]["face"]["box"]

box = (
    round(edges["left"] * width),
    round(edges["top"] * height),
    round(edges["right"] * width),
    round(edges["bottom"] * height),
)
image.crop(box).save("face.jpg")

• Один вопрос box — одна рамка. Несколько предметов ищут несколькими вопросами в одном запросе.
• Если похожих предметов несколько, нужный описывают так, чтобы подходил только он: the mug nearest the sink in `photo`.
• Мелкий предмет на большой картинке модель может пропустить. Сначала находят нужную часть картинки — например, вопросом choice, где варианты — части картинки, — и задают box уже по ней.
• Порог уверенности разработчик советует подбирать на своих картинках. При низкой уверенности спрашивают снова по картинке крупнее или расширяют рамку перед обрезкой.

Сколько стоит Jev 1.14

Подробнее: отказы — коды остальных адресов; лимиты — пределы частоты по адресам; баланс и расход — как спросить списание по ключу.