База живых компаний по трафику сайта - почти бесплатно

export OPENROUTER_API_KEY="sk-or-..."
curl https://openrouter.ai/api/alpha/decisions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "typesafe/jev-1.13",
  "state": {"site": "Семейная стоматология в Казани. Лечение, имплантация, детский прием. Запись онлайн."},
  "questions": {
    "commercial": {
      "type": "choice",
      "instructions": "Это сайт компании, которая продает товары или услуги?",
      "criteria": {
        "yes": "Коммерческая компания: продает товары или услуги",
        "no": "Госорган, вуз, СМИ, блог, некоммерческая организация"
      }
    },
    "sphere": {
      "type": "choice",
      "instructions": "К какой сфере относится компания?",
      "criteria": {
        "medicine": "Медицина и стоматология",
        "retail": "Розничная торговля и интернет-магазины",
        "it": "IT и разработка",
        "construction": "Строительство и ремонт",
        "other": "Другое"
      }
    }
  }
}'

$env:OPENROUTER_API_KEY = "sk-or-..."
$body = @'
{
  "model": "typesafe/jev-1.13",
  "state": {"site": "Семейная стоматология в Казани. Лечение, имплантация, детский прием. Запись онлайн."},
  "questions": {
    "commercial": {
      "type": "choice",
      "instructions": "Это сайт компании, которая продает товары или услуги?",
      "criteria": {
        "yes": "Коммерческая компания: продает товары или услуги",
        "no": "Госорган, вуз, СМИ, блог, некоммерческая организация"
      }
    },
    "sphere": {
      "type": "choice",
      "instructions": "К какой сфере относится компания?",
      "criteria": {
        "medicine": "Медицина и стоматология",
        "retail": "Розничная торговля и интернет-магазины",
        "it": "IT и разработка",
        "construction": "Строительство и ремонт",
        "other": "Другое"
      }
    }
  }
}
'@
Invoke-RestMethod -Method Post -Uri "https://openrouter.ai/api/alpha/decisions" `
  -Headers @{ Authorization = "Bearer $env:OPENROUTER_API_KEY" } `
  -ContentType "application/json; charset=utf-8" `
  -Body ([System.Text.Encoding]::UTF8.GetBytes($body)) | ConvertTo-Json -Depth 10

Собери мне пайплайн, который находит живые компании по трафику их сайта.

--------------------------------------------------------------------
СНАЧАЛА СПРОСИ МЕНЯ И ОСТАНОВИСЬ

Одним сообщением, нумерованным списком:

1. Какая страна или весь мир. Для страны нужен список из BigQuery:
   если у меня его нет, объясни, как его выгрузить, или предложи
   начать с мирового списка.

2. Какие корзины популярности CrUX брать. По умолчанию предложи
   50k, 100k и 500k. Объясни, что это корзины, а не места в рейтинге.

3. Что я продаю и кому. Три-пять строк своими словами.

4. Список сфер для классификации: мой или твой из 20-30 групп
   под мой продукт.

5. Какой диапазон трафика нужен. По умолчанию 5 000-100 000
   визитов в месяц.

6. Сколько сайтов прогнать в первый раз. По умолчанию 200.

Не начинай собирать, пока я не отвечу.

--------------------------------------------------------------------
КЛЮЧИ

OPENROUTER_API_KEY и TABAPI_KEY читай из файла .env в папке проекта.
Если файла нет, создай .env с пустыми значениями и попроси меня
вписать ключи самому. Ключи в чате не проси, в код и логи не выводи.
Добавь .env в .gitignore.

--------------------------------------------------------------------
ИСТОЧНИКИ

Актуальный формат API проверь по документации, а не по памяти.

- CrUX, мировой список:
  https://raw.githubusercontent.com/zakird/crux-top-lists/main/data/global/current.csv.gz
  Колонки origin и rank. Страновые списки - из BigQuery, таблица
  chrome-ux-report.country_XX.YYYYMM, поле experimental.popularity.rank.
- Jev: https://openrouter.ai/docs/guides/community/jev-tutorial
  POST https://openrouter.ai/api/alpha/decisions, модель typesafe/jev-1.13.
  Версию закрепи, не используй latest.
- TabAPI: https://tabapi.com/docs
  GET https://tabapi.com/api/v1/domains/{domain}/traffic?months=3

--------------------------------------------------------------------
ПОРЯДОК - ОТ ДЕШЕВОГО К ДОРОГОМУ

Каждый шаг отсеивает часть списка, следующий работает только
с оставшимися.

1. Нормализация. origin превращай в домен: без https:// и www.,
   поддомены одной компании склей. Выкинь зоны gov, edu, mil, int
   и корзины 1k и 5k.

2. Главная страница. Обычный HTTP-запрос, таймаут 15 секунд,
   5-10 запросов параллельно, честный User-Agent. Браузер (Playwright)
   - только для сайтов, где ссылки подгружает JavaScript.
   Ищи ссылку linkedin.com/company/ на главной. Если ее нет -
   на /about, /contact и их вариантах на языке сайта.
   Сохрани текст главной без тегов, обрежь до 8 000 символов.

3. Jev - только по сайтам, где нашелся LinkedIn. Два вопроса типа
   choice в одном запросе:
   - коммерческая компания или нет. Отдельными вариантами - казино,
     адалт, СМИ, госорганы и вузы;
   - сфера из моего списка. Если сфер больше 30, классифицируй
     в два шага: сначала группа, потом подсфера внутри группы.
   Сохраняй confidence. Сайты с confidence ниже 0.6 помечай
   "проверить вручную", не выкидывай.

4. TabAPI - только по коммерческим. Визиты за 3 месяца и источники
   трафика. Оставь тех, кто попал в мой диапазон.

--------------------------------------------------------------------
ДО БОЛЬШОГО ЗАПУСКА

- Калибровка. Возьми по 5-10 случайных доменов из каждой выбранной
  корзины, проверь их трафик в TabAPI и покажи таблицу
  "корзина -> медиана визитов в месяц". Я скажу, какие корзины оставить.

- Пробный прогон всего пайплайна на выборке, которую я назвал.
  Покажи результат и фактические расходы на Jev и TabAPI, посчитай
  смету на полный список и жди моего подтверждения.

--------------------------------------------------------------------
НАДЕЖНОСТЬ

- Кэшируй результат каждого шага по домену: повторный запуск
  не ходит заново на сайты и не тратит кредиты.
- После обрыва запуск продолжается с места остановки.
- Ошибки (403, таймауты, Cloudflare) пиши в колонку статуса,
  а не роняй весь прогон.

--------------------------------------------------------------------
РЕЗУЛЬТАТ

CSV с колонками: домен, корзина CrUX, ссылка на LinkedIn,
коммерческий (да/нет + confidence), сфера (+ confidence),
визиты в месяц, доля органики, доля рекламы, доля прямых заходов,
статус.

В конце - сводка: сколько сайтов осталось после каждого шага
и сколько потрачено.

Потом в двух абзацах объясни, что где лежит и как запустить
пайплайн на другой стране.