AI модератор

+4
322
AI модератор

Изображение

По сути подключение нейросети к instantcms для проверки публикуемого контента и комментариев на спам оскорбления и прочее

не знаю насколько это актуально, но меня прям вымораживают спамеры, пока все как обычно у меня на стадии — хрен знает

Это конечно будет замедлять процесс самой публикации из за проверки, хотя наверное можно сделать пост проверка, а не сразу

выложу то что уже есть, можно потестить, я тестил на своем компе с Olama со слабой видяхой и на сервере вообще без нее, предусматривал интеграцию с YandexGPT  и OpenAI но это вообще еще… Есть проблема с сообщениями админу 

Рекомендуемые: qwen2.5:7b (отличный русский, стабильный JSON), llama3.1:8b (хороша, слабее в русском). Для слабых машин: qwen2.5:3b, phi4-mini

Вообщем все как обычно будет тут

Изображение

Изображение

Изображение

Изображение

для проверки нужно отключить — Пропускать админов и модераторов
Не проверять (и не блокировать) действия персонала

че пишет алиса на эту тему — Intel® Xeon® CPU X5675 @ 3.07GHz, 24 ядра на CPU qwen2.5:3b

Нет AVX2 — только SSE4.2. Ollama (под капотом llama.cpp) это поддерживает, но инструкции AVX2 ускорили бы работу в 1.5–2 раза. Тем не менее, работать будет.

На этом процессоре qwen2.5:3b (Q4_K_M) выдаст примерно 8–15 токенов в секунду. Для классификации спама этого достаточно — ответ модели это ~30–50 токенов (JSON), то есть один комментарий обработается за 2–5 секунд.

Для 3B-модели оптимально 6–8 потоков, а не все 24: OLLAMA_NUM_THREAD=6 ollama serve

По умолчанию Ollama выгружает модель из памяти через 5 минут простоя. Если комментарии приходят периодически, но не постоянно — модель будет перезагружаться каждый раз, что занимает ~5 секунд. Увеличьте таймаут: OLLAMA_KEEP_ALIVE=-1 ollama serve

убедитесь, что Ollama не пытается искать GPU: OLLAMA_GPU_OVERHEAD=0 ollama serve

Если скорости не хватит

Уменьшить модель — взять qwen2.5:1.5b (1.5 млрд параметров). Для бинарной классификации спама её должно хватить, а скорость вырастёт в 2 раза.

Ну вообщем как то так, у меня на демо сейчас подключено к ИИ, таймаут не увеличивал

Прикреплённый файл:
Скачать 116 Кбскачан 8 раз
0
Capitan Capitan 1 месяц назад #

Это прям ВАУ! Ого куда наша родная инста идет!

+1
Kuper Kuper 1 месяц назад #

Хороший движок, много лучше ВордПресс и легче джумлы, но мало известен почему-то, плагины наверное это решат, надеюсь, обратной связи мало, я посмотрел топ скаченных других движков в основном галереи, магазины, сео, есть еще идея типа стоп форум спам, что бы если на одном сайте забанили то и на все другие чел не вошел, еще момент обработка спама — приходится каждое сообщение и пост удалять отдельно хотя можно кнопочку удалить все посты пользователя

Вообщем жду кто что скажет куда двигаться, но все молчат

+1
Kuper Kuper 1 месяц назад #

Воооообщем переписано

Компонент работает в двух режимах:

Предмодерация — проверяет текст до публикации. Подозрительный контент не появляется на сайте.
Постмодерация — публикует контент сразу, а нарушения убирает после проверки в фоновом режиме.
Распознаваемые категории нарушений: спам, реклама, оскорбления, мошенничество, разжигание ненависти, экстремизм, политический спам/пропаганда.

Возможности
Проверка комментариев и публикаций (статьи, посты и др.).
Поддержка нескольких LLM-бэкендов:Ollama — локальные модели, бесплатно и без интернета.
YandexGPT — облачная модель от Yandex Cloud.
OpenAI / совместимые API — OpenAI, OpenRouter и другие прокси (не тестировалось и не проверялось в реальных условиях).
Настраиваемые действия при обнаружении нарушения: отправка на модерацию,
удаление / отклонение,
замена текста на заглушку,
только запись в журнал.
Журнал проверок с переходами к страницам нарушений.
Список нарушителей с перепроверкой всех их записей.
Санкции против авторов: понижение кармы, временный бан, личное предупреждение.
Чёрный список слов и жёсткая блокировка по ссылкам.
Уведомления администраторов в личных сообщениях.
Проверка соединения с LLM прямо в настройках.

YandexGPT: хорошо справляется со спамом, рекламой, оскорблениями и мошенничеством, но при проверке текстов с ненавистью, экстремизмом или политической пропагандой может возвращать отказ вместо результата. 

Расширение PHP curl (для запросов к LLM).
Расширение PHP mbstring.

Потестить посмотреть, правда проверка пользователя на чистом сайте удалила демо контент продам квартиру в новостройке =) чет еще было, но котелок уже не варит 

Скачать на github

Еще от автора

Галерея для Instantcms
Gallery+ — полнофункциональная галерея с masonry-сеткой, бесконечной лентой, лайтбоксом, 6 уровнями приватности альбомов (включая пароль и 18+), катег
Поле видео и аудио
Поле позволяет загружать аудио и видео
Заголовок для ссылки из названия поля и ссылка в виде кнопки
Небольшой хак для того что бы не писать каждый раз заголовок для ссылок если он каждый раз одинаковый и оформление ссылок в виде кнопки
🍪Мы используем файлы cookie для работы сайта. Читать подробнее.