Работа с огромной базой более 100 млн. строк

mr.KEVASC,
Идей сколько угодно. Нет понимания задачи.
Вы в курсе, что одновременный запрос в две базы данных возможен только в случае, если обе базы на одном сервере и у них один пользователь?
Поэтому "связывать" базы возможно только при помощи php. И это будет очень небыстро.

Что за глупости? ))) Это где такое нашли? )

Что за глупости? ))) Это где такое нашли? )

Напишите умность.
Например код php, который сделает селект из двух баз на разных серверах.

CREATE TABLE federated_table (
    id     INT(20) NOT NULL AUTO_INCREMENT,
    name   VARCHAR(32) NOT NULL DEFAULT '',
    other  INT(20) NOT NULL DEFAULT '0',
    PRIMARY KEY  (id),
    INDEX name (name),
    INDEX other_key (other)
)
ENGINE=FEDERATED
DEFAULT CHARSET=utf8mb4
CONNECTION='mysql://fed_user@remote_host:9306/federated/test_table';

работает ли на таком выборка, точно знаю что select и update работает норм

mr.KEVASC,
Ответ MySQL: Документация

#1286 — Unknown storage engine 'FEDERATED'
----------------------------------------------------------------
Хотя… добавил federated в my.ini — работает.
Подцепился к удаленной базе. Селект работает нормально.

работает ли на таком выборка, точно знаю что select и update работает норм

Чем отличается выборка от селекта?

Необходимо сделать join по таблице которая стоит в основной и удаленной базе.

Необходимо понимание скоростей перебора больших массивов.

Необходимо сделать join по таблице которая стоит в основной и удаленной базе.

Таблица, которая подключена к другой таблице — это практически одна таблица, только разнесенная по разным серверам. Джойнить её саму к себе не нужно. Можно точно так же подключить все таблицы в базе, тогда можно будет джойнить что угодно к чему угодно.

Необходимо понимание скоростей перебора больших массивов.

Тут на родном-то сервере выборка из миллиона строк периодически захлебывается на лимит оффсете, а Вы хотите по сетке таскать сто миллионов...

Завтра поэкспериментирую. Сделаю полностью сайт, где все таблицы будут подключены к удаленному тестовому серверу. Посмотрю, как выборка миллиона комментариев будет выглядеть...
-----------------------------------------------------------------
Простой SELECT * FROM `comments` занял 31 секунду.
Отображение строк 0 — 49 (1075562 всего, Запрос занял 31,0000 сек.)
Какая к чертям скорость?

Почему это на одном сервере? Что за глупости? ))) Это где такое нашли? ) Почему нет понимания задачи, надо join' ить несколько таблиц для сборки с разных серверов, или разбивать и обрабатывать по отдельности, может через node.js можно? может кто пробовал