Превращаем роутер в iSCSI target

[Dioptimizer]

Обновил выше ссылку.
Мне так и не удалось загрузить модули версии scst 3.3.x.
Идет ошибка:

...
[  152.426705] scst: Unknown symbol __divdi3 (err 0)
[  152.431867] scst: Unknown symbol __umoddi3 (err 0)
[  152.436853] scst: Unknown symbol __udivdi3 (err 0)
и т.д....

Они что-то поломали.
Рабочая версия trunk(хотя бы у меня).

[sakatgg]

Dioptimizer
Заработало на Openwrt 18.06.4 (scst trunk). Спасибо большое
В Win7 и Runtu определился.
Скорость записи на hdd роутера - 17Мб/сек - это нормально для него.

Теперь буду пробовать *.vhd с него по сети загружать
Не в курсе через iPXE Win в *.vhd можно загружать?
Или через G4D, grub только? Где почитать?

Через G4D в RAM так загружаю (но это с флешки, а вот как с сетевого диска не знаю)

 title Boot 444.vhd  4.0Gb RAM
 find --set-root --ignore-floppies --ignore-cd /444.vhd
 map --mem /444.vhd (hd0) 
 map --hook 
 root (hd0,0) 
 chainloader /bootmgr

[Dioptimizer]

sakatgg
На практике не использовал. Читал теорию.
Чтобы грузить с PXE BIOS - оно загружает любой бутлодер по протоколу TFTP.
Кстати TFTP Server есть в любой сборке, нужно просто его включить грамотно и создать структуру папок и файлов, а в специальный конфиг (вроде в /etc/config/dhcp)
Подробности тут.(тут грузят Ubuntu)

Из того что я помню, чтобы установить Windows по сети:
Для того чтобы установить Wndows, нужно грузить бутлодер ipxe, а в нем уже грузить wimboot - а ему нужный все файлы для загрузки, например конфиг ipxe:

#!ipxe
kernel http://192.168.1.14:53876/tftpboot/ipxe/wimboot
initrd http://192.168.1.14:53876/tftpboot/ipxe/w10_x64/media/Boot/BCD BCD
initrd http://192.168.1.14:53876/tftpboot/ipxe/w10_x64/media/Boot/boot.sdi boot.sdi
initrd http://192.168.1.14:53876/tftpboot/ipxe/w10_x64/media/sources/boot.wim boot.wim
boot

Т.е. стандартные файлы для загрузки wim образа через wimboot.

Для того чтобы загрузиться через ipxe просто с диска (как BIOS диска) по протоколу iSCSI, нужно значительно меньше команд:

#!ipxe
dhcp
set keep-san 1
sanhook iscsi:192.168.1.1::::iqn.2014-07.com.it-joe:windows
boot

(где 192.168.1.1 - адрес роутера, и iqn.2014-07.com.it-joe:windows - имя id:имя)

http://it-joe.com/windows/iscsi_pxe_boot

Но даже если и будет загрузчик на диске, и оно дойдет до BCD файла - оно не сможет найти устройство(сам сетевой диск) - оно все равно должно грузить wim образ в память штатными средствами, чтобы смонтировать грамотно iSCSI диск, а потом его использовать как системный.

Вот еще один правильный конфиг для ipxe.

P.S.
17МБ скорости реально мало для полноценной работы ОС по сети, нужно хотя бы гигабитную сеть(это порядка 128МБ).

[sakatgg]

Чтобы грузить с PXE BIOS - оно загружает любой бутлодер по протоколу TFTP.

Давно пробовал таким образом грузиться, но только образы небольшие, надо будет вспоминать.

17МБ скорости реально мало для полноценной работы ОС по сети

Так использовать хочу сеть только для загрузки VHD (с уже установленной и настроенной Win) в RAM, дальше уже ОС из RAM будем грузиться и летать , чисто без винта.

Спасибо за ссылки, буду просвещаться, экспериментировать

P.S. Ваше видео здесь работа на scst-trunk, на всякий случай.

Маленько вспомнил по загрузке PXE, по статье Мультизагрузочный PXE-реаниматор собрал, проверил на старом ноуте.
Довольно просто, кидаем приложенный архив на роутер (подключенный hdd), включаем встроенный TFTP (скрин1), ничего больше не настраивал, подключилось автоматом.
Теперь изучаю как прикрутить загрузку iscsi диска

[sakatgg]

Загрузил через iSCSI target контейнер VHD Win10x64 (находится на usb-hdd, подключенный к роутеру), предварительно сделать надо загрузку с подключением к компу на прямую и включить службу MSiSCSI, или примонтировать VHD и через реестр поставить

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\MSiSCSI
Start=2

win.ipxe такой:

#!ipxe
dhcp
set keep-san 1
sanboot iscsi:192.168.3.1::::iqn.2018-04.net.openwrt:tgt

В момент загрузки, если смотреть на закладке Сервисы - iSCSI target, то видно, сначало один инициализируется -> появляется второй такой же, но с доп маркером _1 -> первый через некоторое время отваливается, второй остается.

Загрузка довольно быстро происходит, долго стоит в момент переинициализации, но дальше нормально. В системе включен EWF, т.е. обращение к системному разделу минимальны, все пишется в overlay.

Команда Save EWF Reboot работает, изменения сохраняются нормально.

usb-hdd, flash загрузочные, использовал разные с G4D, bootmgr - подрубаются через сеть всё также, дополнительно с ними нечего не делаю. Т.е. работает как на прямую.

По крайней мере, загрузка Win10x64 (в VHD, bootmgr) пашет через сеть,
Win10x64PE из MultiBoot 2k10 7.22.2 Unofficial тоже грузиться нормально (загрузочную флешку делал через Rufus и в роутер, ничего больше не надо делать).

Вот только хочу свою сборку Win7N x64 загружать в RAM,
VHD 4Гб загружается в RAM за 10мин (для сравнения с флешки usb2 - за 5мин), далее уже сеть не нужна,
но вылетает при запуске рабочего стола, даже до первого звука доходит, но при инициализации далее - вылет. Включал MSiSCSI в Start=2, не помогает,

В безопасном режиме долго стоит на месте (скрин3), потом ребут.

надо попробовать в Start=0 поставить.

Приложил файлы, кидать на TFTP в роутер и включить загрузку с Lan в BIOSе.
Генерировал ipxe.lkrn здесь Generate iPXE images точно, как сказало в инструкции SAN Boot Windows ( iSCSI )


Большое спасибо за помощь Dioptimizerу

======================================== =====================

P.S. Получилось всё-таки загружать сборку Win7 x64 UltimateN Compact в RAM по схеме Usb-hdd -> Router > Lan -> Computer, работать и записывать фиксации на этот же usb-hdd (скорость записи 15Мб.сек)
Загрузка 4Гб в RAM 10мин (G4D), дальше, как ОС начинает разворачиваться, где бегунок, почему-то долго ждёт 2м 10с, дальше всё летает

Только предварительно надо загрузиться с usb-hdd на этой сборке в RAM, но винт подключить к компу (к роутеру временно подключить другой любой винт) -> включить в Win7 сеть (может и не обязательно, я включил на всякий случай) и в Инициатор iSCSI -> Обнаружение -> Обнаружить портал -> IP роутера -> Конечные обьекты -> Обновить -> Подключиться (к временному винту в роутере).
Далее фиксируем изменение, как здесь Загрузка в RAM динамических VHD NT6, фиксация изменений написано и только после этого usb-hdd с "матрешкой" подключаем к роутеру и грузимся с него через iPXE

[sakatgg]

Удалось загрузить Win10x64 одновременно на 3 компа с одного же VHD, расположенного на usb-hdd, подключенного к роутеру

Процесс занял побольше времени, чем с одним, но далее операции с системным разделом на hdd происходят в оверлее, т.е. физической записи на диск не происходит.

Есть две особенности, при работе нескольких компов

Только первый комп будет иметь право делать запись на винт.
И только он в сети будет видеть виндовую шару, по причине того, что все 3 загружаются с одного VHD и имеют одно сетевое имя.
Но эти две проблемы можно легко решить, каждый комп грузить со своего VHD с одного винта. В принципе и флешки достаточно, винт и не нужен

Скрины инициализации и переинициализации 3х компов,
первая инициализация и вторая с индексом _1,
как видно по траффику до переинициализации 70Мб скачивается, и до полной загрузки Win10x64 - 440Мб.
Траффика в обратном направлении нет практически.
Но это сборка оптимизированная, сжатая максимально и с включенным EWF.

[AlnZod]

Доброе время суток всем!
Решил собрать себе мощный роутер с iSCSI target на платформе x86-64. (Железка достаточно мощная)
Скомпилировать с предоставленным выше makefile (в этом сообщении) не получилось.
В общем, что-бы поправить компиляцию, пришлось немного доработать:

Развернуть для просмотра

SRCARCH:=$(shell echo $(ARCH) | sed -e s'/-.*//' \
-e 's/i.86/x86/' \
-e 's/x86_64/x86/' \
-e 's/mips.*/mips/' \
-e 's/mipsel.*/mips/' \
)

[свернуть]

[sakatgg]

AlnZod
Ок, спасибо. Хотел как раз проверить на комповом железе на Openwrt 19.07 - cкомпилировалось нормально для платформы x86-64.

[sakatgg]

Скорость скачивания с usb-hdd, подключенному к роутеру с iSCSI target, где-то 9Мб/сек (ext4).
Решил поэтому поставить OpenWrt SNAPSHOT r13374 на NAS Iconbit I-STOR IS608.
Пробовал и на OpenWrt 19.07.3, но в этой версии не было поддержки sata, пытался портировать патчи - не стартовала.
На SNAPSHOT поддержка есть, но её включать в ядре надо. Проблем много, запускал на прямую с sata-hdd, на нём uboot и roofs (Nand при запуске и загрузке не учавствует). Короче, обходными путями удалось запустить. Инфа здесь начало и здесь, что получилось.

Пакет iSCSI target работает. Но вот в luci конфигуратор не стартует (на 19.07.2 нормально было). Права на etc/config/scst ставил разные - не помогает.

Скорость копирования файла 3.5Гб на NAS по iSCSI target - стартует 110МбМб/с (ext4), к концу падает до 60МбМб/с. Уже приличное увеличение, по сравнению с usb.

C NAS на комп (в RAM) на Runtu - 20-25Мб/с, в Win7 (ntfs) - 30Мб/c. Честно говоря разочарован.
На родной прошивке загрузка с NAS по FTP - ровненько на 110Мб/с.

Может в настройка iSCSI target где это дело поправить? Спасибо.

[Dioptimizer]

Здравствуйте.
Попробуйте проверить многопоточную скорость(это можно проверить или утилитой CrystalDiskMark или FIO) "NAS на комп" если она увеличится, значит делайте как описано тут.

Whether vdisk_fileio or vdisk_blockio performs better depends on your
workload. When using SSDs at the target side vdisk_blockio will perform
better for workloads that saturate the target system because
vdisk_blockio always uses zero-copy I/O and because it supports high
queue depths. vdisk_fileio has the advantage that it can use the page
cache. If the target side is equipped with an uninterruptible power
supply then setting the nv_cache attribute to 1 can significantly
improve write latency. When using vdisk_fileio mode you either need to
set the number of worker threads high enough or use asynchronous I/O
mode to achieve good throughput. See also the documentation of the
'async', 'o_direct', 'nv_cache' and 'threads_num' attributes in the SCST
README.

Грубо говоря там нужно использовать многопоточность...

P.S.
Увы, у меня нет сейчас устройства чтобы проверить scst и поправить работу статистики на страничке OpenWRT.