Форум ИГШ (НЕАКТИВЕН!!!)
http://www.sakva.ru/hq/

Сюжетная карта II
http://www.sakva.ru/hq/viewtopic.php?f=18&t=3427
Страница 4 из 4

Автор:  al_mt [ 22 окт 2009 10:53 ]
Заголовок сообщения: 

Создать "революционную систему смыслов" целенаправленно невозможно. Оно может только вырасти само. Вот унавозим почву активными добавками и посмотрим...

Автор:  Чибрикин Илья [ 22 окт 2009 11:26 ]
Заголовок сообщения: 

Это да. Не случайно Перслегин, Великий и Ужасный использует слово "распаковать смысл".
Но вот повторять уже пройденное не стоит. В Инфосистемы Джет была создана целая кухня контекстных анализаторов трафика. Для SMTP-протокола в начале и для иных - потом.
http://www.jetsoft.ru/product/dozor/purpose.html

Автор:  Чибрикин Илья [ 22 окт 2009 11:28 ]
Заголовок сообщения: 

Вот некая теория об том.
http://www.jetsoft.ru/download/public/JI10v2.pdf

Автор:  al_mt [ 30 окт 2009 16:18 ]
Заголовок сообщения: 

Не взирая на, продолжаем движение.
Ставлю эксперименты с модулями. Беру длинный текст, выдёргиваю случайный фрагмент и строю на его основе модуль.
Вернее модуль должен "построиться" сам.
Вот забавные результаты:
Цитата:
<chain> всегда раздражала ее. На лице</chain>
<chain> всегда раздражала ее. На лице</chain>
<chain>ней так раздражали ее. — В это</chain>
<chain>она его раздражала! И какой он</chain>

Здесь сорвалось...
Цитата:
<chain> всегда радовалась им как ребе</chain>
<chain>гляды, она держала его на тако</chain>

...и устаканилось на имени собственном :)
Цитата:
<chain>. Пандора держала в руке запи</chain>
<chain> — Пандора сделала два шага и </chain>
<chain> — Пандора сделала несколько ш</chain>
<chain> — Пандора сделала вид, будто </chain>
<chain>ь. Пандора сделала глубокий вд</chain>


Щас буду думать, как повысить устойчивость... Наверно надо на выходе сигмоиду притулить...

Автор:  al_mt [ 20 ноя 2009 16:33 ]
Заголовок сообщения: 

Провёл следующий эксперимент - взял текст и попытался автоматически (без учителя) выделить несколько классов.
Цитата:
1 [Red]
chain=ачать только одно. —
<chain>ачать только одно. —</chain><chain>ачать только одно. —</chain><chain>ается только одно, —</chain><chain>ается только Макса и</chain><chain>иться только на мне.</chain>

2. min=155 [Green]
chain=The Wedding Bargain”
<chain>The Wedding Bargain”</chain><chain>The Wedding Bargain”</chain><chain>ько на него — кем бы</chain><chain>ила на него никакого</chain><chain>ела на него. Как она</chain>

3. min=375580 [Blue]
chain=ло?
<chain>ло? </chain><chain>ыло… Только начало? </chain><chain>м. — Только родители</chain><chain>ина. Только Грейс не</chain><chain>пают только негодяи!</chain><chain>сует только Пандора.</chain><chain>прос только — когда.</chain><chain>мака только поднимет</chain><chain> как только получила</chain><chain> как только я назвал</chain><chain> это только поэтому?</chain>

4. min=358181 [Yellow]
chain=4 НАГРАДА ПОБЕДИТЕЛЮ
<chain>4 НАГРАДА ПОБЕДИТЕЛЮ</chain><chain>4 НАГРАДА ПОБЕДИТЕЛЮ</chain><chain>Ф НАЗНАЧЕН — Это… —</chain><chain>? Нет, не от нас. От</chain><chain>? Нет, сначала нужно</chain>

5. min=375581 [Cyan]
chain=о?
<chain>о? </chain><chain>герцогини Роксборо? </chain><chain>герцогини выбрали их</chain><chain>герцогиней Роксборо.</chain><chain>герцогине. — Кэтрин.</chain><chain>герцогиня. — Жаль, —</chain><chain>герцогиня. Герцогиня</chain><chain>герцогиня, — Пандора</chain><chain>герцогиня, возможно,</chain><chain>герцогиня, глядя ему</chain><chain>герцогиня согласится</chain>

Затем "посмотрел" на текст в поисках обнаруженных классов, график:
Изображение
Обратите внимание, как легко можно отфильтровать шум.
И ещё, очень любит "герцогиню" :) Регулярно это понятие находит.

Автор:  Чибрикин Илья [ 23 ноя 2009 16:26 ]
Заголовок сообщения: 

Коллеги, читал тут одну книжку...
Тама есть вывод. Смысловой блок текста - это тот, в котором распределение слов хорошо соответствует закону Ципфа-Паретто. Если мешать разные смысловые куски, то оное соответствие ухудшается.

Автор:  Чибрикин Илья [ 23 ноя 2009 17:18 ]
Заголовок сообщения: 

исходя из чего, думаю, генератор светских бесед relиз2 будет ишщо краще - если не до "генератора постов для ФИГШ" то хотя бы до "генератора научных статей"... Ждём новый "корчеватель"...

Автор:  al_mt [ 23 ноя 2009 19:28 ]
Заголовок сообщения: 

Анализ данных, вынесенных на карту

Пусть карта - описание пространства, каждой точке которого сопоставлен набор скалярных параметров. Например, каждой точке геодезической карты, соответствует высота данной точки над уровнем моря. Назовём карту, содержащую один параметр для каждой точки, "слоем". Тогда карту оприсывающую пространство во множестве параметров, назовём "многослойной", а набор параметров в одной точке - "вектор".
Предположим, что существует некий вектор, описывающих точку пространства, и этот вектор в неизменном виде встречается во многих точках карты. Такой вектор, назовём "символом". Если ряд точек пространства описывается векторами, незначительно отличающимися друг от друга, то такое множество векторов назовём "нечётким символом". Примем, что любую точку пространства описанного картой можно обозначить символом. Множество символов, которые полностью описывают карту, назовём "алфавитом".

Выберем любую точку карты. Прочитаем символ в точке, сдвинемся на соседний символ, снова прочитаем символ. Путь, по которому, производится чтение символов карты назовём "маршрутом". Получаемая последовательность символов - "строка". Если карта получена, каким-либо способом, кроме применения генератора случайных чисел, то символы точек должны коррелировать между собой. В этом случае следует ожидать, наличие повторяющихся последовательностей символов. назовём такую повторяющуюся последовательность - "слово". Если при считывании символов различными маршрутами, получаем последовательности символов, не одинаковые, но близкие содержанию, то назовём такие последовательности "нечёткое слово" или "образ". Рассматривая последовательность, на предмет распознания образа, получаем множество весов для образов. Т.е. каждому символу последовательности, будет соответствовать набор образов, имеющих разные веса.

Преобразование последовательности символов в последовательность образов, создаёт новую последовательность, так же подлежащую анализу на последовательности.
В результате, возникает иерархия, так же известная как "иерархия Хокинса", которая может быть использована для распознания данных аналогично многослойной нейросети.
Алгоритм анализа последовательностей выгодно отличается тем, что:
а) Требует значительно меньших вычислительных мощностей
б) Легко позволяет распараллеливать операции
в) При "уходе" модуля распознания за пределы его границ применимости, ситуация легко распознаётся, после чего работоспособность алгоритма восстанавливается простым удалением модуля

to be continue...

Автор:  al_mt [ 10 дек 2009 20:27 ]
Заголовок сообщения: 

Требуется мне некоторая терминологическая помощь. Нужно терминов придумать.
Во-первых, "последовательность символов". Я сейчас использую термин "цепочка" или англоязычное chain - вполне устраивает пока.
Во-вторых, модуль/программный объект/класс, запоминающий и распознающий "образ", каждый модуль реагирует только на один образ. Я использую термин "прогнозёр"/forecast но мне кажется коряво, надо что-то другое.
В-третьих, внутри вышеозначенного модуля, запомнен набор цепочек. Вот этот набор цепочек надо как-то назвать.
В-четвёртых, группа распознающих модулей-"прогнозёров", находящихся на одном иерархическом уровне. Я использую "слой"/layer - и звучит нормально, но этот термин, слишком часто употребляется, можно запутаться если наткнуться на другой контекст.

Собсно вот...

Автор:  Чибрикин Илья [ 11 дек 2009 00:45 ]
Заголовок сообщения: 

строка.... (в которую не всякое лыко)
2-ых - если модль опознаёт только "свой-чужой" - то надо комплиментарную пару терминов типа ключ-замок, тимин-аденин, пестик-тычинка, гнездо-штекер, дурак-дурака, два сапога...
3-их... кот-вот
поколение, слой уровень этаж статус горизонталь и вообще плосткость или даже поверхность (ибо слой - действительно слишком част) панель мембрана......

Автор:  al_mt [ 11 дек 2009 19:56 ]
Заголовок сообщения: 

Блин! Начинаю обучать на сказках и натыкаюсь на совершенно "детские" (человеческие) залипухи. Например, увидев фразу "Машенька - деревце за деревце..." искренне и намертво считает, что существует понятие "Машенька деревце" :lol:

С термином "строка", та же лажа, что и с термином "слой" - слишком многозначно.
Ну всё же это не совсем "разъём" - это скорее фильтр. Кстати, работает аналогично "фильтру" шумоподобных систем связи :) Только "мягче" :)

Цитата:
3-их... кот-вот

Не понял мысли

Блин, но всё же "слой" - лучше всего передаёт смысл :(

Автор:  ko4evnik [ 11 янв 2010 23:20 ]
Заголовок сообщения: 

al_mt";p="71595 писал(а):
Требуется мне некоторая терминологическая помощь. Нужно терминов придумать.
Во-первых, "последовательность символов". Я сейчас использую термин "цепочка" или англоязычное chain - вполне устраивает пока.

"кортеж"

al_mt";p="71595 писал(а):
Во-вторых, модуль/программный объект/класс, запоминающий и распознающий "образ", каждый модуль реагирует только на один образ. Я использую термин "прогнозёр"/forecast но мне кажется коряво, надо что-то другое.

"проектор" (?)

al_mt";p="71595 писал(а):
В-третьих, внутри вышеозначенного модуля, запомнен набор цепочек. Вот этот набор цепочек надо как-то назвать.

"множество релевантных кортежей"

al_mt";p="71595 писал(а):
В-четвёртых, группа распознающих модулей-"прогнозёров", находящихся на одном иерархическом уровне. Я использую "слой"/layer - и звучит нормально, но этот термин, слишком часто употребляется, можно запутаться если наткнуться на другой контекст.

"кластер"

Цитата:
Выберем любую точку карты. Прочитаем символ в точке, сдвинемся на соседний символ, снова прочитаем символ. Путь, по которому, производится чтение символов карты назовём "маршрутом". Получаемая последовательность символов - "строка". Если карта получена, каким-либо способом, кроме применения генератора случайных чисел, то символы точек должны коррелировать между собой. В этом случае следует ожидать, наличие повторяющихся последовательностей символов. назовём такую повторяющуюся последовательность - "слово". Если при считывании символов различными маршрутами, получаем последовательности символов, не одинаковые, но близкие содержанию, то назовём такие последовательности "нечёткое слово" или "образ". Рассматривая последовательность, на предмет распознания образа, получаем множество весов для образов. Т.е. каждому символу последовательности, будет соответствовать набор образов, имеющих разные веса.

Благородный Дон изобретает байесовскую сеть, соответсвующую марковскому процессу N-го порядка? :roll:

Автор:  Чибрикин Илья [ 12 янв 2010 10:54 ]
Заголовок сообщения: 

Уважаемый Кочевник а Вы разбираетесь в упомянутых Вами сущностях?

Автор:  ko4evnik [ 12 янв 2010 19:00 ]
Заголовок сообщения: 

Чибрикин Илья";p="72118 писал(а):
Уважаемый Кочевник а Вы разбираетесь в упомянутых Вами сущностях?


в разумных пределах.
т.е. физический смысл понимаю, надеюсь в будущем где-нибудь у себя применить, но готового продукта за душой пока нет.

надеюсь прикрутить когда-нибуть к следующей версии этой программки: http://forums.airbase.ru/2009/06/t67784--fotografii-iznichtozhenie-dublej.html

Автор:  ko4evnik [ 12 янв 2010 19:02 ]
Заголовок сообщения: 

ko4evnik";p="72100 писал(а):
al_mt";p="71595 писал(а):
В-четвёртых, группа распознающих модулей-"прогнозёров", находящихся на одном иерархическом уровне. Я использую "слой"/layer - и звучит нормально, но этот термин, слишком часто употребляется, можно запутаться если наткнуться на другой контекст.

"кластер"

сообразил, что "слой" в подобном смысле я еще назваю "стратой".

Автор:  al_mt [ 12 янв 2010 19:16 ]
Заголовок сообщения: 

Нет. не байесова. Вернее с байесовых сетей начал, но там траблы - для данной задачи, они слишком сложны, а при реализации алгоритма "в лоб" начинаются траблы с потребной производительностью.
"Проектор" звучит хорошо, и по смыслу оно "проектор" и есть ибо возвращает в сущности "проекцию мира на КМ", Только к сожалению не транслирует смысла :(

Автор:  ko4evnik [ 13 янв 2010 22:09 ]
Заголовок сообщения: 

al_mt";p="72165 писал(а):
Только к сожалению не транслирует смысла :(

если потерзать семантику терминов - видно что они не совпадают:
Транслирует( кто?; кого/что?; с чего; на что? )
от
Проектирует( кто?; кого/что?; на что? ) // в смысле "делает проекцию", а не "конструирует проект"..
отличается присутсвием еще одного падежа....

З.Ы. кстати, а что у нас принято за "Квант Смысла"?

Автор:  al_mt [ 14 янв 2010 11:36 ]
Заголовок сообщения: 

"квант смысла" = "образ"

Блин. Правильный ведь вопрос поставил тов. Кочевник. "Что делает?" - "Детектирует!"
Т.е. модуль ответственный за распознание одного образа - это "детектор образа"!!!
Ура!
Тогда набор детекторов - "решётка". Ассоциативная связь - "антенна с фазовой решёткой"...

Автор:  ko4evnik [ 14 янв 2010 19:27 ]
Заголовок сообщения: 

al_mt";p="72178 писал(а):
"квант смысла" = "образ"

т.е. он что - цельный и нерасщепляемый аки гештальт? и не из чего не состоит? :roll:

al_mt";p="72178 писал(а):
Тогда набор детекторов - "решётка". Ассоциативная связь - "антенна с фазовой решёткой"...


ежели фиксировать ассоциацию точнее - то она звучит как "антенна построенная на фазированной/щелевой решетке".

т.е. "решетка" = "рама/крепеж/сито":
имеет назначение "задать правильную пространственную организацию устройств=`сенсоров`" с целью "расщепления, дифференциации и сепарации сырья=`информации` по заданным законам".

Автор:  al_mt [ 14 янв 2010 20:38 ]
Заголовок сообщения: 

1. Да. Цельный и нерасщепляемый.
2. Не... именно "решётка". "Сито" - тоже хорошо, кстати. А смысл - трансформация одного набора образов - в другой, причём трансформация выдаёт нечёткую классификацию. Одна последовательность образов пораждает набор вероятностных последовательностей. отранжированных.

Автор:  ko4evnik [ 14 янв 2010 21:47 ]
Заголовок сообщения: 

al_mt";p="72186 писал(а):
1. Да. Цельный и нерасщепляемый.

а гм дифференцируемый?

в смысле берем "гусе-лебедя" - дифференцируем его по переменной "способности летать" - получаем "1", дифференцируем его по "способности орать" - получаем "1", диффереyцируем его "способности давать молоко" - получаем "0". => получаем его "маску" и "индексы в пространстве координат".

al_mt";p="72186 писал(а):
А смысл - трансформация одного набора образов - в другой, причём трансформация выдаёт нечёткую классификацию. Одна последовательность образов пораждает набор вероятностных последовательностей. отранжированных.


т.е. берем "кусок глины", плющим, мнем и обжигаем, и нечетко классифицируем это эээ "обожженной глиной", ибо черт его знает что там получилось - "горшокЪ" или "кирпичЪ". но "кирпичЪ" вроде должОн получится с бОльшей вероятностью...
(шутко.пардон.тяжелый день)

Автор:  al_mt [ 15 янв 2010 12:32 ]
Заголовок сообщения: 

Не... не дифференцируемый. Это конечно функция, но не числовая. "Способность орать" и "Способность давать молоко" - это отдельные образы. "Способность орать" может содержать где-то у себя в цепочках "гуся", а "Способность давать молоко" - нет.

Про кирпичи в принципе да. Получив на входе образ "глина", образы "кирпич" и "горшок" дадут разные по интенсивности отклики.

Автор:  stak [ 30 янв 2010 23:09 ]
Заголовок сообщения: 

Был вот на таком семинаре:
Петренко Максим Сергеевич (фирма RiverGlass, Inc., Hakia, США)
"СТАТИЧЕСКОЕ И ДИНАМИЧЕСКОЕ УПРАВЛЕНИЕ РЕСУРСАМИ В ОНТОЛОГИЧЕСКОЙ СЕМАНТИКЕ".

Они таки все размечают руками.
Ставят тег возле терминов - полный OWL короче... А процессор потом шустрит и строит таксономию.

Звезда в шоке....

Страница 4 из 4 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/