книги хакеры / OSINT_Разведка_из_открытых_источников_Методы_и_утилиты_2019

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Пользовательский поиск позволяет использовать существующий сервис поисковой системы для предварительного выбора веб-сайтов, необходимых для ограничения поиска, типов возвращенных результатов (например, только pdf-файлов), и как результаты будут расставлять приоритеты.

Основным поставщиком пользовательского поиска является Google, поэтому мы рассмотрим, как создать один в следующих шагах:

1.Перейти к www.google.com/coop/cse.

2.Вы должны иметь учетную запись Google, чтобы использовать эту услугу, так что во-вводом, если вы еще не сделали этого.

3.Нажмите кнопку "Новая поисковая система" на левой стороне.

4.На следующей странице введите сайты, которые вы хотите включить в поиск в разделе "Сайты для поиска". Вы можете включить URL-адреса всего сайта или отдельные URL-адреса страниц. Выберите язык, используемый для отображения графического интерфейса пользовательской поисковой системы; наконец, дать вашему поиску имя.

5.Нажмите кнопку «Создание», чтобы создать пользовательскую поисковую систему (см. рисунок4-24).

177

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Рисунок 4-24. Создание пользовательской поисковой системы с помощью пользовательского поиска Google

6.После успешного создания пользовательской поисковой системы, Google

будет отображать страницу, показывающую общедоступный URL вашей пользовательской поисковой системы. Он также покажет фрагмент HTML-

кода в случае, если вы хотите разместить его на вашем сайте и ссылку на пользовательскую панель управления поисковой системой для обновления его настроек (см. Рисунок 4-25).

178

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Рисунок 4-25. Пользовательская поисковая система Google успешно создана

Чтобы получить доступ к общедоступному URL-адресу вашей пользовательской поисковой системы, перейдите на https://cse.google.

com/cse/all, нажмите на специальное имя поисковой системы, к которого вы хотите получить доступ, перейдите в Setup и выберите общедоступный URL (см. рисунок 4-26).

179

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

Рисунок 4-26.

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Просмотр общедоступного URL-адреса пользовательской

поисковой системы Google

Google будет отображать окно поиска для вас. Введите свой поисковый запрос, и Google

будет отображать соответствующие результаты только с веб-сайтов, которые были введены при создании пользовательской поисковой системы.

Многие пользователи Интернета уже создали свои собственные пользовательские поисковые системы Google, чтобы найти файлы и каталоги FTP в Интернете. Один из них расположен в https://cse.google. com/cse/home?cx=014863114814409449623%3Ajc-vjhl_c5g.

Чтобы использовать этот пользовательский поиск, введите свой термин поиска (файл или имя каталога); Вы также можете указать тип файла, который вы хотите ограничить результаты поиска, нажав на соответствующее имя ниже окна поиска (см. рисунок4-27).

Рисунок 4-27. Пользовательская поисковая система Google, используемая для поиска различных типов файлов

Другие полезные Google пользовательских поисковых систем для размещения ресурсов

OSINT в Интернете являются следующими::

•300 Сайты социальных сетей(https://cse.google.com/cse/public url?key=AIzaSyB2lwQuNzUsRTH-49FA7od4dB_Xvu5DCvg&cx=0017944 96531944888666:iyxger-cwug&q=%22%22)

•250 Сайты обмена видео(https://cse.google.com/cse/publicurl ?key=AIzaSyB2lwQuNzUsRTH-49FA7od4dB_Xvu5DCvg&cx=0017944965

o31944888666:ctbnemd5u7s&q=%22%22)

•Поиск сайтов файловых каипов(https://cse.google.com/cse/publicurl? key=AIzaSyB2lwQuNzUsRTH-49FA7od4dB_Xvu5DCvg&cx=00179449653

o1944888666:hn5bcrszfhe&q=%22%22)

•Торрент Поиск(https://cse.google.com/cse/publicurl?key=AIza

180

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

oSyB2lwQuNzUsRTH49FA7od4dB_Xvu5DCvg&cx=0017944965319448886 66:ixpabzzplzy&q=%22%22)

Примечание! Вы можете построить передовой оператор Google для поиска файлов PDF, размещенных на общедоступных серверах,

используя следующий Google dork: intitle:index.of +?last modified?

+?parent directory? +pdf “Search Term”.

181

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w				•				o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

СЕРАЯ ЛИТЕРАТУРА

Как мы уже говорили в главе 1, серая литература является любой материал, производимый

вмире коммерческих издательских систем. Он имеет в основном два типа.

•Серая литература

•Серая информация

Серая литература включает в себя книги, журналы, журналы, и все, что может быть получено публично через традиционные каналы книжных магазинов или академических публикаций. Пользователь обычно платит абонентскую плату, чтобы получить доступ к таким ресурсам или покупает их непосредственно в книжных магазинах (например,

покупать книги у Amazon.com). Springer (https://rd.springer.com), которая обеспечивает доступ к миллионам научных документов, таких как журналы, книги, серии, протоколы и справочные работы, является наглядным примером серого канала литературы.

Серая информация, с другой стороны, не может быть легко получена с помощью традиционных маршрутов книжных магазинов. Тем не менее, он имеет некоторые специализированные каналы, где вы можете получить некоторые из них; Вы должны платить за специализированные подписные агентства, чтобы приобрести остальное. Серая информация включает в себя следующие и более:

•Академические работы

•Препринты

•Разберательства

•Конференц-документы и дискуссионные документы

•Отчеты об исследованиях

•Маркетинговые отчеты

•Технические характеристики и стандарты

•Диссертаций

•Тезисы

•Торговые публикации

•Меморандумы

182

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

•Правительственные отчеты и документы, не опубликованные на коммерческой основе

•Переводы

•Информационные бюллетени

•Обзоры рынка

•Черновой вариант книг и статей

В этом разделе мы сосредоточимся на академических и научных ресурсах, потому что мы уже охватили бизнес-поисковики, где вы можете получить серую информацию о бизнесе. В следующем списке вы найдете наиболее важные веб-сайты серой литературы,

которые могут быть использованы для получения академических и научных ресурсов бесплатно, охватывающих все темы:

•Academia (https://www.academia.edu) является платформой для ученых, чтобы поделиться научно-исследовательских работболее 19 миллионов работ в настоящее время загружены, охватывающих все академические предметы.

•Academic Index (www.academicindex.net) является научно-академической поисковой системы, которая перечисляет только выбранные наборы качественных веб-сайтов, выбранных учеными, библиотекарями,

преподавателями и библиотечными консорциумами.

•Academic Torrents (http://academictorrents.com) является распределенным репозиторием для наборов данных и научных знаний, поддерживаемых сообществом. Здесь проводятся научные исследования, курсы, наборы данных,

документы и коллекции с использованием технологии Torrent, где каждый пользователь системы может хранить исследовательскую работу и предлагать ее для скачивания, используя только домашний компьютер. Все, что вам нужно, это клиент Torrent, и вы готовы скачать и поделиться их содержанием.

•American Doctoral Dissertations (www.opendissertations.com) предоставляет бесплатный доступ к более чем 172 000 диссертаций и диссертаций, принятых американскими университетами с 1902 года по настоящее время.

•ArchiveGrid (https://beta.worldcat.org/archivegrid) содержит более пяти миллионов архивных материалов, собранных из архивов, библиотек, музеев и исторических

183

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w				•				o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

обществ. Основные темы включают исторические документы, а также личные и семейные документы и истории.

•Google Scholar (https://scholar.google.com/schhp?hl=en) является поисковой системой Google, чтобы найти научные исследования. Результаты ранжируются на основе количества цитирований (рассчитанных на основе количества людей,

которые ссылаются на исследование) и достоверности публикации.

•Вы также можете создавать оповещения (например, Google оповещения уже охвачены), так что вы получите информацию, когда новая научная исследовательская статья будет опубликована, что соответствует вашим критериям поиска.

•The Bielefeld Academic Search Engine (https://www.basesearch.net/Search/Advanced) содержит более 100 миллионов документов.

•Archive Portal Europe (www.archivesportaleurope.net) предоставляет доступ к информации о архивных материалах из разных европейских стран,

охватывающих многочисленные темы (такие как сельское хозяйство,

здравоохранение, правосудие, политика и наука).

•Social Science Research Network (https://www.ssrn.com/en) предоставляет более полумиллиона научных работ, охватывающих 30 тем.

•The National Library of Australia (http://trove.nla.gov.au) имеет более 500

миллионов австралийских и онлайн-ресурсов, охватывающих книги, журналы,

ежегодные отчеты, изображения, исторические газеты, карты, музыку, архивы и многое другое.

•ScienceDirect (www.sciencedirect.com) содержит более 250 000 статей открытого доступа (бесплатно для чтения и загрузки) в научных, технических и медицинских исследованиях.

•PQDT Open (https://pqdtopen.proquest.com/search.html) предоставляет открытый доступ к диссертациям и диссертациям бесплатно.

•The National Archive of the United Kingdom (http://discovery. nationalarchives.gov.uk) содержит более 32 миллионов описаний записей,

хранятся в Национальном архиве и более 2500 архивов по всей Великобритании,

многие из них доступны для скачивания.

184

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

•Oxford Academic (https://academic.oup.com/journals) содержит журналы в области права, бизнеса, науки, социальных наук, искусства и медицины.

•Page Press (www.pagepress.org) содержит научные журналы открытого доступа.

•CERN Document Server (https://cdsweb.cern.ch) обеспечивает свободный доступ к тысячам статей, книг, перепечаток, презентаций и переговоров, мультимедиа и информационно-пропагандистской деятельности, охватывающей в основном физическую науку.

High Wire (http://highwire.stanford.edu/lists/freeart.dtl) имеет бесплатные онлайн полнотекстовые статьи.

•Gray Guide (http://greyguide.isti.cnr.it) имеет ресурсы серой литературы.

•Beyond Citation (www.beyondcitation.org) предоставляет информацию о различных академических базах данных и других цифровых исследовательских коллекциях.

•Crossref (https://search.crossref.org) поиск метаданных (название, автор, DOI, ORCID ID, ISSN) более 92 миллионов журнальных статей, книг, стандартов и наборов данных.

•Databases (https://databases.today) — это каталог общедоступных баз данных для загрузки бесплатных ресурсов для исследователей безопасности и журналистов.

ИНФОРМАЦИЯ ОБ УТЕЧКЕ ДАННЫХ

Утечки данных—иногда называют являются преднамеренным или непреднамеренным обнародованием конфиденциальной информации. Утечки в основном происходят из-за хакерских атак на компьютеризированные системы или недовольных сотрудников,

которые могут раскрыть секретную информацию о своих организациях.

Утечки данных могут включать информацию о кредитных картах, PII, медицинскую информацию пациентов, финансовую информацию, электронную почту/социальные имена пользователей и пароли, коммерческую тайну, планы корпораций и будущие работы,

информацию об интеллектуальной собственности и военные информация, принадлежащая правительствам.

Ведутся дебаты о правовом статусе информации об утечке данных. Например,

некоторые утверждают, что утечка информации стала частью источников OSINT и, таким образом, вы можете справиться с ней, как вы делаете с любой общедоступной информации.

185

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w				•				o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Противоположное мнение предполагает, что утечка информации была получена незаконно путем нарушения системы или правовых норм и, следовательно, не должна использоваться в качестве источников OSINT.

Исследование OSINT не могут опустить существование таких просочившихся данных при расследовании некоторых случаев (особенно при работе с утечкой разведывательной информации). Однако предпочтительнее обращаться с этим осторожно на индивидуальной основе. Например, если личная информация или частная корпорация допустила утечку,

предпочтительно не обнародовать информацию и отказаться от её в поиске. Вместо этого,

вы можете использовать полезные элементы в вашем расследовании, уважая личную информацию человека, которая уже просочилась один раз.

Утечка информации, такой как личная, финансовая и корпоративная информация,

может быть найдена в даркнете (уже описана в главе 3),но мы не собираемся ее публиковать, потому что это состоит из незаконных сайтов, пропагандирующих незаконные действия.

Утечка официальных документов распространяется в Интернете с использованием конкретных веб-сайтов, которые сосредоточены на различных областях, в основном военные, разведовательные и тд. Ниже приведены два самых популярных официальных репозитория утечки данных онлайн:

•WikiLeaks (https://wikileaks.org)

•Cryptome (https://cryptome.org)

•Offshore Leaks (https://offshoreleaks.icij.org)

МЕТАДАННЫЕ ДОКУМЕНТОВ

Мы уже говорили о цифровых метаданных файлов и продемонстрировали, как просматривать/ отсеивать их с помощью различных инструментов в главе 2,но имейте в виду, что любые цифровые файлы, приобретенные в Интернете, могут содержать полезные метаданные, которые должны быть исследованы.

Изображения

Цифровые изображения, логотипы и иконки могут быть очень ценны в исследованиях

OSINT. Основные поисковые системы, такие как Google, Yahoo и Bing, обеспечивают базовую функциональность поисковой системы изображений. Тем не менее, есть и другие, более

186